摘要：因此，另一種解決辦法像這樣的工具，則只是將和進(jìn)行了結(jié)合，其功能尤其關(guān)注日志管理，比如格式檢查，日志語法分析，數(shù)據(jù)改進(jìn)地址地理位置信息，元數(shù)據(jù)標(biāo)簽等以及日志路由。

由Rancher社區(qū)維護(hù)的應(yīng)用商店最近迎來了兩個(gè)明星項(xiàng)目——SPM 和 Logsene，來自Sematext的監(jiān)控與日志工具。如果你已經(jīng)熟悉Logstash，Kibana，Prometheus，Grafana這些監(jiān)控或日志解決方案，那么朋友請(qǐng)認(rèn)真閱讀本文，它將向你展示SPM和Logsene為Rancher用戶帶來了什么樣的功能，和其它解決方案有著什么樣的差異。

Sematext Docker Agent 是一個(gè)時(shí)下Docker原生的監(jiān)控及日志采集代理(Agent)程序。它在每一個(gè)Docker宿主機(jī)運(yùn)行一個(gè)非常小的容器，用以為所有集群節(jié)點(diǎn)以及這些節(jié)點(diǎn)上的容器采集日志、系統(tǒng)指標(biāo)與事件。Agent代理程序監(jiān)聽所有Rancher管理的節(jié)點(diǎn)，在部署Sematext Docker Agent后，所有的日志、Docker事件、各項(xiàng)指標(biāo)都能被外部所訪問。

這將變得很有價(jià)值，為什么呢？因?yàn)樗馕吨悴辉傩枰馁M(fèi)幾個(gè)小時(shí)甚至好幾天時(shí)間去弄明白究竟需要采集哪些數(shù)據(jù)或如何將它們圖表化。還有，你不需要花資源來維護(hù)你自己的日志監(jiān)控體系，你的Docker系統(tǒng)指標(biāo)及事件都會(huì)輸出給SPM 而日志將輸出給Logsene（SPM是一個(gè)應(yīng)用程序性能監(jiān)控服務(wù)，它支持與諸多平臺(tái)進(jìn)行集成，這當(dāng)然也包括Docker，而Logsene 是一個(gè)日志管理服務(wù)，一個(gè)托管于Rancher的ELK應(yīng)用棧，它能很好的和Kibana和Grafana一并工作）

有一些Docker日志與指標(biāo)處理的開源工具供我們選擇，比如cAdvisor以及Logspout。遺憾的是，這些工具都不具備足夠的綜合能力。一種解決辦法是集成一系列工具來達(dá)成目標(biāo)，可是這樣的后果是把體系帶向“Franken-monitoring（指技術(shù)大雜燴，各個(gè)組件并不能按承諾的功能正常運(yùn)行）”的方向，用戶將因此而背負(fù)沉重的技術(shù)債，也沒有人會(huì)愿意解決這種復(fù)雜的故障。因此，另一種解決辦法像Sematext Docker Agent這樣的工具，則只是將cAdvisor和Logspout進(jìn)行了結(jié)合，其功能尤其關(guān)注日志管理，比如格式檢查，日志語法分析，數(shù)據(jù)改進(jìn)（Geo-IP地址地理位置信息，元數(shù)據(jù)標(biāo)簽等）以及日志路由。

在Rancher平臺(tái)設(shè)置Sematext Docker Agent，你只需要選擇合適的catalog模板即可（在Rancher的社區(qū)Catalog條目下查找“Sematext” ）。我們來快速的瀏覽一下Sematex提供了哪些功能？如何在Rancher平臺(tái)對(duì)其進(jìn)行設(shè)置？

Docker Compose及Kubernetes自動(dòng)日志標(biāo)簽

所有的日志均被加上了元數(shù)據(jù)標(biāo)簽，這包含了對(duì)Docker/Rancher Compose項(xiàng)目及Kubernetes的支持：

針對(duì)Docker Container

容器ID

容器名

鏡像名

針對(duì)Docker/Rancher Compose

服務(wù)名

項(xiàng)目名

容器數(shù)（如果你設(shè)置了Scale=N）

針對(duì)Kubernetes
請(qǐng)注意Kubernetes容器的日志和其它Docker容器的日志并沒有什么很大的不同，然而Kubernetes用戶需要訪問已部署的pods的日志，因此，為日志搜索而抓取Kubernetes特有的信息變得非常有用，例如：

命名空間

Pod名稱

容器名稱

Kubernetes UID

訣竅：如需啟用Kubernetes標(biāo)簽，請(qǐng)?jiān)O(shè)置Kubernetes=1

對(duì)于較為龐大的部署，你也許需要針對(duì)不同租戶或應(yīng)用對(duì)日志進(jìn)行索引，將其輸出到不同的路徑或Logsene應(yīng)用處理（這樣你也可以區(qū)分不同的用戶對(duì)不同日志的訪問權(quán)）。我們使這個(gè)變得非常簡單：為你的容器簡單地添加一個(gè)Docker標(biāo)簽，或設(shè)置LOGSENE_TOKEN環(huán)境變量(LOGSENE_TOKEN=your app token)，于是Sematext Docker Agent會(huì)將日志發(fā)送至正確的索引項(xiàng)！用這種方式你完全不需要一個(gè)中心配置文件來映射容器和索引項(xiàng)/令牌，于是日志路由變得非常靈活，動(dòng)態(tài)與彈性化。

日志的處理基于Docker API以及一個(gè)叫做logagent-js的庫，該項(xiàng)目被Sematext所開源。這個(gè)分析框架包含了日志格式檢測(cè)和分析標(biāo)準(zhǔn)正式Docker容器所使用的不同日志格式的模式：

Web服務(wù)器例如Nginx、Apache httpd或其它使用常見Web服務(wù)器日志格式

搜索引擎類似Elasticsearch和Solr

消息隊(duì)列類似Apache Kafaka及nsq.io

數(shù)據(jù)庫類似MongoDB, HBase, MySQL

檢測(cè)JSON日志格式，通常被Node.js程序所使用，例如bunyan和winston日志框架

提示: 如果要?jiǎng)?chuàng)建自定義模式，請(qǐng)?jiān)赗ancher Catalog模板里把它們添加到叫做LOGAGENT_PATTERNS的字段里。

從Docker容器之外獲取到經(jīng)過采集運(yùn)送并分析后的日志已經(jīng)節(jié)約了大量的時(shí)間，但是有一些應(yīng)用日志需要從其它數(shù)據(jù)源獲取額外的增強(qiáng)信息。一個(gè)常見的案例是增強(qiáng)Web Server的日志信息（或者說任意包含IP地址信息的日志），為日志中的IP地址提供其地理位置信息。

Sematext Docker Agent 支持Geo-IP enrichment of docker logs。它使用Maxmind Geo-IP輕量數(shù)據(jù)庫，它能為你定期的提供更新信息，無需停止容器或?yàn)槠鋻燧d包含Geo-IP數(shù)據(jù)庫的新卷，或任何其它手動(dòng)操作。

訣竅: 如果需要開啟Geo-IP增強(qiáng)功能，請(qǐng)?jiān)O(shè)置環(huán)境變量GEOIP_ENABLED=true。

在某些場景，我們只需要收集重要應(yīng)用的日志而忽略掉那些較低優(yōu)先級(jí)的或較為嘈雜的服務(wù)日志（例如那些頻繁的清理工作）。這樣我們可以使用白名單或黑名單（針對(duì)容器名或鏡像名）來處理這些容器即可，其設(shè)置采用正則表達(dá)式匹配相應(yīng)的元數(shù)據(jù)字段。

在Rancher的UI里，進(jìn)入社區(qū)的Catalog項(xiàng)目列表，搜索關(guān)鍵字“sematext”、“monitoring”或“l(fā)ogs”即可。

點(diǎn)擊“View Details”，在“Configuration Options”選項(xiàng)里輸入SPM和Logsene App的tokens。你可以從https://apps.sematext.com進(jìn)行注冊(cè)并創(chuàng)建你的SPM和Logsene應(yīng)用，然后即可獲取這些訪問令牌(tokens)。如果你的Rancher集群運(yùn)行在防火墻（代理）之后， 你需要在HTTPS_PROXY或 HTTP_PROXY環(huán)境變量處填寫proxy URL。如果你在這個(gè)集群里同時(shí)也運(yùn)行了Kubernetes，請(qǐng)選擇KUBERNETES=1。
如果你想收集所有的日志，不要填寫任何容器或鏡像名的過濾值，直接點(diǎn)擊“Launch”即可。

我們希望這篇對(duì)Rancher平臺(tái)中Sematext Docker Agent的介紹，能幫助你在開始對(duì)Docker進(jìn)行監(jiān)控與日志處理時(shí)，不用采用大雜燴的繁瑣模式。該項(xiàng)目完整的配置參數(shù)可從Github獲得參考。 我們相信新的Catalog模板已經(jīng)能覆蓋最常用的選項(xiàng)，如果你發(fā)現(xiàn)一些重要項(xiàng)目缺失，請(qǐng)將其提交至Rancher community catalog （提交issue或是pull request）。結(jié)合Rancher試用一下Sematext Docker Agent 吧，所有服務(wù)將被輕松接管，你將就此高枕無憂。Rancher Community Catalog讓日志監(jiān)控系統(tǒng)能瞬間設(shè)置并運(yùn)行起來，一切都變得如此容易。