資訊專欄INFORMATION COLUMN
摘要：最后，我們用和適當?shù)莫毺睾缶Y來標注數(shù)據(jù)流。將數(shù)據(jù)流分離到兩個不同的目的地在這里，我們解析自動定量日志，管理我們的緩沖區(qū)，查詢和區(qū)塊大小。
也許你對Fluentd的統(tǒng)一日志記錄層已經(jīng)有所耳聞。可能你對日志是流不是文件這個概念也已經(jīng)很熟悉，所以現(xiàn)在就讓我們用這個方法來思考日志層。
事實上，最后導致決定性的一點就是fluentd是如何被配置的。全部都是關于我們?nèi)绾翁幚韘tream的不同元素的：我們從哪里得到數(shù)據(jù)，當我們獲取到的時候用它來做什么，我們將處理過的數(shù)據(jù)發(fā)送到哪里，以及它們在發(fā)送過程中的時候，我們要如何處理它。在這篇博客中，我們會回顧一下這些概念，并且將他們運用到以下案例中：
1、日志從Docker容器中輸出命令（但是當容器中止的時候，要保持配置）
2、處理JSON日志
3、通過等級將信息進行分類
4、將數(shù)據(jù)流分離到兩個目的地
事實證明，谷歌云平臺和Kubernetes默認設置下已經(jīng)包括了fluentd日志層輸出，這樣的話，你就可以精確地做這些事情，但是首先，讓我們來看一下fluentd.conf文件中的指令：
1、source指令確定輸入源
2、match指令確定輸出目的地
3、filter指令確定event處理管道
4、system指令設置系統(tǒng)范圍的配置
5、label指令將內(nèi)部路由的輸出和過濾器分組
6、@include指令包括其他文件
現(xiàn)在對于我們的目標來說，我們主要會考慮source和match指令。以下是一個樣本，為日志記錄命令配置，命令是從一個容器直接到Treasure Data（而且，因為我們的配置是在Ubuntu主機上，所以它不會和Docker容器一起中止?。?。
那么，發(fā)生了什么呢？
我們的source指令告訴我們正在使用forwardinput plugin，這就告訴fluentd要監(jiān)聽TCP socket來接收event流。
我們有兩個match指令。當我們啟動容器的時候，最后一個假定我們已經(jīng)設置了我們的日志記錄選項：
－－log－opt fluentd－tag＝td.docker.{{.Name}}
這條指令告訴我們使用標準輸出plugin來打印events到標準輸出。
然而，它不僅第一條指令，也是最有趣的一條?，F(xiàn)在假定一樣的日志記錄選項，我們將所有標記有td..的東西都匹配好，并且使用td日志output plugin，將每個console輸出作為單個記錄輸出，發(fā)送到一個名為docker的Treasure Data數(shù)據(jù)庫，在這里，表格也同樣是Docker容器的名字：
auto_create_table在第一個實例上創(chuàng)建表格。
buffer_type file將緩沖區(qū)寫入一個文件。
buffer_path在我們的Docker容器上指定緩沖文件路徑。
flush_interval 5s在刷新緩沖區(qū)時設置了一個5秒的間隔，并且寫進了Treasure Data表格。
是不是開始明白這是怎么運作的了？想要了解更多關于fluentd配置和參數(shù)，點擊這里查看更多文章: 點擊這里
日志記錄結果到谷歌云平臺準備好查看fluentd是怎么用谷歌云平臺來運行的了嗎？讓我們來看一些不一樣的場景。多虧了Kubernetes團隊，使得這些配置（以及跟這些很相似的配置）在github上實現(xiàn)可用。
處理JSON日志在這里，我們跟蹤JSON上的日志，并將日志記錄結果到Kubernetes上。我們要處理一下時間戳，所以我們已經(jīng)包括了time_key和time_format指令。最后，我們用Kubernetes和適當?shù)莫毺睾缶Y來標注數(shù)據(jù)流。我們同樣也已經(jīng)指定位置文件，并且設置read_from_head為真。這就使得我們要停止并且重啟處理if，由于某些原因，我們的stream就被打斷了。
通過不同的層面來分類信息我們可以追蹤不同的信息，使用常規(guī)表達方式來查找部分信息，比如格式，層次（嚴重性），信息，錯誤（如果有錯誤的話）和狀態(tài)碼。注意，我們必須在輸出上解析時間。再一次，我們使用位置文件來保持我們在stream中的位置。我們應該包括一個match部分來路由數(shù)據(jù)到一個特定的目的地。
將數(shù)據(jù)流分離到兩個不同的目的地在這里，我們解析自動定量日志，管理我們的緩沖區(qū)，查詢和區(qū)塊大小。在這兩個目的地（也就是，GCP和Kubernetes）的案例中，我們一直在重新嘗試。
What"s next?你能夠自己創(chuàng)建最簡單的日志記錄基礎設施嗎？讓Fluentd來！
fluentd.org
這個網(wǎng)站上有不下于200個輸入，也還有其它插件。這里的話，你可以看到他們通過人氣降序排列的
fluentd.org/plugins/all
如果想要通過分類了解plug－ins，點擊上面這個網(wǎng)址
fluentd.org/plugins
最后，在這個網(wǎng)站上可以獲取Treasure Data（你可以在treasuredata.com上注冊一個賬號，有14天的試用期）。
原文鏈接
（如果需要轉載，請聯(lián)系我們哦，尊重知識產(chǎn)權人人有責；）
文章版權歸作者所有，未經(jīng)允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉載請注明本文地址：http://systransis.cn/yun/32490.html
摘要：目前正在運行的應用程序。內(nèi)置非配置負載均衡器如何設置運行的集群在這里你有幾個選項。它跟其它的谷歌云組件也都整合得很好，比如負載均衡器和磁盤。它會告訴負載均衡器，流量可以被重新傳到特定的。元信息和谷歌云會以正確的方式展現(xiàn)出來。 Kubernetes實踐案例分享｜在這次的 RisingStack 案例分享中，我們可以在 Kubernetes Tutorial 中學習到如何從 PaaS 供應...
摘要：但是在谷歌云客戶發(fā)布時，一切好像都沒有按照常理出牌，從中我體驗到前所未有的成長。希望將運行起來。第二天預計將發(fā)布版本到美國，在這之前，已經(jīng)提前跟尋求好了支援。游戲的應用程序邏輯運行在谷歌上面，由開源項目驅動。是谷歌上面部署規(guī)模最大的項目。 《Pokémon Go》是由任天堂、Pokémon 公司和谷歌 Niantic Labs 公司聯(lián)合制作開發(fā)的現(xiàn)實增強（AR）寵物養(yǎng)成對戰(zhàn)類 RPG ...
摘要：企業(yè)將業(yè)務遷移到云平臺的最大好處之一是可以降低工作和運營成本，其中一個最重要的因素是云計算基礎設施的自動化和配置。幸運的是，有許多云計算基礎設施自動化工具可用于幫助加快流程。企業(yè)需要深入了解將工作負載遷移到公共云的正確步驟，并因此降低成本。云遷移不會自行發(fā)生，在遷移項目成功之前并不能完成工作和任務。企業(yè)將業(yè)務遷移到云平臺的最大好處之一是可以降低工作和運營成本，其中一個最重要的因素是云計算基礎...
摘要：優(yōu)化網(wǎng)絡在今年早些時候，我們公布了許多關于的新的網(wǎng)絡功能，包括原生集群，共享，原生容器負載均衡以及原生容器的網(wǎng)絡服務，它們服務于上的應用程序以及在谷歌云上的。 showImg(https://segmentfault.com/img/bVbnY8w);許多企業(yè)機構正在把全部或部分 IT 業(yè)務遷移到云端，幫助企業(yè)更好的運營。不過這樣的大規(guī)模遷移，在企業(yè)的實際操作中也有一定難度。不少企業(yè)保...
摘要：優(yōu)化網(wǎng)絡在今年早些時候，我們公布了許多關于的新的網(wǎng)絡功能，包括原生集群，共享，原生容器負載均衡以及原生容器的網(wǎng)絡服務，它們服務于上的應用程序以及在谷歌云上的。 showImg(https://segmentfault.com/img/bVbnY8w);許多企業(yè)機構正在把全部或部分 IT 業(yè)務遷移到云端，幫助企業(yè)更好的運營。不過這樣的大規(guī)模遷移，在企業(yè)的實際操作中也有一定難度。不少企業(yè)保...
閱讀 2822·2023-04-25 22:51
閱讀 2068·2021-10-11 10:58
閱讀 3320·2019-08-30 10:49
閱讀 1884·2019-08-29 17:09
閱讀 3144·2019-08-29 10:55
閱讀 853·2019-08-26 10:34
閱讀 3499·2019-08-23 17:54
閱讀 990·2019-08-23 16:06
