成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

云原生可觀察性系列二：基于Loggie采集容器日志

IT那活兒 / 3633人閱讀
云原生可觀察性系列二：基于Loggie采集容器日志

點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！?。?/strong>

一

文章前言

我們現(xiàn)有日志采集方式主要是基于開源flume 進(jìn)行二次開發(fā)，已實(shí)現(xiàn)對(duì)應(yīng)用日志、syslog、組件日志、sql查詢等類型的日志進(jìn)行采集，適用傳統(tǒng)運(yùn)行環(huán)境日志采集，長(zhǎng)期實(shí)踐過程中flume對(duì)文件數(shù)過多，量大的情況下采集存在資源消耗較高的現(xiàn)象（進(jìn)程高cpu） 。
應(yīng)用大規(guī)模上K8s云環(huán)境后需要對(duì)容器及容器內(nèi)部日志進(jìn)行采集，flume 本身并不支持，需要找尋相應(yīng)的開源解決方案，而今年推出的開源日志采集組件Loggie可以滿足這種場(chǎng)景。
Loggie是一個(gè)基于Golang的輕量級(jí)、高性能、云原生日志采集Agent和中轉(zhuǎn)處理Aggregator，支持多Pipeline和組件熱插拔，提供了基于日志可觀測(cè)性、快速排障、異常預(yù)警、自動(dòng)化運(yùn)維能力。

二

安裝部署

2.1 環(huán)境準(zhǔn)備

在此之前需要有一套k8s集群以及helm環(huán)境。
helm下載地址：https://github.com/kubernetes/helm/releases，下載上傳解壓即可。
下載好Loiggie安裝包：https://github.com/loggie-io/installation/releases/download/v1.2.0/loggie-v1.2.0.tgz
loggie官方文檔：https://loggie-io.github.io/docs/

2.2 部署

1）DaemonSet方式部署loggie，helm install loggie ./loggie -nloggie --create-namespace 可以通過kubectl get ds -n loggie命令查看loggie容器是否創(chuàng)建成功。
2）創(chuàng)建被采集的測(cè)試容器。
3）定義輸出源Sink，創(chuàng)建一個(gè)Loggie定義的CRD Sink實(shí)例，表明日志發(fā)送的后端。接收日志的后端存在多種，例如es、kafka、Prometheus，本次演示配置輸出到loggie容器日志（dev）和kafka中。
輸出源dev：
apiVersion: loggie.io/v1beta1
kind: Sink
metadata:
 name: default
spec:
 sink: |
   type: dev
   printEvents: true
輸出源：kafka
apiVersion: loggie.io/v1beta1
kind: Sink
metadata:
 name: default
spec:
 sink: |
   type: kafka
   brokers: ["192.168.XX.XXX:9092"] # kafka地址
   topic: "loggie"   # topic名稱
其他輸出源配置詳見：https://loggie-io.github.io/docs/reference/下的Sink節(jié)點(diǎn)。
通過kubectl apply -f xxx.yaml創(chuàng)建sink。
4）定義采集任務(wù)，Loggie定義CRD LogConfig，表示一個(gè)日志采集任務(wù)；本次演示兩種采集方式，直接采集應(yīng)用日志文件和采集容器日志。
采集容器日志：
apiVersion: loggie.io/v1beta1
kind: LogConfig
metadata:
 name: tomcat-app
 namespace: default
spec:
 selector:
   type: pod
   labelSelector:
     app: asdf
 pipeline:
   sources: |
     - type: file
       name: mylog
       paths:
       - stdout
   sinkRef: default
采集容器內(nèi)的應(yīng)用日志：
apiVersion: loggie.io/v1beta1
kind: LogConfig
metadata:
 name: tomcat-app
 namespace: default
spec:
 selector:
   type: pod
   labelSelector:
     app: asdf
 pipeline:
   sources: |
     - type: file
       name: mylog
       paths:
       - /usr/local/logs/app.log
   sinkRef: default
更多采集配置請(qǐng)?jiān)斠姡?/span>https://loggie-io.github.io/docs/reference/下的source節(jié)點(diǎn)。
5）配置完成后查看測(cè)試pod所在節(jié)點(diǎn)（dev模式下日志只會(huì)采集到同一節(jié)點(diǎn)的loggie），kubectl get pods -l app=asdf -o wide  ，查看loggie日志和kafka消費(fèi)可以看到有數(shù)據(jù)，其中body字段為日志信息，日志采集成功。
需要回顧上期云原生相關(guān)文章，可點(diǎn)擊文章標(biāo)題《云原生可觀察性系列一：Tetragon實(shí)踐》跳轉(zhuǎn)原文查看。


本文作者：長(zhǎng)研云原生研究小組（上海新炬王翦團(tuán)隊(duì)）

本文來源：“IT那活兒”公眾號(hào)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/129312.html

相關(guān)文章

  • 靈雀云CTO陳愷：從“鴻溝理論”看云原生，哪些技術(shù)能夠跨越鴻溝？

    摘要：早在年針對(duì)高科技行業(yè)和高科技企業(yè)生命周期的特點(diǎn)，提出了著名的鴻溝理論。今天我們嘗試以鴻溝理論為基礎(chǔ)來分析云原生領(lǐng)域顛覆性的創(chuàng)新技術(shù)。回過頭來看，靈雀云從早期全力投入技術(shù)棧，是最早進(jìn)行產(chǎn)品化的廠商。 歷史進(jìn)入2019年，放眼望去，今天的整個(gè)技術(shù)大環(huán)境和生態(tài)都發(fā)生了很大的變化。在己亥豬年春節(jié)剛剛過去的早春時(shí)節(jié)，我們來梳理和展望一下整個(gè)云原生技術(shù)趨勢(shì)的發(fā)展，是一件很有意義的事情，這其中有些變...

    hss01248 評(píng)論0 收藏0

  • 數(shù)人云工程師手記 | 容器日志管理實(shí)踐

    摘要：容器內(nèi)文件日志平臺(tái)支持的文件存儲(chǔ)是，避免了許多復(fù)雜環(huán)境的處理。以上是數(shù)人云在實(shí)踐容器日志系統(tǒng)過程中遇到的問題，更高層次的應(yīng)用包括容器日志分析等，還有待繼續(xù)挖掘和填坑，歡迎大家提出建議，一起交流。 業(yè)務(wù)平臺(tái)每天產(chǎn)生大量日志數(shù)據(jù)，為了實(shí)現(xiàn)數(shù)據(jù)分析，需要將生產(chǎn)服務(wù)器上的所有日志收集后進(jìn)行大數(shù)據(jù)分析處理，Docker提供了日志驅(qū)動(dòng)，然而并不能滿足不同場(chǎng)景需求，本次將結(jié)合實(shí)例分享日志采集、存儲(chǔ)以...

    saucxs 評(píng)論0 收藏0

  • LC3視角：Kubernetes下日志采集、存儲(chǔ)與處理技術(shù)實(shí)踐

    摘要：下需要為每個(gè)單獨(dú)進(jìn)行采集配置采集日志目錄，采集規(guī)則，存儲(chǔ)目標(biāo)等，不易維護(hù)。日志服務(wù)的日志架構(gòu)實(shí)踐我們提出基于阿里云日志服務(wù)的日志處理架構(gòu)，用以補(bǔ)充社區(qū)的方案，來嘗試解決場(chǎng)景下日志處理的一些細(xì)節(jié)體驗(yàn)問題。 摘要： 在Kubernetes服務(wù)化、日志處理實(shí)時(shí)化以及日志集中式存儲(chǔ)趨勢(shì)下，Kubernetes日志處理上也遇到的新挑戰(zhàn)，包括：容器動(dòng)態(tài)采集、大流量性能瓶頸、日志路由管理等問題。本文...

    Guakin_Huang 評(píng)論0 收藏0

  • 云原生機(jī)制的三個(gè)核心思想及其未來之路

    摘要：事實(shí)上，這種快捷的發(fā)布周期需要配合一系列流程工具甚至是管理文化，從而共同支撐起一套安全且可靠的云原生應(yīng)用程序運(yùn)作機(jī)制。云原生框架云原生應(yīng)用程序的一大關(guān)鍵性特質(zhì)在于，其需要遵循一套設(shè)計(jì)契約以較大程度實(shí)現(xiàn)行為的可預(yù)測(cè)性。 擺脫臨時(shí)性自動(dòng)化方案之定位，發(fā)揮優(yōu)勢(shì)以實(shí)現(xiàn)可預(yù)測(cè)功能。您能否以每周為單位向客戶發(fā)布各類新功能?甚至進(jìn)一步達(dá)到以每天乃至每小時(shí)為單位?新晉開發(fā)人員能否在上班的第一天即進(jìn)行代碼部署...

    陳偉 評(píng)論0 收藏0

  • CloudBest：年度復(fù)盤丨盤點(diǎn)2020無處不在的「云原生」

    摘要：華為云華為云在云原生這場(chǎng)游戲中，最具競(jìng)爭(zhēng)力的玩家之一。年，金山云在云原生領(lǐng)域推出了三款重磅產(chǎn)品星曜裸金屬服務(wù)器云服務(wù)器和云盤。在線上智博會(huì)上，浪潮云發(fā)布了經(jīng)過全新迭代升級(jí)的浪潮云，進(jìn)一步提升平臺(tái)云原生服務(wù)能力。面對(duì)數(shù)字時(shí)代復(fù)雜系統(tǒng)的不確定性，傳統(tǒng)的 IT 應(yīng)用架構(gòu)研發(fā)交付周期長(zhǎng)、維護(hù)成本高、創(chuàng)新升級(jí)難，煙囪式架構(gòu)，開放性差、組件復(fù)用度低，這些都成為了企業(yè)業(yè)務(wù)快速增長(zhǎng)的瓶頸。而云原生以其敏捷、...

    Tecode 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<