k8s與監(jiān)控--改造telegraf的buffer實(shí)現(xiàn)

everfly 發(fā)布于2019-07-01 16:42 / 3058人閱讀

摘要：改造的實(shí)現(xiàn)前言最近在使用的場(chǎng)景中，要求數(shù)據(jù)在程序意外終止的時(shí)候不丟失。按照最初的原始實(shí)現(xiàn)在內(nèi)部維護(hù)了兩個(gè)，分別是和?；趯?shí)現(xiàn)的持久化在持久化機(jī)制的選型中，優(yōu)先實(shí)現(xiàn)。結(jié)語(yǔ)改造以后，可以根據(jù)自己的需求通過(guò)配置文件來(lái)決定使用或是來(lái)實(shí)現(xiàn)。

改造telegraf的buffer實(shí)現(xiàn) 前言

最近在使用telegraf的場(chǎng)景中，要求數(shù)據(jù)在程序意外終止的時(shí)候不丟失。按照telegraf最初的原始實(shí)現(xiàn),在running_output內(nèi)部維護(hù)了兩個(gè)buffer，分別是metrics和failMetrics。這兩個(gè)buffer是基于go中channel實(shí)現(xiàn)的。由于沒(méi)有持久化機(jī)制，在意外退出的時(shí)候，存在丟失數(shù)據(jù)的風(fēng)險(xiǎn)。所以這篇文章主要講述之前telegraf保證數(shù)據(jù)安全的一些措施和我們對(duì)代碼的一些優(yōu)化。

telegraf關(guān)于數(shù)據(jù)安全的處理辦法

關(guān)于兩個(gè)buffer，定義在running_output.go的struct中。

// RunningOutput contains the output configuration
type RunningOutput struct {
    Name              string
    Output            telegraf.Output
    Config            *OutputConfig
    MetricBufferLimit int
    MetricBatchSize   int

    MetricsFiltered selfstat.Stat
    MetricsWritten  selfstat.Stat
    BufferSize      selfstat.Stat
    BufferLimit     selfstat.Stat
    WriteTime       selfstat.Stat

    metrics     *buffer.Buffer
    failMetrics *buffer.Buffer

    // Guards against concurrent calls to the Output as described in #3009
    sync.Mutex
}

這個(gè)兩個(gè)buffer的大小提供了配置參數(shù)可以設(shè)置。

metrics:           buffer.NewBuffer(batchSize),
failMetrics:       buffer.NewBuffer(bufferLimit),

顧名思義。metrics存放要發(fā)送到指定output的metric，而failMetrics存放發(fā)送失敗的metric。當(dāng)然失敗的metrics會(huì)在telegraf重發(fā)機(jī)制下再次發(fā)送。

    if ro.metrics.Len() == ro.MetricBatchSize {
        batch := ro.metrics.Batch(ro.MetricBatchSize)
        err := ro.write(batch)
        if err != nil {
            ro.failMetrics.Add(batch...)
        }
    }

在向metrics增加metrics的時(shí)候，做是否達(dá)到批量發(fā)送的數(shù)量，如果達(dá)到就調(diào)用發(fā)送方法。當(dāng)然還有定時(shí)的解決方案，如果一直沒(méi)有達(dá)到MetricBatchSize，也會(huì)在一定時(shí)間后發(fā)送數(shù)據(jù)。具體實(shí)現(xiàn)代碼在agent.go中

    ticker := time.NewTicker(a.Config.Agent.FlushInterval.Duration)
    semaphore := make(chan struct{}, 1)
    for {
        select {
        case <-shutdown:
            log.Println("I! Hang on, flushing any cached metrics before shutdown")
            // wait for outMetricC to get flushed before flushing outputs
            wg.Wait()
            a.flush()
            return nil
        case <-ticker.C:
            go func() {
                select {
                case semaphore <- struct{}{}:
                    internal.RandomSleep(a.Config.Agent.FlushJitter.Duration, shutdown)
                    a.flush()
                    <-semaphore
                default:
                    // skipping this flush because one is already happening
                    log.Println("W! Skipping a scheduled flush because there is" +
                        " already a flush ongoing.")
                }
            }()

在程序接受到停止信號(hào)后，程序會(huì)首先f(wàn)lush剩下的數(shù)據(jù)到output中，然后退出進(jìn)程。這樣可以保證一定的數(shù)據(jù)安全。

基于redis實(shí)現(xiàn)buffer的持久化

在持久化機(jī)制的選型中，優(yōu)先實(shí)現(xiàn)redis。本身redis性能高，而且具備完善的持久化。
具體的實(shí)現(xiàn)架構(gòu)如下：

將原buffer中功能抽象出buffer.go接口。
具體代碼：

package buffer

import (
    "github.com/influxdata/telegraf"
    "github.com/influxdata/telegraf/internal/buffer/memory"
    "github.com/influxdata/telegraf/internal/buffer/redis"
)

const (
    BufferTypeForMemory = "memory"
    BufferTypeForRedis  = "redis"
)

type Buffer interface {
    IsEmpty() bool
    Len() int
    Add(metrics ...telegraf.Metric)
    Batch(batchSize int) []telegraf.Metric
}

func NewBuffer(mod string, size int, key, addr string) Buffer {
    switch mod {
    case BufferTypeForRedis:
        return redis.NewBuffer(size, key, addr)
    default:
        return memory.NewBuffer(size)
    }
}

然后分別內(nèi)存和redis實(shí)現(xiàn)了Buffer接口。
其中NewBuffer相當(dāng)于一個(gè)工廠方法。
當(dāng)然在后期可以實(shí)現(xiàn)基于file和db等buffer實(shí)現(xiàn)，來(lái)滿足不同的場(chǎng)景和要求。

redis實(shí)現(xiàn)buffer的要點(diǎn)

由于要滿足先進(jìn)先出的要求，選擇了redis的list數(shù)據(jù)結(jié)構(gòu)。redis中的list是一個(gè)字符串list，所以telegraf中metric數(shù)據(jù)接口要符合序列化的要求。比如屬性需要可導(dǎo)出，即public。所以這點(diǎn)需要改動(dòng)telegraf對(duì)于metric struct的定義。另外可以選擇json或是msgpack等序列化方式。我們這邊是采用的json序列化的方式。

結(jié)語(yǔ)

改造以后，可以根據(jù)自己的需求通過(guò)配置文件來(lái)決定使用channel或是redis來(lái)實(shí)現(xiàn)buffer。各有優(yōu)劣，內(nèi)存實(shí)現(xiàn)的話，性能高，受到的依賴少。而redis這種分布式存儲(chǔ)，決定了數(shù)據(jù)安全，但是性能會(huì)有一定的損耗，畢竟有大量的序列化和反序列化以及網(wǎng)絡(luò)傳輸，當(dāng)然依賴也增加了，取決于redis的可靠性，建議redis集群部署。

云服務(wù)器 GPU云服務(wù)器 webrtc實(shí)現(xiàn)單向的視頻監(jiān)控棧的實(shí)現(xiàn)與應(yīng)用回調(diào)的原理、實(shí)現(xiàn)與應(yīng)用基于webrtc的電話回聲消除的研究與實(shí)現(xiàn)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/32658.html

發(fā)表評(píng)論

登陸后可評(píng)論

0條評(píng)論

everfly

男|高級(jí)講師

我要關(guān)注我要私信

TA的文章

日本什么主機(jī)好-買什么游戲主機(jī)好？

閱讀 1602·2021-09-22 15:52
iis主機(jī)a是什么-主機(jī)頭是什么？

閱讀 3523·2021-09-22 14:59
Django下使用celery 異步發(fā)送短信驗(yàn)證碼

閱讀 2956·2021-09-02 15:12
Virtono夏季促銷：1核/1G內(nèi)存/25G [email protected] 可選美國(guó)/德國(guó)/

閱讀 1033·2021-08-20 09:35
聽(tīng)說(shuō)你還不理解JavaScript閉包

閱讀 1617·2019-08-30 14:09
記一個(gè)ios滾動(dòng)穿透問(wèn)題

閱讀 2749·2019-08-30 13:56
Vue keepAlive 數(shù)據(jù)緩存工具，實(shí)現(xiàn)返回上一個(gè)頁(yè)面瀏覽的位置；

閱讀 1713·2019-08-26 18:27
pm2 命令使用

閱讀 3410·2019-08-26 13:37

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！

k8s與監(jiān)控--改造telegraf的buffer實(shí)現(xiàn)

相關(guān)文章

**利用TICK搭建Docker容器可視化監(jiān)控中心**

FastD 最佳實(shí)踐四: 構(gòu)建系統(tǒng)可視化監(jiān)控

拉勾網(wǎng)基于 UK8S平臺(tái)的容器化改造實(shí)踐

**這么多監(jiān)控組件，總有一款適合你**

**這么多監(jiān)控組件，總有一款適合你**

發(fā)表評(píng)論

0條評(píng)論

everfly

男|高級(jí)講師

TA的文章

日本什么主機(jī)好-買什么游戲主機(jī)好？

iis主機(jī)a是什么-主機(jī)頭是什么？

Django下使用celery 異步發(fā)送短信驗(yàn)證碼

Virtono夏季促銷：1核/1G內(nèi)存/25G [email protected] 可選美國(guó)/德國(guó)/

聽(tīng)說(shuō)你還不理解JavaScript閉包

記一個(gè)ios滾動(dòng)穿透問(wèn)題

Vue keepAlive 數(shù)據(jù)緩存工具，實(shí)現(xiàn)返回上一個(gè)頁(yè)面瀏覽的位置；

pm2 命令使用

最新活動(dòng)

資訊專欄INFORMATION COLUMN

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！

k8s與監(jiān)控--改造telegraf的buffer實(shí)現(xiàn)

相關(guān)文章

發(fā)表評(píng)論

0條評(píng)論

男|高級(jí)講師

TA的文章

最新活動(dòng)

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！