Prometheus的黑盒監(jiān)控

IT那活兒發(fā)布于2023-01-11 13:19 / 458人閱讀

點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！??！

背景

在白盒監(jiān)控中我們需要將export程序安裝到被監(jiān)控的主機(jī)上從而實(shí)現(xiàn)對(duì)主機(jī)各種資源及其狀態(tài)的數(shù)據(jù)采集工作。

但某些情況下操作技術(shù)以及其他原因，不是所有的export都能部署到被監(jiān)控的主機(jī)環(huán)境中，針對(duì)這樣的場(chǎng)景Prometheus提供了黑盒解決方案，blackbox無(wú)需安裝到被監(jiān)控的主機(jī)目標(biāo)中，只需要將其安裝在proethus和被監(jiān)控目標(biāo)互通的環(huán)境中，通過(guò)HTTP、HTTPS、DNS、TCP、ICMP等方式對(duì)網(wǎng)絡(luò)進(jìn)行探測(cè)監(jiān)控還可以探測(cè)SSL證書(shū)過(guò)期時(shí)間，主要用來(lái)關(guān)注現(xiàn)象，重點(diǎn)在于對(duì)正在發(fā)生的故障進(jìn)行告警。

應(yīng)用場(chǎng)景

1. HTTP探測(cè)

定義 Request Header 信息；
判斷 Http status / Http Respones Header / Http Body 內(nèi)容。

2. TCP 測(cè)試

業(yè)務(wù)組件端口狀態(tài)監(jiān)聽(tīng)；
應(yīng)用層協(xié)議定義與監(jiān)聽(tīng)。

3. ICMP 測(cè)試

主機(jī)探活機(jī)制。

4. POST 測(cè)試

接口聯(lián)通性。

5. SSL證書(shū)過(guò)期時(shí)間

安裝部署

# cd /app/software/

# tar -zxvf blackbox_export-0.17.0.linux-amd64.tar.gz -C /app/

# cd /app/

# mv blackbox-export-0.17.0.linux-amd64 blackbox-export

# ln -sv ./blackbox-export /app/blackbox

# cd /app/blackbox

# nohup ./blackbox_export --config.file blackbox.yml --web.listen-address ":9155" &

# ss -nutlp | grep 9155

tcp LISTEN 0 128 *:9155 *:* users:(("blackbox_export",pid=2053,fd=3))

檢查

http://192.168.XX.*：9155

Prometheus集成

blackbox通過(guò)relable機(jī)制來(lái)與prometheus進(jìn)行集成，relabel_config覆蓋目標(biāo)的_address_標(biāo)簽以指定導(dǎo)出器的主機(jī)名，在采集數(shù)據(jù)前通過(guò)relabel_configs來(lái)對(duì)采集任務(wù)進(jìn)行動(dòng)態(tài)配置。

第一個(gè)重新標(biāo)記relabel通過(guò)將address標(biāo)簽即當(dāng)前目標(biāo)地址寫(xiě)入_param_target標(biāo)簽來(lái)創(chuàng)建參數(shù)。
第二個(gè)relabel將獲取的_param_target的值，覆蓋寫(xiě)道instance標(biāo)簽中。
覆蓋target實(shí)例的_address_標(biāo)簽值為blockbox_exporter實(shí)例的訪(fǎng)問(wèn)地址。

labels:

        group: blackbox_exporter

    relabel_configs:

      - source_labels: [__address__]

        target_label: __param_target

      - source_labels: [__param_target]

        target_label: instance

      - target_label: __address__

        replacement: 192.168.xx.15:9115

  - job_name: "blackbox_exporter_192.168.xx.19:9115_icmp"

    scrape_interval: 6s

    metrics_path: /probe

    params:

      module: [icmp]

    static_configs:

    - targets:

      - 192.168.xx.19

      - 192.168.xx.16

      - 192.168.xx.18

      - 192.168.xx.15

      - 192.168.xx.17

    relabel_configs:

      - source_labels: [__address__]

        regex: (.*)(:xx)?

        target_label: __param_target

        replacement: ${1}

      - source_labels: [__param_target]

        regex: (.*)

        target_label: ping

        replacement: ${1}

      - source_labels: []

        regex: .*

        target_label: __address__

        replacement: 192.168.xx.19:9115

  - job_name: "blackbox_exporter_192.168.xx.16:9115_icmp"

    scrape_interval: 6s

    metrics_path: /probe

    params:

      module: [icmp]

    static_configs:

    - targets:

      - 192.168.xx.19

      - 192.168.xx.16

      - 192.168.xx.18

      - 192.168.xx.15

      - 192.168.xx.17

    relabel_configs:

      - source_labels: [__address__]

        regex: (.*)(:xx)?

        target_label: __param_target

        replacement: ${1}

      - source_labels: [__param_target]

        regex: (.*)

        target_label: ping

        replacement: ${1}

      - source_labels: []

        regex: .*

        target_label: __address__

        replacement: 192.168.xx.16:9115

  - job_name: "blackbox_exporter_192.168.xx.18:9115_icmp"

    scrape_interval: 6s

    metrics_path: /probe

    params:

      module: [icmp]

    static_configs:

    - targets:

      - 192.168.xx.19

      - 192.168.xx.16

      - 192.168.xx.18

      - 192.168.xx.15

      - 192.168.xx.17

    relabel_configs:

      - source_labels: [__address__]

        regex: (.*)(:xx)?

        target_label: __param_target

        replacement: ${1}

      - source_labels: [__param_target]

        regex: (.*)

        target_label: ping

        replacement: ${1}

      - source_labels: []

        regex: .*

        target_label: __address__

        replacement: 192.168.xx.18:9115

  - job_name: "blackbox_exporter_192.168.xx.15:9115_icmp"

    scrape_interval: 6s

    metrics_path: /probe

    params:

      module: [icmp]

    static_configs:

    - targets:

      - 192.168.xx.19

      - 192.168.xx.16

      - 192.168.xx.18

      - 192.168.xx.15

      - 192.168.xx.17

    relabel_configs:

      - source_labels: [__address__]

        regex: (.*)(:xx)?

        target_label: __param_target

        replacement: ${1}

      - source_labels: [__param_target]

        regex: (.*)

        target_label: ping

        replacement: ${1}

      - source_labels: []

        regex: .*

        target_label: __address__

        replacement: 192.168.xx.15:9115

  - job_name: "blackbox_exporter_192.168.xx.17:9115_icmp"

    scrape_interval: 6s

    metrics_path: /probe

    params:

      module: [icmp]

    static_configs:

    - targets:

      - 192.168.xx.19

      - 192.168.xx.16

      - 192.168.xx.18

      - 192.168.xx.15

      - 192.168.xx.17

    relabel_configs:

      - source_labels: [__address__]

        regex: (.*)(:xx)?

        target_label: __param_target

        replacement: ${1}

      - source_labels: [__param_target]

        regex: (.*)

        target_label: ping

        replacement: ${1}

      - source_labels: []

        regex: .*

        target_label: __address__

        replacement: 192.168.xx.17:9115

展示：

通過(guò)在grafana官網(wǎng)下載blackbox的監(jiān)控json導(dǎo)入。

總結(jié)

黑盒監(jiān)控相較于白盒監(jiān)控最大的不同在于黑盒監(jiān)控是以故障為導(dǎo)向當(dāng)故障發(fā)生時(shí)，黑盒監(jiān)控能快速發(fā)現(xiàn)故障，所以我們監(jiān)控時(shí)候以粒度比較細(xì)的，如端口、接口、線(xiàn)路等進(jìn)行監(jiān)控可以快速實(shí)現(xiàn)和定制化我們需要的相關(guān)監(jiān)控策略。