基礎(chǔ)監(jiān)控；服務(wù)器基礎(chǔ)指標(biāo)（cpu load、內(nèi)存、用戶線程數(shù)、端口連接數(shù)、存儲(chǔ)）
語(yǔ)言相關(guān)比如jvm以及go、php等
基礎(chǔ)中間件監(jiān)控；redis、mysql、rabbitmq
應(yīng)用監(jiān)控；應(yīng)用接口調(diào)用頻率、應(yīng)用接口響應(yīng)時(shí)間、應(yīng)用接口異常次數(shù)
根據(jù)監(jiān)控指標(biāo)可配置定制化的閾值告警
Prometheus（普羅米修斯）是一個(gè)prometheus是一個(gè)最初在SoundCloud上構(gòu)建的開(kāi)源系統(tǒng)監(jiān)控和警報(bào)工具包 。從2012年開(kāi)始，許多公司和組織開(kāi)始使用Prometheus，該項(xiàng)目擁有非?；钴S的開(kāi)發(fā)人員和用戶社區(qū)。目前它是一個(gè)獨(dú)立的開(kāi)源項(xiàng)目，并且不依賴與任何公司為了強(qiáng)調(diào)這一點(diǎn)，并澄清項(xiàng)目的治理結(jié)構(gòu)，Prometheus在2016年加入Cloud Native Computing Foundation，作為kubernetes之后的第二個(gè)托管項(xiàng)目。1、多維數(shù)據(jù)模型(時(shí)序列數(shù)據(jù)有metric和一組key/value組成)
2、在多維度上靈活的查詢語(yǔ)言(PromQl)
3、不依賴分布式存儲(chǔ)（內(nèi)置數(shù)據(jù)庫(kù)），單主節(jié)點(diǎn)工作.
4、基于HHTP的pull方式采集時(shí)間序列數(shù)據(jù)
5、可以通過(guò)pushgateway進(jìn)行時(shí)序列數(shù)據(jù)推送(pushing)
6、可以通過(guò)服務(wù)發(fā)現(xiàn)或者靜態(tài)配置去獲取要采集的目標(biāo)服務(wù)器
Prometheus通過(guò)HTTP接口的方式從各種客戶端獲取數(shù)據(jù)，這些客戶端必須符合Prometheus監(jiān)控?cái)?shù)據(jù)格式；
通常有兩種方式：
1、侵入式埋點(diǎn)監(jiān)控（直接采集），通過(guò)在客戶端集成，如果Kubernetes API直接通過(guò)引入Prometheus go client，提供/metrics接口查詢kubernetes API各種指標(biāo)；這一類Exporter直接內(nèi)置了對(duì)Prometheus監(jiān)控的支持，比如cAdvisor，Kubernetes，Etcd，Gokit等，都直接內(nèi)置了用于向Prometheus暴露監(jiān)控?cái)?shù)據(jù)的端點(diǎn)。
2、通過(guò)exporter方式（間接采集），在外部將原來(lái)各種中間件的監(jiān)控支持轉(zhuǎn)化為Prometheus的監(jiān)控?cái)?shù)據(jù)格式，如redis exporter將Reids指標(biāo)轉(zhuǎn)化為Prometheus能夠識(shí)別的HTTP請(qǐng)求；間接采集，原有監(jiān)控目標(biāo)并不直接支持Prometheus，因此我們需要通過(guò)Prometheus提供的Client Library編寫該監(jiān)控目標(biāo)的監(jiān)控采集程序。例如：Mysql Exporter，JMX Exporter，Consul Exporter等。
HTTP返回Header和Body如上圖所示，指標(biāo)前面兩行#是注釋，標(biāo)識(shí)指標(biāo)的含義和類型。指標(biāo)和指標(biāo)的值通過(guò)空格分割，開(kāi)發(fā)者通常不需要自己拼接這種個(gè)數(shù)的數(shù)據(jù)， Prometheus提供了各種語(yǔ)言的SDK支持。
Prometheus并沒(méi)有采用json的數(shù)據(jù)格式，而是采用text/plain純文本的方式，這是它的特殊之處。prometheus生態(tài)系統(tǒng)由多個(gè)組件組成，其中許多組件是可選的。
prometheus server：主要獲取和存儲(chǔ)時(shí)間序列數(shù)據(jù)
exporters：主要是作為agent收集數(shù)據(jù)發(fā)送到prometheus server，不同的數(shù)據(jù)收集由不同的exporters實(shí)現(xiàn)，如監(jiān)控主機(jī)有node-exporters，mysql有MySQL server exporters。
pushgateway：允許短暫和批處理的jobs推送它們的數(shù)據(jù)到prometheus；由于這類工作的存在時(shí)間不夠長(zhǎng)，所以需要他們主動(dòng)將數(shù)據(jù)推送到pushgateway，然后由pushgateway將數(shù)據(jù)發(fā)送的prometheus。
alertmanager：實(shí)現(xiàn)prometheus的告警功能。
prometheus直接或通過(guò)pushgateway抓取數(shù)據(jù)。（短周期任務(wù)數(shù)據(jù)）
將數(shù)據(jù)存儲(chǔ)在本地，并對(duì)這些數(shù)據(jù)運(yùn)行規(guī)則，以便從現(xiàn)有數(shù)據(jù)聚合和記錄新時(shí)間序列，或者生成警報(bào)。
Prometheus targets:采集mysql數(shù)據(jù)，
1. 下載最新版的Prometheus 2.17.1
wget -P /usr/local/src https://github.com/prometheus/prometheus/releases/download/v2.17.1/prometheus-2.17.1.linux-amd64.tar.gz
tar -zxvf /usr/local/src/prometheus-2.17.1.linux-amd64.tar.gz -C /usr/local
ln -s /usr/local/src/prometheus-2.17.1.linux-amd64 /usr/local/prometheus
3. 創(chuàng)建用于運(yùn)行Prometheus的組和用戶
useradd -g prometheus -s /sbin/nologinprometheus
4. 給Prometheus主目錄賦用戶Prometheus權(quán)限
chown -R prometheus:prometheus /usr/local/prometheus/
5. 將Prometheus加入到系統(tǒng)管理程序中
cat >/etc/systemd/system/prometheus.service<[Unit]
Description=Prometheus
Documentation=https://prometheus.io/ After=network.target
[Service] Type=simple User=prometheus
ExecStart=/usr/local/prometheus/prometheus
config.file=/usr/local/prometheus/prometheus.yml
storage.tsdb.path=/var/lib/prometheus
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF
6.將客戶端加入到Prometheus監(jiān)控中
注意：將配置文件中的ip地址改成你的被監(jiān)控客戶端的ip，(node_exporter的)端口號(hào)默認(rèn)是9100。
7. 啟動(dòng)Prometheus服務(wù)
./prometheus --config.file=prometheus.yml查看日志
8. 驗(yàn)證prometheus的Web頁(yè)面
prometheus默認(rèn)的端口號(hào)是9090，
瀏覽器輸入http://192.168.**.***:9090/
下載并解壓node_exporter
wget -P /usr/local/srchttps://github.com/prometheus/node_exporter/releases/download/v1.0.0-rc.0/node_exporter-1.0.0-rc.0.linux-amd64.tar.gz
tar -zxvf /usr/local/src/node_exporter-1.0.0-rc.0.linux-amd64.tar.gz -C /usr/local
建立軟連接
ln -s /usr/local/node_exporter-1.0.0-rc.0.linux-amd64/ /usr/local/node_exporter
添加用戶名和用戶組
group add prometheus
useradd -g prometheus -s /sbin/nologinprometheus
給node_exporter主目錄賦權(quán)限
chown -R prometheus:prometheus /usr/local/node_exporter/
啟動(dòng)并設(shè)置開(kāi)機(jī)自啟
systemctl start node_exporter
systemctl enable node_exporter
檢查node_exporter是否已啟動(dòng)node_exporter默認(rèn)的端口是9100
systemctl status node_exporter
ss -ntl |grep 9100
直接關(guān)閉防火墻
systemctl stop firewalld
systemctl disable firewalld
在prometheus的web上檢查是否監(jiān)控到了本機(jī)
默認(rèn)使用的配置文件是prometheus.yml
global:
scrape_interval: 15s //全局配置，多久搜集一次
evaluation_interval: 15s //全局配置，多久搜集一次
rule_files: //規(guī)則文件
# - "first.rules"
# - "second.rules"
scrape_configs: //搜集的配置
- job_name: prometheus //監(jiān)控的服務(wù)名稱
static_configs:
- targets: [localhost:9090] //監(jiān)控入口
多個(gè)地址依次添加即可。
六. Prometheus+Grafana 打造監(jiān)控系統(tǒng)
下載Grafana的rpm包
wgethttps://dl.grafana.com/oss/release/grafana-6.7.2-1.x86_64.rpm
安裝Grafana
yum install grafana-6.7.2-1.x86_64.rpm
啟動(dòng)grafana，并設(shè)置其開(kāi)機(jī)自啟
systemctl restart grafana-server
systemctl enable grafana-server
瀏覽器打開(kāi)Grafana主頁(yè) http://192.168.48.150:3000/
配置數(shù)據(jù)源類型Prometheus，并設(shè)置相關(guān)參數(shù)
總結(jié)：上文提到 Prometheus 是一款基于時(shí)序數(shù)據(jù)庫(kù)的監(jiān)控系統(tǒng)，時(shí)序數(shù)據(jù)庫(kù)常簡(jiǎn)寫為 TSDB（Time Series Database）。很多流行的監(jiān)控系統(tǒng)都在使用時(shí)序數(shù)據(jù)庫(kù)來(lái)保存數(shù)據(jù)，這是因?yàn)闀r(shí)序數(shù)據(jù)庫(kù)的特點(diǎn)和監(jiān)控系統(tǒng)不謀而合。本次分享到此結(jié)束，如有錯(cuò)誤之處，還請(qǐng)多多指出。
更多精彩干貨分享
點(diǎn)擊下方名片關(guān)注
IT那活兒
