摘要：個(gè)巡個(gè)推系統(tǒng)監(jiān)控隨著個(gè)推業(yè)務(wù)的不斷擴(kuò)展，用戶量不斷的增加，個(gè)推急需一套完整的監(jiān)控系統(tǒng)來實(shí)時(shí)保證系統(tǒng)和業(yè)務(wù)的正常運(yùn)轉(zhuǎn)。系統(tǒng)難點(diǎn)與設(shè)計(jì)多元化的數(shù)據(jù)基于推送業(yè)務(wù)，個(gè)推擴(kuò)展出許多獨(dú)立運(yùn)行的系統(tǒng)，而且每個(gè)系統(tǒng)的監(jiān)控?cái)?shù)據(jù)也不一樣。

什么是系統(tǒng)監(jiān)控
對于功能簡單，用戶量較少的軟件系統(tǒng)，大部分公司不需要額外的監(jiān)控系統(tǒng)來保證公司業(yè)務(wù)的正常運(yùn)行。而當(dāng)公司發(fā)展到一定程度，系統(tǒng)越來越多元化，單一系統(tǒng)也越來越復(fù)雜，面對的用戶數(shù)量越來越多。為了能實(shí)時(shí)保證系統(tǒng)的正常與穩(wěn)定和對外業(yè)務(wù)的實(shí)時(shí)監(jiān)控，大部分互聯(lián)網(wǎng)公司都會(huì)根據(jù)自己的系統(tǒng)架構(gòu)和業(yè)務(wù)級別來設(shè)計(jì)并開發(fā)一套監(jiān)控系統(tǒng)，例如阿里巴巴的＂鷹眼＂系統(tǒng)。

個(gè)巡 - 個(gè)推系統(tǒng)監(jiān)控
隨著個(gè)推業(yè)務(wù)的不斷擴(kuò)展，用戶量不斷的增加，個(gè)推急需一套完整的監(jiān)控系統(tǒng)來實(shí)時(shí)保證系統(tǒng)和業(yè)務(wù)的正常運(yùn)轉(zhuǎn)。系統(tǒng)層面上，個(gè)推必須保證上億用戶在同時(shí)接入時(shí)的系統(tǒng)穩(wěn)定和正常，業(yè)務(wù)層面上，個(gè)推需要通過實(shí)時(shí)數(shù)據(jù)來反應(yīng)每天的業(yè)務(wù)增長和下降，個(gè)巡就是在這時(shí)孕育而生了。

系統(tǒng)難點(diǎn)與設(shè)計(jì)

多元化的數(shù)據(jù)
基于推送業(yè)務(wù)，個(gè)推擴(kuò)展出許多獨(dú)立運(yùn)行的系統(tǒng)，而且每個(gè)系統(tǒng)的監(jiān)控?cái)?shù)據(jù)也不一樣。為了保證系統(tǒng)的穩(wěn)定和可擴(kuò)展性，我們將所有數(shù)據(jù)來源分成了兩類：一類為基于JMX的可配置型數(shù)據(jù)，另一類為獨(dú)立封裝的接入型數(shù)據(jù)，基于兩種數(shù)據(jù)的特性，JMX數(shù)據(jù)設(shè)計(jì)為去主動(dòng)收集，獨(dú)立封裝數(shù)據(jù)設(shè)計(jì)為被動(dòng)接收。

龐大的節(jié)點(diǎn)分布
面對大量的用戶，個(gè)推需要布置許多節(jié)點(diǎn)在不同的地域以保證業(yè)務(wù)的實(shí)時(shí)性。面對大量的節(jié)點(diǎn)，并發(fā)型的數(shù)據(jù)收集和接收設(shè)計(jì)是唯一方案，并且基于不同的數(shù)據(jù)來源我們也需要封裝不同類型的線程和線程池，但大量多線程并發(fā)的帶來的另一難點(diǎn)就是，共享資源的設(shè)計(jì)與分配，原子操作的保證與回滾，以及數(shù)據(jù)收集的準(zhǔn)確性。基于此難點(diǎn)，代碼結(jié)構(gòu)上采用Producer-Consumer模式，以及進(jìn)程與線程的設(shè)計(jì)思路。

復(fù)雜的業(yè)務(wù)邏輯
監(jiān)控系統(tǒng)的另一功能就是能實(shí)時(shí)反應(yīng)出公司業(yè)務(wù)的發(fā)展趨勢并及時(shí)報(bào)警，為了保證個(gè)推的每一項(xiàng)決策都能反應(yīng)在用戶量與業(yè)務(wù)量上，我們的監(jiān)控系統(tǒng)收集了大量的系統(tǒng)接入以及不同種類請求的數(shù)據(jù)?；谶@些數(shù)據(jù)，許多分析策略和報(bào)警策略需要寫入程序，因此使得業(yè)務(wù)邏輯異常復(fù)雜，動(dòng)態(tài)的加載不同策越，Strategy 設(shè)計(jì)模式成為不二選擇．

實(shí)時(shí)性的需求
監(jiān)控系統(tǒng)的一大特性就是能夠及時(shí)對異常數(shù)據(jù)進(jìn)行報(bào)警，以及對大量數(shù)據(jù)的秒級收集，分類，分析和展示。因此，內(nèi)存數(shù)據(jù)庫(couchbase)和數(shù)據(jù)搜索引擎(elasticsearch)成為保證系統(tǒng)實(shí)時(shí)性的關(guān)鍵性中間鍵。

系統(tǒng)層面上，集成了包括Database, couchbase, elasticsearch, flume, kafka等一系列外部工具。

代碼層面上通過試用不同的設(shè)計(jì)模式來幫助整套系統(tǒng)能夠更好的兼容不同的數(shù)據(jù)，保證系統(tǒng)的穩(wěn)定運(yùn)行和數(shù)據(jù)的準(zhǔn)確抓取和展示。

個(gè)巡的特點(diǎn)

異常日志報(bào)警
當(dāng)系統(tǒng)有異常日志時(shí)， 會(huì)實(shí)時(shí)同步到個(gè)巡的ES。個(gè)巡一旦監(jiān)控到有異常日志時(shí)，就會(huì)馬上發(fā)告警信息給相應(yīng)人員。這樣我們會(huì)實(shí)時(shí)收到系統(tǒng)異常的問題，為及時(shí)處理線上的問題提供了必要條件。

周期性的比較
對于某些監(jiān)控點(diǎn)，每天都應(yīng)該有一個(gè)固定的趨勢，如下圖所示。我們通過前7天的數(shù)據(jù)更新這個(gè)趨勢，當(dāng)線上數(shù)據(jù)不符合這個(gè)趨勢的時(shí)候，就發(fā)告警信息。

自監(jiān)控
個(gè)巡是用來監(jiān)控線上系統(tǒng)的，而個(gè)巡也是線上系統(tǒng)的一部分，那么個(gè)巡怎么做到自己監(jiān)控自己呢？我們使用自動(dòng)修改閥值的方式做到自監(jiān)控。當(dāng)修改閥值后，個(gè)巡會(huì)發(fā)送告警郵件，然后10分鐘后再把閥值改成原來的樣子，然后我們會(huì)收到恢復(fù)正常的郵件，并且整個(gè)過程是自動(dòng)。所以當(dāng)我們收不到自告警的郵件時(shí)，個(gè)巡本身就有問題了。

開發(fā)總結(jié)
相信很多項(xiàng)目都會(huì)遇到以上所提到的四種問題。實(shí)時(shí)上很多系統(tǒng)在開發(fā)的緊張過程中也難以從全局去審視和總結(jié)一些問題或經(jīng)驗(yàn)，在這里我們僅提供其中一個(gè)視角去分析一個(gè)龐大的系統(tǒng)：當(dāng)數(shù)據(jù)來源多元化的時(shí)候，開發(fā)人員務(wù)必保證在所有數(shù)據(jù)進(jìn)入系統(tǒng)業(yè)務(wù)邏輯前的統(tǒng)一性，也就是常見的數(shù)據(jù)封裝，這樣才能保證在多變的需求環(huán)境下系統(tǒng)核心模塊的穩(wěn)定性；龐大的數(shù)據(jù)節(jié)點(diǎn)所帶來的主要問題則為數(shù)據(jù)流的穩(wěn)定性，因此在數(shù)據(jù)流傳入和接受之間加入一層(也就是此系統(tǒng)的Producer-Consumer)來保證數(shù)據(jù)流的穩(wěn)定性和可控性變得異常重要。復(fù)雜的業(yè)務(wù)邏輯是軟件開發(fā)中最常見的問題，很多經(jīng)典書籍都專門討論過。但實(shí)際開發(fā)中，也別是開發(fā)周期較緊迫的時(shí)候，很難有一套具體且通行的解決方案，在個(gè)巡的開發(fā)中，我們也只能根據(jù)需求和業(yè)務(wù)邏輯來制訂Strategy代碼框架，實(shí)時(shí)性常常會(huì)因?yàn)閿?shù)據(jù)量的增大而受到印象，在個(gè)巡的開發(fā)中我們采用的原則是數(shù)據(jù)分開存儲，然后在根據(jù)不同的數(shù)據(jù)應(yīng)用采用不同的數(shù)據(jù)庫。