隨著客戶對合作廠商能力要求越來越高，已經(jīng)不能滿足于技術(shù)方面的能力，工作內(nèi)容越來越需要業(yè)務(wù)支持，本次分享給大家主要介紹運營商CRM系統(tǒng)架構(gòu)及日常運維工作中的告警部署、優(yōu)化方式。

本次分享分為三個部分：

CRM系統(tǒng)架構(gòu)大致可分為三層：

1.Web層：指weblogic服務(wù)，主要包含：一級BOSS、EUBS服務(wù)、能力開發(fā)平臺、CRM前臺web等子系統(tǒng)模塊；

2.tuxedo：主要的業(yè)務(wù)邏輯處理功能，包含：客服、一級boss、電子渠道、營業(yè)前臺、后臺進程、接口、信控等功能模塊；

3.數(shù)據(jù)存儲層：主要包含營業(yè)數(shù)據(jù)庫、賬務(wù)數(shù)據(jù)庫、服務(wù)開通庫、coherence、Vsearch、hadoop；其中Vsearch存儲的是各個業(yè)務(wù)的產(chǎn)品信息，coherence存儲的是用戶的訪問會話信息，hadoop存儲的是系統(tǒng)采集用戶的二代證信息及人像。

根據(jù)業(yè)務(wù)途徑可以分成以下4個主要子系統(tǒng)：

CRM營業(yè)前臺

主要指BOSS（業(yè)務(wù)運營支撐）系統(tǒng)的前臺頁面，用戶通過訪問該頁面進行業(yè)務(wù)辦理；

應(yīng)用主要包含：CRM營業(yè)前臺weblogic服務(wù)，營業(yè)前臺tuxedo，無紙化weblogic服務(wù)等。

用戶營業(yè)前臺辦理開戶，在營業(yè)前臺weblogic服務(wù)采集到的二代身份證及人像信息，分別經(jīng)過后臺進程與無紙化weblogic服務(wù)存放到hadoop；

而產(chǎn)品訂購及語音等通信功能的開通則是在營業(yè)前臺weblogic服務(wù)進行操作后，通過調(diào)用營業(yè)前臺tuxedo中間件來實現(xiàn)；

如果是產(chǎn)品訂購的是全網(wǎng)業(yè)務(wù)，還需經(jīng)過一級BOSS系統(tǒng)處理；

開通語音等通信功能，省支撐的用戶數(shù)據(jù)需要通過服務(wù)開通模塊同步到網(wǎng)管中心。

服務(wù)開通

主要向網(wǎng)管同步用戶數(shù)據(jù)，由網(wǎng)管提供移動通信基礎(chǔ)服務(wù)功能；

由tuxedo中間件處理后的數(shù)據(jù)首先會存放在營業(yè)庫，通過工單復(fù)制進程，把工單數(shù)據(jù)從營業(yè)庫同步至服務(wù)開通庫，最后工單發(fā)送進程把數(shù)據(jù)同步至網(wǎng)管中心。應(yīng)用主要包含：相關(guān)工單后臺進程。

一級BOSS

受理全網(wǎng)業(yè)務(wù)；作為發(fā)起方向集團或者外圍平臺廠商發(fā)送交易請求，作為落地方接受并處理集團或者外圍廠商平臺發(fā)送的交易請求；

應(yīng)用主要包含：一級BOSS業(yè)務(wù)weblogic服務(wù)，一級BOSS業(yè)務(wù)tuxedo；

外圍平臺包括支付寶、微信；校訊通、農(nóng)信通等；

一級boss業(yè)務(wù)從業(yè)務(wù)請求方不同可以分為落地方業(yè)務(wù)與發(fā)起方業(yè)務(wù)；

1.落地方業(yè)務(wù)：

用戶在外圍平臺辦理業(yè)務(wù)，由一級BOSS的weblogic服務(wù)接收到服務(wù)請求后，調(diào)用一級BOSS業(yè)務(wù)的tuxedo中間件，進行業(yè)務(wù)處理、數(shù)據(jù)入庫，并反饋業(yè)務(wù)處理結(jié)果，應(yīng)答給外部平臺，完成整個落地方業(yè)務(wù)流程；Weblogic服務(wù)：根據(jù)報文的格式又可以分為T模塊（xml）與R模塊（json）；

2.發(fā)起方業(yè)務(wù)：

用戶在前臺辦理業(yè)務(wù)，用戶數(shù)據(jù)通過營業(yè)前臺系統(tǒng)入庫，隨后主要由后臺進程從數(shù)據(jù)庫中抽取數(shù)據(jù)向外部平臺發(fā)送業(yè)務(wù)辦理請求，收到外部平臺返回的應(yīng)答，完成整個發(fā)起方業(yè)務(wù)流程；

電子渠道

主要承接非營業(yè)前臺途徑受理的本地業(yè)務(wù)，例如短廳辦理，網(wǎng)廳辦理等；

應(yīng)用主要包含：EBUS業(yè)務(wù)weblogic服務(wù)，能力開發(fā)平臺weblogic服務(wù)，電子渠道tuxedo，客服tuxedo；

外圍平臺包括短信營業(yè)廳、網(wǎng)上營業(yè)廳、在線公司等；

根據(jù)外圍平臺承載的業(yè)務(wù)不同，短信營業(yè)廳、網(wǎng)上營業(yè)廳、在線公司等各個平臺的業(yè)務(wù)都會調(diào)用新能力開發(fā)平臺與EBUS的weblogic服務(wù)；weblogic服務(wù)接收到請求后，再調(diào)用對應(yīng)的電子渠道及客服tuxedo中間件進行業(yè)務(wù)的邏輯處理。

目前整個CRM系統(tǒng)的告警監(jiān)控工作，在日常部署及處理告警監(jiān)控分兩大類：

1.系統(tǒng)監(jiān)控

性能監(jiān)控:CPU使用率、內(nèi)存使用率、文件系統(tǒng)利用率；

2.業(yè)務(wù)監(jiān)控

進程監(jiān)控：進程數(shù)異常；

數(shù)據(jù)監(jiān)控：數(shù)據(jù)庫表數(shù)據(jù)積壓、數(shù)據(jù)處理失敗、數(shù)據(jù)處理的及時性；

日志監(jiān)控：日志報錯信息；

隨著新項目的接入以及為了預(yù)防故障而增加相應(yīng)告警，告警數(shù)量會越來越多，自然而然的增加了日常工作壓力，怎么來應(yīng)對越來越多的告警呢？是擺在一線運維工作人員面前的一道重要問題。

目前主要的處理方式是每隔一段時間處理的告警進行收集、分析并總結(jié)，上會討論并確定告警優(yōu)化方案，最終根據(jù)告警優(yōu)化方案，再次部署告警，實現(xiàn)告警壓降。

告警優(yōu)化主要分為以下4種方式：

1.部署定時清理任務(wù)；

2.告警處理前移；

3.調(diào)整告警策略及閥值；

4.趨勢告警。

目的

應(yīng)急開機是為預(yù)防因系統(tǒng)出現(xiàn)異常時用戶未及時開機而導(dǎo)致大面積投訴的情況，通過多種方式將用戶進行快速開機從而恢復(fù)用戶服務(wù)的一套程序，最終目的是避免用戶投訴。

業(yè)務(wù)邏輯

1. 賬務(wù)側(cè)抽取需要進行應(yīng)急開機的數(shù)據(jù)（三種類型：指定號碼，繳費應(yīng)急開機，服務(wù)開通停機回撈），插入營業(yè)庫一張中間表；

2. 通過應(yīng)急開機進程處理中間表的數(shù)據(jù)，向營業(yè)側(cè)傳輸數(shù)據(jù)；有兩種傳輸模式：營業(yè)信控與服務(wù)開通；

3. 營業(yè)信控模式：應(yīng)急開機數(shù)據(jù)導(dǎo)入營業(yè)庫工單表，再由營業(yè)工單復(fù)制進程與send進程從營業(yè)庫同步到服務(wù)開通庫工單表中；

4. 服務(wù)開通模式：應(yīng)急開機數(shù)據(jù)直接導(dǎo)入服務(wù)開通庫中的工單表中；

5. 服務(wù)開通庫的工單表由對應(yīng)的HLR進程及PROVSION進程處理工單數(shù)據(jù)，向網(wǎng)管進行數(shù)據(jù)同步。

監(jiān)控

各環(huán)節(jié)的監(jiān)控，以前均是通過手工登錄對應(yīng)主機或者物理庫執(zhí)行監(jiān)控腳本的形式進行檢查；監(jiān)控鏈條長，形式多樣，純手工操作容易形成顧頭不顧尾的局面，導(dǎo)致部分節(jié)點遺漏監(jiān)控，降低應(yīng)急開機的及時性，使應(yīng)急開機的效果大打折扣。

核心業(yè)務(wù)拓撲圖

加快核心業(yè)務(wù)流程梳理，建立業(yè)務(wù)拓撲圖并在自動化運維平臺進行部署；

運維工作自動化

梳理日常工作中常態(tài)化的人工操作，編寫腳本，遷移至自動化運維平臺；

經(jīng)驗積累沉淀轉(zhuǎn)化

故障、告警處理經(jīng)驗總結(jié)，形成前置性標(biāo)準(zhǔn)規(guī)范及自檢，加強問題隱患的前置性處理。