摘要：作者丨魏旸騰訊高級工程師，具有年運維經(jīng)驗的專家。月日，首期沙龍海量運維實踐大曝光在騰訊大廈圓滿舉行。您也可以在騰訊織云公眾號下載本次演講。相關(guān)文章騰訊云運維干貨沙龍海量運維實踐大曝光一騰訊云運維干貨沙龍海量運維實踐大曝光三沙龍下載地址

作者丨魏旸：騰訊高級工程師，具有15年運維經(jīng)驗的專家。負責QQ空間、微云、QQ空間相冊等的運維工作。

12月16日，首期沙龍“海量運維實踐大曝光”在騰訊大廈圓滿舉行。沙龍出品人騰訊運維技術(shù)總監(jiān)、復旦大學客座講師、DevOps專家梁定安，講師騰訊手機QQ運維負責人郭智文，騰訊高級工程師魏旸，騰訊SNG資深運維專家周小軍出席沙龍，并帶來精彩的技術(shù)分享。為了便于大家學習，特將本次沙龍講師的演講內(nèi)容進行了整理。您也可以在騰訊織云公眾號下載本次演講PPT。

騰訊社交業(yè)務包括QQ、QQ空間、QQ相冊等核心業(yè)務。核心業(yè)務按深圳、天津和上海三地分布，各支撐華南、華中、華東、華北、西北、西南等大區(qū)的用戶訪問。

大家都知道核心業(yè)務多地部署物理容災，名字服務、負載均衡等手段架構(gòu)容災。但是當機房、網(wǎng)絡等大范圍故障真正發(fā)生時，我們要怎么做才能保證業(yè)務持續(xù)可用？拿前一段時間騰訊深圳某個機房光纖被挖斷的案例來講，業(yè)務碰到的問題：

機房爆炸了，會影響多少用戶？

是否需要調(diào)度？

怎么調(diào)度？

天津機房覆蓋范圍的用戶調(diào)度到哪里？調(diào)多少？

怎么調(diào)度？

帶著這些問題，我簡單介紹一下空間SET化分布異地多活方案。

提升質(zhì)量，提升速度，提升效率，節(jié)約成本。

業(yè)務通過SET化部署在多個物理機房，當某個機房故障時，我們可以快速切換服務到其他機房，可以做到物理容災。同時，多地部署也提供了用戶就近接入的能力，提升用戶體驗。再者，業(yè)務關(guān)聯(lián)的服務部署在同一個城市或者機房，能夠極大減少業(yè)務之間的機房穿越帶寬，降低成本。最后，SET的復制結(jié)合織云的快速部署能力，我們能夠快速復制并在不同地域部署多個業(yè)務SET。

簡單來說，SET是一個包含了多個標準化模塊的集合，同時包含了更多的業(yè)務屬性，比如業(yè)務形態(tài)，核心指標，柔性策略，地域，調(diào)度策略等等。

橫向分布與條帶化的思維 ? 海量用戶按不同比例被分流到不同的專區(qū)訪問。比如用戶接入維度，我們劃分了PC、移動端SET，同時在移動端我們又可以細分為安卓和蘋果用戶。比如運營商，比如地域分布。每一個SET都需要有可度量的指標，空間業(yè)務主要根據(jù)SET內(nèi)模塊負載、可支撐的用戶量、和實時交易量等維度來評估一個SET。

在有了可度量的SET標準后，我們就可以基于自己的業(yè)務形態(tài)來創(chuàng)建SET模型了。以空間為例，用戶登錄進空間首先會看到自己發(fā)表的歷史說說，相冊，好友動態(tài)等等信息，我們把這一類的業(yè)務場景劃分為讀數(shù)據(jù)SET。用戶會在空間上發(fā)說說，上傳照片或視頻，我們把這一類的業(yè)務場景劃分為寫數(shù)據(jù)SET。同時深圳的PC或者移動端用戶更新了空間，數(shù)據(jù)需要同步到其他地域的后端存儲上，空間有一套專用的同步中心架構(gòu)來保證數(shù)據(jù)同步。

我們基于空間的業(yè)務場景制定的一個大致的模型就是這樣：根據(jù)接入層區(qū)分用戶，單點寫，多點讀，數(shù)據(jù)同步模塊保證多點讀的數(shù)據(jù)一致性。

初步模型制定好以后，我們需要針對不同的架構(gòu)和業(yè)務場景來劃分不同的SET。比如空間首屏，主要由空間的信息中心模塊來負責數(shù)據(jù)拉取展現(xiàn)，我們把信息中心相關(guān)聯(lián)的業(yè)務模塊都統(tǒng)一劃分為I類SET。再根據(jù)不同的

我們還根據(jù)不同數(shù)字代表不同的地域信息和SET順序。

1） 名稱分為2段，用“_”分割；第1段固定為SET，表示專區(qū)；

2） 第二段分為4節(jié)，每節(jié)占一位，前3位與目前規(guī)則一致：

3） SET類型，簡寫為A、D 、B、I，分別代表接入、數(shù)據(jù)SET、基礎(chǔ)數(shù)據(jù)，信息中心等；

4） 地域信息，分別有深圳，上海、西安等，用0、1、2分別按序增加，最多到16進制等

5） SET數(shù)序號，從1、2、3開始，最多到16進制的F；

6） 業(yè)務產(chǎn)品信息，即Qzone為各業(yè)務搭建的SET，用一個字母代替，如P、G、U分別代表如PENGYOU、3G、UGC等

同步中心是空間業(yè)務SET化能力的一個重要組件，業(yè)務數(shù)據(jù)的同步都依賴同步中心。簡單介紹一下同步中心的架構(gòu)：單寫多度的業(yè)務講數(shù)據(jù)接入同步中心后，同步中心通過多種技術(shù)手段保證數(shù)據(jù)同步到多地的讀SET。同步中心架構(gòu)較復雜，這里主要介紹一下同步中心的有序轉(zhuǎn)發(fā)：

許多業(yè)務對用戶請求處理的先后順序有很嚴格的要求，為了實現(xiàn)用戶請求的有序轉(zhuǎn)發(fā)，同步中心做了三個功能：

接入機轉(zhuǎn)發(fā)請求到存儲機使用有狀態(tài)l5，確保同一個號碼的請求流水落到同一臺機器上。

固定進程讀取固定號段，平均分配每個進程處理的號段，并且確保同一個號碼的請求由同一個進程處理。

使用半異步方式進行轉(zhuǎn)發(fā)，批量讀取流水，對不同號碼的請求流水并發(fā)轉(zhuǎn)發(fā)，對相同號碼的流水進行串行轉(zhuǎn)發(fā)。

SET內(nèi)部和不同SET的業(yè)務模塊都是通過名字服務來相互訪問的

用戶層GSLB->STGW=TGW+Nginx，Nginx自動獲取vip

接入->邏輯：L5，vip->l5名字服務。負載均衡的時候有過載保護

邏輯->存儲：L5。Stgw和L5都是騰訊自研的路由、名字服務組件。調(diào)度都是基于名字

服務來實施。L5有SET化的標簽，可以讓SET的服務配置文件保持一致的情況下，服務只在SET內(nèi)調(diào)度?？梢詷O大提升SET的部署效率。

指定好的SET，需要通過壓測來找出SET內(nèi)業(yè)務模塊資源的最優(yōu)配比。我們會通過調(diào)度現(xiàn)網(wǎng)用戶來對SET做壓測，通過壓測找出SET內(nèi)某個模塊的短板并及時調(diào)整資源配比。同時，隨著SET內(nèi)模塊服務的升級，服務性能也在變化，我們會定期做調(diào)度演習來壓測SET的完整鏈路，及時更新SET內(nèi)模塊的資源配比，可支撐用戶數(shù)等SET核心指標。

在制定好SET模型，明確了每個SET可以支撐多少用戶量，對應的業(yè)務場景，包含了多少個模塊，可以支撐多少用戶后，就可以開始著手SET部署了。每個SET建立一個模板，錄入SET內(nèi)包含的模塊，模塊內(nèi)服務、權(quán)限、文件等信息保持一致，不同SET的配置不同

SET的復制根據(jù)SET模板快速部署。這些信息最后會同步到織云，由織云來快速部署服務。一個SET內(nèi)幾十個模塊，幾百臺服務器可在10分鐘內(nèi)完成自動化部署上線 。

針對SET內(nèi)不同的業(yè)務架構(gòu)，業(yè)務形態(tài)，我們也開發(fā)了配套的監(jiān)控工具。

前面主要說了為什么要做SET，怎么做，以及怎么維護和監(jiān)控，回到深圳機房光纖被挖斷的問題上來，我們是怎么做的？

每個SET都有可衡量的指標，模塊設備的平均負載都在40%左右。

如果網(wǎng)絡故障影響到了用戶接入W01 SET，我們會調(diào)整stgw將用戶轉(zhuǎn)移到部署在另一個機房的W02 SET。如果W01 訪問I01故障，我們可以把W01的訪問切換到W02。如果整個深圳機房都不可訪問，我們則會把請求切換到上海、天津的SET中。

重大活動期間，用戶量可能會突增幾倍甚至十幾倍，靠堆設備不現(xiàn)實。我們針對這類場景制定了柔性策略，當SET容量達到一定的標準時，比如CPU負載達到70%，我們就會開啟業(yè)務的柔性策略，犧牲用戶部分非核心功能體驗來保證業(yè)務整體可持續(xù)可用。柔性策略有分級，SET容量沒達到一個標準就會自動啟用不同的柔性策略。

騰訊云運維干貨沙龍-海量運維實踐大曝光 （一）

騰訊云運維干貨沙龍-海量運維實踐大曝光 （三）

https://share.weiyun.com/5c406a57164ed4cf7e248160aebf74c3