摘要：負(fù)載均衡器又分為四層和七層負(fù)載均衡器，顧名思義，四層的工作在協(xié)議棧上，通過修改請(qǐng)求報(bào)文的源目的地址和源目的端口來轉(zhuǎn)發(fā)，比如，一個(gè)主機(jī)對(duì)應(yīng)一個(gè)域名，適用于每秒超過一萬的業(yè)務(wù)。每一次變更都是一次發(fā)布，每一次發(fā)布都是一個(gè)獨(dú)立的鏡像啟動(dòng)

以一個(gè)經(jīng)典問題拋磚引玉，當(dāng)用戶在瀏覽器中輸入一個(gè)URL到底發(fā)生了什么？

常見的URL格式是http://www.liangsonghua.me，由協(xié)議+域名+端口號(hào)組成，這里涉及到一個(gè)不可輕視的知識(shí)點(diǎn)，就是跨域，瀏覽器有一個(gè)同源策略限制，協(xié)議、域名、端口號(hào)有一個(gè)不同就會(huì)發(fā)生跨域沖突，從而保證了其他站點(diǎn)不能非法操作正常站點(diǎn)的cookie和修改dom元素，重要性不言而喻。當(dāng)不得已沖突時(shí)，可以通過JSONP請(qǐng)求、添加允許跨域響應(yīng)頭、使用代理轉(zhuǎn)發(fā)的方式獲取資源。不過請(qǐng)記住，盡量不要使用代理轉(zhuǎn)發(fā)的方式，因?yàn)樗`背了環(huán)境標(biāo)準(zhǔn)化準(zhǔn)則，我們應(yīng)該保證擴(kuò)容新服務(wù)器時(shí)能取得正確、最新的配置，比如服務(wù)日記輸出路徑應(yīng)該形成一種共識(shí)規(guī)范，這種稱為”約定大于配置”，它的好處是，除了簡(jiǎn)化配置工作外，還可以提高溝通效率，另外標(biāo)準(zhǔn)先行是持續(xù)交付和架構(gòu)改造技術(shù)實(shí)施的前提條件

WEB系統(tǒng)早已從久遠(yuǎn)的單系統(tǒng)發(fā)展為多系統(tǒng)，面對(duì)眾多的系統(tǒng)，用戶不可能一個(gè)一個(gè)登錄然后又一個(gè)一個(gè)地注銷，況且每個(gè)系統(tǒng)都重復(fù)實(shí)現(xiàn)登錄業(yè)務(wù)和管理用戶實(shí)在上浪費(fèi)成本，統(tǒng)一登錄系統(tǒng)應(yīng)運(yùn)而生，假設(shè)是plogin.liangsonghua.me，隨著業(yè)務(wù)的發(fā)展，某些業(yè)務(wù)方想保留自己獨(dú)有的域名，假設(shè)是plogin.lsh.com，我們當(dāng)然應(yīng)該也必須理解和接受這樣的需求，畢竟再小的個(gè)體也有自己的品牌，但是同源策略限制了無法下發(fā)登錄態(tài)cookie，不過可以通過別名CNAME解析處理，也可以將登錄態(tài)附到域名的URL上，然后業(yè)務(wù)方自行適配，比如plogin.lsh.com?sso_ticket=utm_site_www_liangsonghua_me。當(dāng)客戶端禁用cookie時(shí)，也只能選擇后者了

客戶端請(qǐng)求頭部信息一般是固定的，代理服務(wù)器一般會(huì)將其進(jìn)行緩存，有緩存的地方就有緩存大小控制的江湖，緩存容量不足時(shí)可以進(jìn)行頁面置換或者直接拋棄，代理服務(wù)器選用的是后者，緩沖區(qū)大小默認(rèn)為4*128K，當(dāng)URI過大或者Htttp Header過大時(shí)直接向上拋出400或401錯(cuò)誤

為了規(guī)范化管理，通常會(huì)使用不同的根域名區(qū)分業(yè)務(wù)，比如CDN服務(wù)類、對(duì)外展示類、服務(wù)間調(diào)用類，或者又比如泰國(guó)站、印尼站，或者又比如公網(wǎng)、內(nèi)網(wǎng)、預(yù)發(fā)，那么此時(shí)你就需要注意是否可以直接復(fù)用統(tǒng)一登錄，是否支持在內(nèi)網(wǎng)環(huán)境下通過手機(jī)端聯(lián)調(diào)

或許你剛出于好奇逛了下www.liangsonghua.me，那么瀏覽器是怎么知道去哪獲取資源的呢？實(shí)際上客戶端必須先通過分布式DNS系統(tǒng)進(jìn)行本地解析或者權(quán)威服務(wù)遞歸解析獲取真實(shí)IP，然后才能建立連接和獲取響應(yīng)。為了提高可靠性和吞吐量，一般采用多機(jī)房多臺(tái)容災(zāi)部署，統(tǒng)稱多個(gè)集群，避免單點(diǎn)故障，那么上線時(shí)就需要采用一定機(jī)制的發(fā)布策略比如滾動(dòng)發(fā)布，減小上線影響范圍，發(fā)布時(shí)先摘取流量，發(fā)布成功后利用本地DNS緩存也就是在/etc/hosts指定映射，進(jìn)行服務(wù)驗(yàn)證，當(dāng)無異常時(shí)再恢復(fù)流量。通常域名證書不會(huì)直接配置在后端實(shí)例上，所以在綁定hosts的時(shí)候無法使用HTTPS訪問，你可能會(huì)發(fā)現(xiàn)訪問時(shí)自動(dòng)跳轉(zhuǎn)到HTTPS請(qǐng)求，然后報(bào)錯(cuò)了，背后其實(shí)是瀏覽器的HSTS協(xié)議，它代表的是HTTPS嚴(yán)格傳輸協(xié)議，它是一個(gè)網(wǎng)絡(luò)安全政策機(jī)制，當(dāng)?shù)谝淮瓮ㄟ^HTTPS請(qǐng)求時(shí)，服務(wù)器響應(yīng)strict-transport-security: max-age=7776000rn頭，其含義是瀏覽器在max-age到期前只能通過安全的HTTPS連接與網(wǎng)站交互，避免中間人劫持

域名解析類型常見的有A記錄、AAAA記錄、CNAME、TXT記錄，A記錄又稱IP指向，可以設(shè)置子域名并指定到目標(biāo)主機(jī)地址上，AAAA記錄用于IPv6解析，IPv6的設(shè)計(jì)目的是取代IPv4，從而解決IPv4地址枯竭問題，同時(shí)它也在其他方面對(duì)于IPv4有許多改進(jìn)，正常網(wǎng)絡(luò)請(qǐng)求下，客戶端會(huì)向DNS服務(wù)器發(fā)起域名A記錄和AAAA記錄的解析請(qǐng)求，獲取到結(jié)果后，會(huì)同時(shí)使用IPv4和IPv6兩種鏈路嘗試建立連接，默認(rèn)優(yōu)先使用IPv6鏈路完成后續(xù)的網(wǎng)絡(luò)請(qǐng)求，當(dāng)網(wǎng)絡(luò)時(shí)延比較大時(shí)才會(huì)使用IPv4地址，也就是說客戶端是處在雙棧環(huán)境。另外一個(gè)TXT記錄，它一般配合在域名前加上_dnsauth，完成HTTPS驗(yàn)證

前面說到流量集群，也就是一個(gè)域名解析到多臺(tái)主機(jī)上，隨之而來的麻煩是如何避免數(shù)據(jù)傾斜，常見的做法是簡(jiǎn)單輪詢、加權(quán)輪詢、粘性Session、最少連接、隨機(jī)算法，將用戶流量轉(zhuǎn)發(fā)到后端，假設(shè)域名www.liangsonghua.me對(duì)應(yīng)有三臺(tái)主機(jī)，分別是A、B、C,權(quán)重分別為1、2、3，加權(quán)輪詢得到的序列順序則為A、B、B、C、C、C，一般用于后端主機(jī)配置有較大差異的場(chǎng)景。粘性Session也稱為一致性哈希算法，它將Key和實(shí)例標(biāo)識(shí)的值Hash后映射到同一個(gè)圓環(huán)上，Key所對(duì)應(yīng)的值為順時(shí)針查找的第一個(gè)Value值，從而保證了相同來源的請(qǐng)求始終會(huì)到達(dá)相同的后端實(shí)例，當(dāng)有新實(shí)例節(jié)點(diǎn)增加或者刪除時(shí)也只會(huì)影響極小部分的請(qǐng)求映射。流量集群帶來的第二個(gè)麻煩是如何避免DNS緩存，這里先直接給出解決方案，域名解析到一個(gè)主機(jī)上，然后通過該主機(jī)再轉(zhuǎn)發(fā)到真實(shí)的后端實(shí)例，每次變更實(shí)例狀態(tài)或者數(shù)量時(shí)，只更新轉(zhuǎn)發(fā)映射路由表即可，這個(gè)主機(jī)稱為Virtual IP Address，簡(jiǎn)稱VIP

VIP是一個(gè)負(fù)載均衡器節(jié)點(diǎn)，有硬件和軟件之分，硬件的成本比較高，使用率比較低。負(fù)載均衡器又分為四層和七層負(fù)載均衡器，顧名思義，四層的工作在TCPIP協(xié)議棧上，通過修改請(qǐng)求報(bào)文的(源/目的)地址和(源/目的)端口來轉(zhuǎn)發(fā)，比如LVS，一個(gè)VIP主機(jī)對(duì)應(yīng)一個(gè)域名，適用于每秒QPS超過一萬的業(yè)務(wù)。七層的工作在應(yīng)用層，將HTTP請(qǐng)求數(shù)據(jù)轉(zhuǎn)發(fā)到具體的服務(wù)器上，比如Nginx。LVS常見的兩種工作模式是NAT地址轉(zhuǎn)換和DR直接路由，NAT地址轉(zhuǎn)換模式下響應(yīng)會(huì)經(jīng)過VIP，而DR直接路由則不會(huì)，另外一種軟件實(shí)現(xiàn)Nginx的響應(yīng)返回也不經(jīng)過VIP。可以根據(jù)成熟度選擇不同的方案，盡量減少VIP的壓力，一般VIP的數(shù)量會(huì)遠(yuǎn)小于后端真實(shí)實(shí)例，它本身也會(huì)出現(xiàn)性能瓶頸

NAT網(wǎng)絡(luò)地址轉(zhuǎn)換常用于將公網(wǎng)和內(nèi)網(wǎng)進(jìn)行隔離后進(jìn)行映射，也就是說在內(nèi)網(wǎng)線上調(diào)用外網(wǎng)服務(wù)如微信接口、銀行接口，都是借助的NAT技術(shù)，它不是一種安全機(jī)制，只是降低了對(duì)公網(wǎng)地址的依賴，不過從客觀評(píng)價(jià)的角度來看NAT技術(shù)一定程度下拖慢了IPv6的發(fā)展。一般NAT出公網(wǎng)節(jié)點(diǎn)數(shù)量都比較少，內(nèi)網(wǎng)線上在沒有申請(qǐng)權(quán)限的前提下無法訪問外網(wǎng)是正常的，另外也不推薦在線上訪問公司內(nèi)部的公網(wǎng)服務(wù)

不少公司都是數(shù)據(jù)驅(qū)動(dòng)型的，首當(dāng)其沖要解決的其實(shí)是大規(guī)模數(shù)據(jù)的存儲(chǔ)問題，幸運(yùn)的是，我們可以將多個(gè)容量較小、相對(duì)廉價(jià)的磁盤進(jìn)行有機(jī)組合，從而以較低的成本獲得與昂貴大容量磁盤相當(dāng)?shù)娜萘?、性能、可靠性，這種技術(shù)稱為RAID獨(dú)立磁盤冗余陣列，可以看作是一種垂直伸縮。常用的RAID技術(shù)等級(jí)有RAID-0、RAID-1、RAID-10、RAID-5、RAID-6，RAID-0是數(shù)據(jù)在從內(nèi)存緩沖區(qū)寫入磁盤時(shí)，并發(fā)寫入N塊磁盤，顯然具有極快的數(shù)據(jù)讀寫速度，但是數(shù)據(jù)備份能力極差，只要有一塊磁盤損壞，數(shù)據(jù)完整性就得不到保證了。RAID-1則是將一份數(shù)據(jù)同時(shí)寫入到兩塊磁盤中，RAID-10充分結(jié)合了RAID-0和RAID-1的特點(diǎn)，它將所有磁盤平均分成兩份，數(shù)據(jù)同時(shí)在兩份磁盤中寫入，相當(dāng)于一半磁盤充當(dāng)備份。RAID-5和RAID-6則分別可以允許損壞一塊、兩塊磁盤，當(dāng)磁盤損壞時(shí)可以通過其他磁盤上的數(shù)據(jù)和校驗(yàn)數(shù)據(jù)進(jìn)行恢復(fù)?？偨Y(jié)一下RAID技術(shù)等級(jí)的區(qū)別，訪問速度：RAID-0>RAID-5>RAID-6>RAID-10>RAID-1,數(shù)據(jù)可靠性：RAID-1>RAID-10>RAID-6>RAID-5>RAID-0，磁盤利用率：RAID-0>RAID-1>=RAID-0>RAID-5>RAID-6

然而RAID技術(shù)不是銀彈，磁盤故障導(dǎo)致服務(wù)實(shí)例不可用的概率遠(yuǎn)比實(shí)例本身崩潰死亡的要高，此時(shí)人工進(jìn)行流量切換操作的話相當(dāng)繁瑣，VIP應(yīng)該充當(dāng)一個(gè)自動(dòng)探活的角色，每間隔一段時(shí)間進(jìn)行健康檢查，也就是熔斷，類似家里的電路保險(xiǎn)器，當(dāng)服務(wù)連通器異常時(shí)將實(shí)例標(biāo)記為不再接收新請(qǐng)求，等待已發(fā)送的請(qǐng)求處理完成或者超時(shí)后，開始標(biāo)記為下線，當(dāng)服務(wù)恢復(fù)時(shí)并且一段時(shí)間內(nèi)都是健康的才重新自動(dòng)接入流量，實(shí)際上業(yè)界的負(fù)載均衡器都支持這個(gè)特性

前面用了很大的篇幅描述了請(qǐng)求的過程，我們將探討點(diǎn)轉(zhuǎn)移到持續(xù)交付的始端，代碼是如何部署到線上的？發(fā)布系統(tǒng)一般需要有什么樣的功能？

一個(gè)好用的發(fā)布系統(tǒng)必須具備易用、快速、穩(wěn)定、容錯(cuò)力強(qiáng)，必要時(shí)可迅速回滾等特點(diǎn)，變更流程可以抽象為：(1)、通知下游調(diào)用方自己現(xiàn)在正在上線;(2)、分發(fā)新的版本構(gòu)建物到服務(wù)器上，只修改last版本的軟鏈指向；(3)、運(yùn)行命令reload變更重啟服務(wù)；（4)、驗(yàn)證服務(wù)的健康狀況 ;（5)、通知下游調(diào)用方上線已完成。另外，發(fā)布系統(tǒng)最好能提供集群分組管理、(實(shí)例、主機(jī)、分組、全局)靜態(tài)配置管理、構(gòu)建緩存、一鍵重啟服務(wù)、按比例分批部署、預(yù)熱功能，完善而不失精簡(jiǎn)。隨著Docker容器的日益盛行，鏡像發(fā)布慢慢開始流行起來，研發(fā)將代碼倉(cāng)庫(kù)地址、配置、環(huán)境、CPU參數(shù)、內(nèi)存參數(shù)、磁盤大小參數(shù)封裝成獨(dú)立版本的鏡像，然后指定實(shí)例數(shù)直接發(fā)布即可，無須手動(dòng)申請(qǐng)機(jī)器。每一次變更都是一次發(fā)布，每一次發(fā)布都是一個(gè)獨(dú)立的鏡像啟動(dòng)，這種稱為不可變模型，它能讓我們?cè)诳焖贋?zāi)備、快速恢復(fù)系統(tǒng)、增強(qiáng)系統(tǒng)健壯性等場(chǎng)景下收益。不過需要注意鏡像層不能過大，鏡像制作應(yīng)該易上手，重新發(fā)布和異常拉起時(shí)容器IP地址無變化

上下游應(yīng)用關(guān)聯(lián)信息一般由CMDB功能模塊負(fù)責(zé)。在標(biāo)準(zhǔn)化建設(shè)時(shí)，需要對(duì)關(guān)鍵的對(duì)象進(jìn)行拓?fù)潢P(guān)系識(shí)別，形成標(biāo)準(zhǔn)后進(jìn)行固化到某個(gè)信息管理平臺(tái)中，也就是CMDB。信息固化不是目的，也沒有價(jià)值，只有對(duì)信息動(dòng)態(tài)流轉(zhuǎn)起來才有價(jià)值，我們可以基于應(yīng)用這一層做彈性擴(kuò)縮容、穩(wěn)定性平臺(tái)、成本控制等等。其他工具也可以借鑒CMDB理念，比如歸屬權(quán)限管理、用戶反饋信息定位到具體業(yè)務(wù)然后定位到具體的人、測(cè)試數(shù)據(jù)模塊化管理

發(fā)布結(jié)束并不代表一個(gè)交付的結(jié)束，發(fā)布往往是事故的開端，所以需要對(duì)發(fā)布質(zhì)量進(jìn)行監(jiān)控，確保所做的更改不會(huì)產(chǎn)生負(fù)面影響，不要等到用戶來反饋錯(cuò)誤，可以結(jié)合以下五大類監(jiān)控快速發(fā)現(xiàn)發(fā)布應(yīng)用的異常表現(xiàn)，包括：(1)、用戶側(cè)監(jiān)控，關(guān)注的是用戶真正感受到的訪問速度和性能；(2)、業(yè)務(wù)監(jiān)控，關(guān)注的是核心業(yè)務(wù)指標(biāo)的波動(dòng)；(3)、應(yīng)用監(jiān)控，即服務(wù)調(diào)用的監(jiān)控; (4)、系統(tǒng)監(jiān)控，即基礎(chǔ)設(shè)施、虛擬機(jī)及操作系統(tǒng)的監(jiān)控；(5)、網(wǎng)絡(luò)監(jiān)控，即CDN與核心網(wǎng)絡(luò)的監(jiān)控

服務(wù)上線或者應(yīng)對(duì)大促運(yùn)營(yíng)活動(dòng)時(shí)，都需要考慮容量規(guī)劃，容量規(guī)劃離不開壓力測(cè)試。壓力測(cè)試就是對(duì)不同場(chǎng)景進(jìn)行模擬，然后驗(yàn)證系統(tǒng)容量和性能是否可以滿足某些極端情況，驗(yàn)證系統(tǒng)性能優(yōu)化的有效性。壓力測(cè)試從場(chǎng)景角度可劃分為六個(gè)緯度，分別為一般測(cè)試、負(fù)載測(cè)試、壓力測(cè)試、大數(shù)據(jù)量測(cè)試、穩(wěn)定性測(cè)試、配置測(cè)試、可恢復(fù)性測(cè)試。一般測(cè)試就是驗(yàn)證在正常情況下，是否能滿足性能指標(biāo)要求，比如持續(xù)30分鐘不失敗并且耗時(shí)在一定范圍內(nèi)。負(fù)載測(cè)試就是利用日常統(tǒng)計(jì)數(shù)據(jù)然后不斷按比例新增用戶操作，直至系統(tǒng)性能出現(xiàn)拐點(diǎn)，此時(shí)長(zhǎng)時(shí)間運(yùn)行，觀察系統(tǒng)是否正常。壓力測(cè)試就是在系統(tǒng)負(fù)載運(yùn)行的情況下，繼續(xù)增加壓力，觀察系統(tǒng)是否出現(xiàn)內(nèi)存泄漏或者Core Dump。大數(shù)據(jù)量測(cè)試主要是針對(duì)數(shù)據(jù)庫(kù)有特殊要求的系統(tǒng)進(jìn)行測(cè)試，檢查累積或者瞬間大量數(shù)據(jù)時(shí)，系統(tǒng)是否能穩(wěn)定運(yùn)行，實(shí)時(shí)計(jì)算模塊是否能正常運(yùn)轉(zhuǎn)。穩(wěn)定性測(cè)試，則是系統(tǒng)在滿足性能指標(biāo)的要求下，進(jìn)行長(zhǎng)時(shí)間的運(yùn)行，觀察是否能一直正常工作。配置測(cè)試，則是在不同的軟硬件配置環(huán)境下，進(jìn)行測(cè)試以找到最優(yōu)分配原則?？苫謴?fù)性測(cè)試，則是關(guān)閉、重啟服務(wù)，觀察過程中是否有失敗邏輯，還可以驗(yàn)證服務(wù)是否具備冪等性。壓力測(cè)試從落地角度又可分為單機(jī)單應(yīng)用壓力測(cè)試、單鏈路壓力測(cè)試、全鏈路壓力測(cè)試、線上流量回放、線上流量引流、流量模擬、數(shù)據(jù)讀寫施壓。容量壓測(cè)的技術(shù)方案整體來說還是比較復(fù)雜的，施壓時(shí)還需要關(guān)聯(lián)監(jiān)控，避免過多的錯(cuò)誤異常，對(duì)性能結(jié)果造成干擾

壓測(cè)過程中我們會(huì)關(guān)注基礎(chǔ)監(jiān)控，比如TCP重傳、CPU使用率、平均負(fù)載、內(nèi)存、SWAP、網(wǎng)絡(luò)流量。主機(jī)報(bào)文重傳是TCP最基本的錯(cuò)誤恢復(fù)功能，它的目的是防止報(bào)文丟失,報(bào)文丟失的可能因素有很多種，包括但不限于網(wǎng)絡(luò)設(shè)備或線路異常、數(shù)據(jù)路徑上的流量突發(fā)導(dǎo)致鏈路擁塞、網(wǎng)卡故障、服務(wù)端性能下降、代理節(jié)點(diǎn)或者VIP性能下降。如果你壓測(cè)的場(chǎng)景是大數(shù)據(jù)，請(qǐng)勿必留意該監(jiān)控項(xiàng)和網(wǎng)絡(luò)流量監(jiān)控項(xiàng)，重傳發(fā)生的次數(shù)和時(shí)間周期很小時(shí)影響才微乎其微，網(wǎng)絡(luò)流量入出速率不超過50Ms時(shí)也不需要過于在意。CPU使用率是單位時(shí)間內(nèi)CPU使用情況的統(tǒng)計(jì)，以百分比的方式展示，它表示除了空閑時(shí)間外的其他時(shí)間占總CPU時(shí)間的百分比，日常運(yùn)行中CPU使用率保持在25%左右，大促運(yùn)營(yíng)活動(dòng)時(shí)保持在30%左右會(huì)比較好。平均負(fù)載描述的是系統(tǒng)的平均活躍進(jìn)程數(shù)，理想情況下它等于邏輯CPU個(gè)數(shù)，這表示每個(gè)CPU都恰好被充分利用。目前主流的技術(shù)棧是Java，程序由JVM虛擬機(jī)進(jìn)行翻譯，JVM通常會(huì)預(yù)先分配好內(nèi)存，所以在監(jiān)控平臺(tái)看到的內(nèi)存使用率一般是固定的、偏高，我們可以同時(shí)關(guān)注下Swap交換分區(qū)，它的作用可簡(jiǎn)單描述為：當(dāng)系統(tǒng)的物理內(nèi)存不夠用的時(shí)候，就需要將物理內(nèi)存中的一部分空間釋放出來，以供當(dāng)前運(yùn)行的程序使用。那些被釋放的空間可能來自一些很長(zhǎng)時(shí)間沒有什么操作的程序，這些空間被臨時(shí)保存到Swap空間中，等到那些程序要運(yùn)行時(shí)，再?gòu)腟wap中恢復(fù)保存的數(shù)據(jù)到內(nèi)存中

文章來源：www.liangsonghua.me

作者介紹：京東資深工程師-梁松華，長(zhǎng)期關(guān)注穩(wěn)定性保障、敏捷開發(fā)、JAVA高級(jí)、微服務(wù)架構(gòu)