資訊專(zhuān)欄INFORMATION COLUMN
摘要：今天我們要談的異構(gòu)去堆疊就是京東云在提高網(wǎng)絡(luò)高可用方面的新技術(shù)研究。京東云在設(shè)計(jì)去堆疊方案時(shí)首先考慮了異構(gòu)，一方面因?yàn)閱我粡S商對(duì)網(wǎng)絡(luò)高可用還是一個(gè)重要風(fēng)險(xiǎn)點(diǎn)，另一方面異構(gòu)方式可以促進(jìn)京東正在進(jìn)行的自研交換機(jī)實(shí)現(xiàn)快速部署。
行業(yè)內(nèi)接入網(wǎng)絡(luò)去堆疊已經(jīng)逐步成為主流方向，在大型互聯(lián)網(wǎng)公司也已經(jīng)批量部署。但由于京東集團(tuán)不同的業(yè)務(wù)需求及歷史原因，沒(méi)有條件完全復(fù)制目前主流的ARP轉(zhuǎn)主機(jī)路由方式的去堆疊方案，這促使我們?cè)O(shè)計(jì)一種盡可能滿(mǎn)足各類(lèi)業(yè)務(wù)需求的方案。
近幾年來(lái)云市場(chǎng)迅速發(fā)展，越來(lái)越多的用戶(hù)把關(guān)鍵應(yīng)用甚至全部應(yīng)用部署到公有云上。云服務(wù)商在產(chǎn)品收入快速增長(zhǎng)同時(shí)，也深刻體會(huì)到產(chǎn)品的高可用性對(duì)用戶(hù)發(fā)展和用戶(hù)留存的重要性。面向用戶(hù)的產(chǎn)品SLA的實(shí)現(xiàn)效果取決于其依賴(lài)的各個(gè)環(huán)節(jié)，而基礎(chǔ)網(wǎng)絡(luò)是所有產(chǎn)品需要依賴(lài)的一個(gè)重要環(huán)節(jié)，因此，提升網(wǎng)絡(luò)高可用SLA對(duì)整體提升產(chǎn)品整體SLA有著重要促進(jìn)作用。今天我們要談的異構(gòu)去堆疊就是京東云在提高網(wǎng)絡(luò)高可用SLA方面的新技術(shù)研究。用戶(hù)自有網(wǎng)絡(luò)其實(shí)也面臨同樣的問(wèn)題，有提高網(wǎng)絡(luò)可靠性需求的用戶(hù)可以考慮在自有網(wǎng)絡(luò)中使用類(lèi)似方案。
網(wǎng)絡(luò)高可用通用解決方案首先，讓我們先來(lái)看一下為了實(shí)現(xiàn)網(wǎng)絡(luò)高可用，當(dāng)下的四種服務(wù)器連接主流方案：
由上圖可以看出，雙網(wǎng)卡/交換機(jī)堆疊和雙網(wǎng)卡/去交換機(jī)堆疊提供了更好的高可用保證。
通用堆疊方式 V.S 通用去堆疊方式01 堆疊方案
優(yōu)勢(shì)
服務(wù)器雙網(wǎng)卡捆綁，無(wú)需特別改造
交換機(jī)控制面統(tǒng)一，支持服務(wù)器BGP路由方式接入
劣勢(shì)
多設(shè)備統(tǒng)一控制面，可靠性低
升級(jí)困難
橫向連接浪費(fèi)端口
02 去堆疊方案
常見(jiàn)的去堆疊方案有以下兩種：
去堆疊方案-路由方式
優(yōu)勢(shì)
交換機(jī)完全獨(dú)立
支持異構(gòu)
路由方式接入的服務(wù)器無(wú)需特別改造
劣勢(shì)
2層方式接入的服務(wù)器需要進(jìn)行改造
服務(wù)器除網(wǎng)卡IP外需配置多帶帶業(yè)務(wù)IP
服務(wù)器多IP增加業(yè)務(wù)方運(yùn)維復(fù)雜度
靜態(tài)路由方式不適合VM或Docker漂移
動(dòng)態(tài)路由方式要求全部服務(wù)器運(yùn)行路由協(xié)議
2.去堆疊方案-ARP轉(zhuǎn)主機(jī)路由方式
優(yōu)勢(shì)
交換機(jī)完全獨(dú)立
服務(wù)器網(wǎng)卡捆綁方式不變，便于運(yùn)維
服務(wù)器網(wǎng)卡捆綁方式不變，便于運(yùn)維
劣勢(shì)
一組交換機(jī)要求同廠商，不支持異構(gòu)
需要修改服務(wù)器Linux內(nèi)核ARP處理部分
不支持服務(wù)器BGP路由方式接入
通過(guò)以上對(duì)比，可以發(fā)現(xiàn)堆疊與去堆疊方式其實(shí)都可以實(shí)現(xiàn)網(wǎng)絡(luò)的高可用，但各有利弊。針對(duì)這樣的情況，京東云提出了一種理想的去堆疊方式，可以滿(mǎn)足下圖中的所有需求。
異構(gòu)去堆疊方案01 實(shí)現(xiàn)方法
交換機(jī)側(cè)
IP配置/24掩碼，兩臺(tái)交換機(jī)可配置相同IP或者不同IP；
啟用ARP代理及轉(zhuǎn)主機(jī)路由功能；
配置ARP超時(shí)時(shí)間為5s以便在服務(wù)器不響應(yīng)ARP時(shí)快速撤回主機(jī)路由。
服務(wù)器側(cè)
服務(wù)器雙網(wǎng)卡配置相同IP地址（掩碼/32）；
采用onlink方式配置目的為交換機(jī)IP的靜態(tài)路由指向?qū)?yīng)網(wǎng)卡；
采用onlink方式配置缺省路由同時(shí)指向兩塊網(wǎng)卡；
需要運(yùn)行Ifplugd進(jìn)程監(jiān)控物理連接，物理連接發(fā)生UP/DOWN時(shí)執(zhí)行相應(yīng)ARP Ping和路由修改操作。
02 冗余測(cè)試
從上圖中的測(cè)試拓?fù)浜徒Y(jié)果中可以看出，不論是軟件操作上的禁用還是硬件拔出，在設(shè)定的收斂時(shí)間內(nèi)，服務(wù)器的網(wǎng)絡(luò)一直保持高可用。
03 異構(gòu)去堆疊方案小結(jié)
異構(gòu)去堆疊方案優(yōu)勢(shì)
交換機(jī)完全獨(dú)立
異構(gòu)避免單一廠商風(fēng)險(xiǎn)
異構(gòu)推動(dòng)自研交換機(jī)快速上線
服務(wù)器側(cè)支持2層方式或BGP路由方式
不修改Linux內(nèi)核
注意事項(xiàng)
需要內(nèi)核版本支持L4 HASH方式ECMP（Centos 7.4以上）
需要運(yùn)行Ifplugd進(jìn)程監(jiān)控物理連接
總結(jié)綜上所述，異構(gòu)去堆疊有助于實(shí)現(xiàn)苛刻的網(wǎng)絡(luò)SLA和極致的用戶(hù)體驗(yàn)。京東云在設(shè)計(jì)去堆疊方案時(shí)首先考慮了異構(gòu)，一方面因?yàn)閱我粡S商對(duì)網(wǎng)絡(luò)高可用SLA還是一個(gè)重要風(fēng)險(xiǎn)點(diǎn)，另一方面異構(gòu)方式可以促進(jìn)京東正在進(jìn)行的自研交換機(jī)實(shí)現(xiàn)快速部署。眾所周知，自研交換機(jī)在各大互聯(lián)網(wǎng)公司都是重點(diǎn)項(xiàng)目，但軟件和硬件的穩(wěn)定性一直是批量部署的重大障礙。而異構(gòu)去堆疊利用自研和商用交換機(jī)1+1的方式可以大大降低自研交換機(jī)穩(wěn)定性的影響。
·END·文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/25505.html
摘要：等硬件公司會(huì)倒閉或被公有云收購(gòu)。公有云會(huì)用自己的產(chǎn)品取代現(xiàn)有一切基礎(chǔ)軟件，提供自己的操作系統(tǒng)數(shù)據(jù)庫(kù)以及一切。跟公有云相比，缺少一個(gè)核心超高的，服務(wù)等級(jí)協(xié)議，供應(yīng)商對(duì)客戶(hù)服務(wù)的質(zhì)量承諾，達(dá)不到服務(wù)質(zhì)量會(huì)有相應(yīng)的賠償。無(wú)法提供公有云的。作者簡(jiǎn)介：張?chǎng)?，是世界上最早一批虛擬化開(kāi)發(fā)者，是《系統(tǒng)虛擬化》一書(shū)的主要作者。2010年赴硅谷加入IaaS初創(chuàng)公司Cloud．com，是CloudStack核心架...
摘要：戴嘉樂(lè)去年月參與了的眾籌，從而了解到技術(shù)，獨(dú)立開(kāi)發(fā)了兩款基于的開(kāi)源應(yīng)用，一個(gè)是與有關(guān)的系統(tǒng)，另一個(gè)是相關(guān)的地理位置檢索系統(tǒng)?，F(xiàn)在支持的數(shù)據(jù)結(jié)構(gòu)，支持比特幣以太坊的區(qū)塊數(shù)據(jù)。 戴嘉樂(lè)是前百度高級(jí)研發(fā)工程師，ipfser.org&巴比特專(zhuān)欄作者。戴嘉樂(lè)去年8月參與了FileCoin的眾籌，從而了解到IPFS技術(shù)，獨(dú)立開(kāi)發(fā)了兩款基于IPFS的開(kāi)源應(yīng)用，一個(gè)是與IPFS有關(guān)的wiki系統(tǒng)，另一...
摘要：第二部分介紹當(dāng)當(dāng)?shù)膹椥曰虚g件。第三部分當(dāng)當(dāng)?shù)脑苹?。下面部分是為?dāng)當(dāng)運(yùn)營(yíng)人員與合作伙伴提供的系統(tǒng)，如商品價(jià)格庫(kù)存等。下圖是當(dāng)當(dāng)?shù)谋O(jiān)控系統(tǒng)以及限流系統(tǒng)的。當(dāng)當(dāng)采用的作業(yè)中間件是自研的，它可以將一個(gè)完整的作業(yè)拆分為多個(gè)相互獨(dú)立的任務(wù)。 showImg(https://segmentfault.com/img/remote/1460000009999152); 6月24日，雙態(tài)運(yùn)維·烏鎮(zhèn)...
閱讀 3518·2023-04-26 02:48
閱讀 1491·2021-10-11 10:57
閱讀 2520·2021-09-23 11:35
閱讀 1230·2021-09-06 15:02
閱讀 3328·2019-08-30 15:54
閱讀 1652·2019-08-30 15:44
閱讀 909·2019-08-30 15:44
閱讀 1013·2019-08-30 12:52
