摘要:在上篇基于技術(shù)構(gòu)建新一代骨干網(wǎng)智能可靠可調(diào)度一中提到了數(shù)據(jù)中心野蠻式增長給網(wǎng)絡和骨干網(wǎng)帶來了極大挑戰(zhàn)以及骨干網(wǎng)的演進路線技術(shù)部分原理介紹。介紹完整個骨干網(wǎng)的架構(gòu)設計后,我們將分別針對骨干網(wǎng)的智能可靠可調(diào)度三大特性進行剖析。
在上篇《基于Segment Routing技術(shù)構(gòu)建新一代骨干網(wǎng):智能、可靠、可調(diào)度(一)》中提到了UCloud數(shù)據(jù)中心野蠻式增長給MAN網(wǎng)絡和骨干網(wǎng)帶來了極大挑戰(zhàn)以及UCloud骨干網(wǎng)1.0、2.0的演進路線、SR技術(shù)部分原理介紹。本文將重點介紹UCloud如何通過Segment Routing技術(shù)改進控制面和轉(zhuǎn)發(fā)面,實現(xiàn)智能、可靠、可調(diào)度的新一代骨干網(wǎng)。
新一代骨干網(wǎng)架構(gòu)
設計目標:
整體架構(gòu)如下:
新一代骨干網(wǎng)主要包括三大組件:智能控制器、骨干邊界轉(zhuǎn)發(fā)PE、接入側(cè)轉(zhuǎn)發(fā)CPE&VPE:
控制器:對全網(wǎng)轉(zhuǎn)發(fā)PE、CPE、VPE等設備進行統(tǒng)一的資源管理、信息收集、配置下發(fā),監(jiān)控告警以及路徑計算規(guī)劃,實現(xiàn)全網(wǎng)資源的統(tǒng)一調(diào)度和管理。
骨干網(wǎng)邊界:全網(wǎng)PE和RR組成SR-TE骨干網(wǎng)核心層,用于實現(xiàn)多路徑轉(zhuǎn)發(fā),流量調(diào)度;骨干網(wǎng)邊界對外主要接入CPE、M-Core、VPE&VCPE等設備。
接入側(cè)邊界:接入側(cè)分為三種設備類型:CPE、M-Core、VPE&VCPE。
CPE:主要用于接入本地專線客戶;
M-Core:公有云MAN網(wǎng)絡核心,實現(xiàn)各城域網(wǎng)接入骨干網(wǎng);
VPE:通過Internet或者4G/5G網(wǎng)絡接入用戶分支機構(gòu)的VCPE設備,提供用戶混合組網(wǎng)能力。
近年來,云數(shù)據(jù)中心SDN網(wǎng)絡設計思路大行其道,其主要思想是轉(zhuǎn)控分離,轉(zhuǎn)控分離好處不用多說,當然也有其弊端;SDN數(shù)據(jù)中心網(wǎng)絡中的控制面故障有太多血的教訓,控制面故障帶來的轉(zhuǎn)發(fā)面影響也是重大的;畢竟轉(zhuǎn)發(fā)面才是真正承載客戶業(yè)務的地方,所以我們在設計新一代骨干網(wǎng)時需要考慮控制器故障時,如何保持轉(zhuǎn)發(fā)層面的獨立可用性。
接下來將介紹基于SR技術(shù)骨干網(wǎng)的控制面和轉(zhuǎn)發(fā)面的設計實現(xiàn)原理。
控制面設計
新一代骨干網(wǎng)的控制面主要包括兩個方面:
一、智能控制器;
二、 SR-TE骨干網(wǎng)路由設計控制面。
控制器的主要架構(gòu)設計如下:
整個控制器的目標為實現(xiàn)一致的配置下發(fā)與可擴展的調(diào)度策略。基于設備全球部署的特點以及網(wǎng)絡并非百分之百穩(wěn)定的前提,該系統(tǒng)采用了數(shù)據(jù)層跨地域部署,同時為了兼顧正常情況下控制器的快速響應,控制節(jié)點采用了分機房的集群部署方式來保證業(yè)務的可靠性與高效的調(diào)度能力;上層控制系統(tǒng)通過BGP-LS、Telemetry技術(shù)采集轉(zhuǎn)發(fā)鏈路狀態(tài)信息,收集到數(shù)據(jù)庫,之后對采集到的數(shù)據(jù)進行分析處理,最后通過netconf和PCEP方式下發(fā)配置和智能計算路徑。
其中數(shù)據(jù)采集主要包括:
Netconf和PCEP主要用于配置下發(fā)和路徑計算:
實現(xiàn)能力如下:
為了實現(xiàn)用戶L2和L3接入場景需求,在骨干網(wǎng)規(guī)劃設計了基于MP-BGP的L3VPN和BGP-EVPN的L2VPN,下面來做一個簡單的介紹。
MP-BGP
新一代基于SR技術(shù)的骨干網(wǎng)采用了MPLS-VPN的技術(shù)特性,大致需要如下組件:
在傳統(tǒng)的MPLS-VPN技術(shù)的基礎上,摒棄LDP,啟用SR功能來分配公網(wǎng)標簽,內(nèi)層標簽繼續(xù)由運行MP-BGP協(xié)議的PE設備來分配。
BGP-EVPN
在MPLS網(wǎng)絡中實現(xiàn)用戶L2場景的接入需求,有很多解決方案比如VPLS,但是傳統(tǒng)的VPLS還是有很多問題,比如:不提供 All-Active 雙歸接入,PE流量泛洪可能導致環(huán)路風險以及重復數(shù)據(jù)幀。
為了解決VPLS的問題,我們在新一代骨干網(wǎng)架構(gòu)中采用了BGP-EVPN協(xié)議作為L2網(wǎng)絡的控制面;EVPN網(wǎng)絡和BGP/MPLS IP VPN的網(wǎng)絡結(jié)構(gòu)相似,為了實現(xiàn)各個站點(Site)之間的互通,骨干網(wǎng)上的PE設備建立EVPN實例并接入各個站點的CE設備,同時各個PE之間建立EVPN鄰居關系;由于EVPN網(wǎng)絡與BGP/MPLS IP VPN網(wǎng)絡的不同之處在于各個站點內(nèi)是二層網(wǎng)絡,因此PE從各個CE學習到的是MAC地址而不是路由,PE通過EVPN特有的路由類型將自己從CE學習到MAC地址轉(zhuǎn)發(fā)到其它Site。
BGP-EVPN有三個比較重要的概念:
1、EVPN Instance (EVI) :EVPN是一種虛擬私有網(wǎng)絡,在一套物理設備上可以有多個同時存在的EVPN實例,每個實例獨立存在。每個EVI連接了一組或者多組用戶網(wǎng)絡,構(gòu)成一個或者多個跨地域的二層網(wǎng)絡。
2、Ethernet Segment(ESI):EVPN技術(shù)為PE與某一CE的連接定義唯一的標識ESI(Ethernet Segment Identifier),連接同一CE的多個PE上的ESI值是相同,連接不同CE的ESI值不同。PE之間進行路由傳播時,路由中會攜帶ESI值使PE間可以感知到連接同一CE的其它PE設備。
3、ET(EthernetTag):每個EVI可以構(gòu)成一個或者多個二層網(wǎng)絡。當EVI包含了多個二層網(wǎng)絡時,通過Ethernet Tag來區(qū)分這些二層網(wǎng)絡。如果我們把二層網(wǎng)絡看成是廣播域的話(Broadcast Domain),那么ET就是用來區(qū)分不同廣播域的。
為了不同站點之間可以相互學習對方的MAC信息,因此EVPN在BGP協(xié)議的基礎上定義了一種新的NLRI(Network la
相比較VPLS,EVPN的優(yōu)勢如下:
1、集成 L2 和 L3 VPN服務;
2、 類似L3VPN的原理和可擴展性和控制性;
3、支持雙歸接入,解決容災和ECMP問題;
4、 可選擇 MPLS,VXLAN作為數(shù)據(jù)平面;
5、對等PE自動發(fā)現(xiàn), 冗余組自動感應。
BGP-LS
BGP-LS用于收集轉(zhuǎn)發(fā)設備的鏈路狀態(tài)信息以及標簽信息,具體規(guī)劃如下:
1、所有PE和RR建立BGP-LS鄰居,PE將各自的鏈路信息、標簽信息以及SR Policy狀態(tài)傳遞給RR;
2、RR與控制器建立BGP-LS鄰居,將IGP的鏈路狀態(tài)信息轉(zhuǎn)換后上報控制器。
01、骨干網(wǎng)核心層
骨干網(wǎng)PE設備之間運行ISIS-L2,并開啟SR功能,規(guī)劃Node-SID、Adj-SID、Anycast-SID;PE基于環(huán)回口與RR建立MP-IBGP鄰居關系,傳遞各站點VPNv4路由,實現(xiàn)L3VPN用戶業(yè)務轉(zhuǎn)發(fā);同時PE采用BGP EVPN作為Overlay路由協(xié)議,基于環(huán)回口地址建立域內(nèi)BGP EVPN 鄰居關系,采用SR-TE隧道封裝用戶二層數(shù)據(jù),實現(xiàn)L2VPN用戶業(yè)務通過SR-TE轉(zhuǎn)發(fā)。
一般分為SR-BE和SR-TE:
SR-BE由兩層標簽組成:內(nèi)層標簽為標識用戶的VPN標簽,外層標簽為SR分配的公網(wǎng)標簽;
SR-TE由多層標簽組成:內(nèi)層標簽為標識用戶的VPN標簽,外層標簽為SR-TE標簽,一般由設備頭端計算或者通過控制器下發(fā)的標簽棧;
L2用戶通過查找MAC/IP route來實現(xiàn)標簽封裝,L3用戶通過查找VRF中的私網(wǎng)路由來實現(xiàn)標簽封裝。
02、骨干網(wǎng)邊界層
骨干網(wǎng)PE與CPE&VPE以及公有云的M-Core運行EBGP收發(fā)用戶路由,通過BGP實現(xiàn)數(shù)據(jù)轉(zhuǎn)發(fā);CPE和VPE與接入用戶CE以及VCPE運行EBGP;特別需要注意的是VPE與VCPE是通過Internet建立的BGP,所以需要通過IPsec協(xié)議進行數(shù)據(jù)加密。
介紹完整個骨干網(wǎng)的架構(gòu)設計后,我們將分別針對骨干網(wǎng)的智能、可靠、可調(diào)度三大特性進行剖析。
01、智能
1、分支網(wǎng)絡設備自動化部署,實現(xiàn)控制器自動計算路徑和流量統(tǒng)一調(diào)度以及業(yè)務編排;
2、控制器通過BGP-LS等收集網(wǎng)絡拓撲、SR-TE信息以及SR Policy信息,并根據(jù)業(yè)務需求進行路徑計算,然后通過BGP-SR-TE/PCEP等協(xié)議將SR Policy下發(fā)到頭端節(jié)點。
1、分布式控制面,防止控制器故障帶來的整網(wǎng)癱瘓影響,支持頭端自動引流,廢除復雜的策略引流機制;
2、頭端節(jié)點利用IGP攜帶的SR-TE信息和IGP鏈路狀態(tài)信息、SR標簽信息等組成SR-TE數(shù)據(jù)庫,然后基于CSPF算法按照Cost、帶寬、時延、SRLG和不相交路徑等約束條件計算滿足條件的路徑,并安裝相應的SR Policy指導數(shù)據(jù)包轉(zhuǎn)發(fā)。
根據(jù)業(yè)務的SLA要求,可以規(guī)劃新的網(wǎng)絡轉(zhuǎn)發(fā)平面,可以將時延敏感型的業(yè)務調(diào)度到基于延遲切片的網(wǎng)絡轉(zhuǎn)發(fā)平面。
如下為現(xiàn)網(wǎng)當前規(guī)劃的兩個網(wǎng)絡切片轉(zhuǎn)發(fā)平面:
02、可靠
當前根據(jù)業(yè)務需求規(guī)劃了如下幾種骨干網(wǎng)調(diào)度策略:
IGP:最低開銷轉(zhuǎn)發(fā),ISIS接口的cost根據(jù)點到點之間專線物理距離延遲*100得到;
Delay:最低延遲轉(zhuǎn)發(fā),ISIS接口配置PM功能,動態(tài)探測點到點之間實際延遲;
TCO:最優(yōu)成本轉(zhuǎn)發(fā),控制器根據(jù)每條專線的實際成本計算出最優(yōu)成本路徑;
FM:自定義轉(zhuǎn)發(fā),控制器根據(jù)業(yè)務臨時需求下發(fā)需求路徑;
FBN:公網(wǎng)隧道轉(zhuǎn)發(fā),每個地域之間提供公網(wǎng)VPN線路,提供備份轉(zhuǎn)發(fā)路徑。
SR Policy中基于Color定義兩種引流方式:
1、Per-Destination引流模板:Color在某種程度上將網(wǎng)絡和業(yè)務進行了解耦,業(yè)務方可以通過Color來描述更復雜的業(yè)務訴求,SR-TE通過Color進行業(yè)務關聯(lián)。
2、Per-Flow引流模板:通過DSCP標記業(yè)務,或者ACL進行流分類映射到Service-Class等級,Service-Class關聯(lián)Color進行業(yè)務引流。
Color資源規(guī)劃
Color屬性在SR-TE中標記路由,用于頭端節(jié)點進行靈活引流;新一代骨干網(wǎng)絡設計的流量調(diào)度中定義四種Color類型:
默認Color:每個城市節(jié)點的用戶路由必須攜帶的Color值,用于引流默認隧道轉(zhuǎn)發(fā)【預埋保留】。
城市Color:每個城市每用戶VRF路由必須攜帶的Color值,用于全局流量調(diào)度使用【每個城市默認分配9種相同Color分別關聯(lián)到不同的業(yè)務】。
業(yè)務Color:在Per-flow(基于流分類調(diào)度)場景中使用,每個城市的MAN網(wǎng)絡和用戶私網(wǎng)路由標記使用,全局引流作用。
本地Color:在Per-flow(基于流分類調(diào)度)場景中結(jié)合自用Color使用,映射Service-Class服務等級,關聯(lián)到業(yè)務模板。
下面以流調(diào)度為例來介紹UCloud骨干網(wǎng)業(yè)務基于SR技術(shù)結(jié)合的最佳實踐方案。
Per-Flow場景下業(yè)務模板/Color與Service-Class服務等級關聯(lián)
1.Per-Flow流量調(diào)度規(guī)劃每個城市分配一個業(yè)務Color,MAN網(wǎng)絡路由在PE設備上標記各城市業(yè)務Color;
2.每個頭端節(jié)點PE上定義8種調(diào)度策略,對應于不同的業(yè)務模板,其中2個業(yè)務模板保留;業(yè)務模板與Color、Service-Class定義標準的映射關系;
3.點到點的城市之間默認支持2條FM自定義策略(自定義隧道策略);
4.IGP、Delay使用動態(tài)SR Policy,其它隧道采用靜態(tài)SR Policy策略;
5.Per-Flow 場景下的endpoint地址支持Anycast-SID,頭端的一臺PE到末端兩臺城市的PE只需要定義一條SR Policy即可;
6.以20個核心城市為例,單個城市的PE Per-Flow的SR Policy數(shù)量為19*7=133條。
在規(guī)劃中,UCloud基礎網(wǎng)絡團隊根據(jù)公有云業(yè)務類型將業(yè)務進行分類,分類方法是對具體業(yè)務進行DSCP標記;然后數(shù)據(jù)包到了骨干網(wǎng)PE后再根據(jù)DSCP進行靈活引流。
業(yè)務模板與Service-Class服務等級映射:
我們將骨干網(wǎng)當作一個整體,這個整體的邊界端口使用DSCP和ACL入Service-Class,下面明確定義下何為邊界端口。
邊界端口:
PE連接CPE&VPE、MAN網(wǎng)絡側(cè)的接口
DSCP入隊方式:
骨干網(wǎng)邊界端口默認信任接入側(cè)用戶的DSCP值,根據(jù)相應的DSCP入隊到Service-Class服務
ACL入隊方式:
1.在一些特殊場景下需要針對某些業(yè)務通過ACL分類后入隊到Service-Class服務【業(yè)務本身無法攜帶DSCP】
2.每種隧道調(diào)度策略都可以通過ACL對流進行分類,然后入隊到Service-Class
入隊和轉(zhuǎn)發(fā)流程:
1.在PE上配置流分類,按照業(yè)務等級,將不同的DSCP值映射到Service-Class(8種等級)
2.為隧道(Service-Class)配置對應的調(diào)度策略
3.業(yè)務流在PE設備上會先根據(jù)路由迭代看是否選擇隧道(SR Policy),然后再去比對流的DSCP值是否和SR Policy中Service-Class映射設置一致,一致流將從對應隧道通過
4.業(yè)務流根據(jù)Service-Class中的調(diào)度策略進行流量轉(zhuǎn)發(fā)
分類業(yè)務和SR-TE隧道映射關系如下:
1、默認所有業(yè)務按照規(guī)劃的DSCP和調(diào)度策略進行關聯(lián);
2、使用ACL實現(xiàn)特殊業(yè)務類型進行臨時策略調(diào)度。
SR-TE流量工程案例
下面介紹一個SR-TE實際調(diào)度的案例分享:
業(yè)務高峰時段基礎網(wǎng)絡收到香港-新加坡專線流量突發(fā)告警,智能流量分析系統(tǒng)發(fā)現(xiàn)突發(fā)流量為安全部門在廣州與雅加達節(jié)點同步數(shù)據(jù)庫。
正常情況下廣州去往雅加達的流量通過IGP最短開銷計算出的路徑為:廣州--->香港--->新加坡--->雅加達,由于香港-新加坡段為出海流量的中轉(zhuǎn)點,所以經(jīng)常會在高峰期出現(xiàn)鏈路擁塞情況。
1、基于目標地址流量做逐跳PBR,將大流量業(yè)務調(diào)度到其它空閑鏈路轉(zhuǎn)發(fā);
2、基于目的地址的流量進行限速,保障鏈路帶寬。
1、逐跳配置策略路由,配置復雜,運維難度大;
2、粗暴的限速策略有損內(nèi)部業(yè)務。
Segment 列表對數(shù)據(jù)包在網(wǎng)絡中的任意轉(zhuǎn)發(fā)路徑進行編碼,可以避開擁塞鏈路,通過SR流量調(diào)度后的路徑為:廣州--->北京--->法蘭克福--->新加坡--->雅加達。
1、頭端/控制器可以定義端到端轉(zhuǎn)發(fā)路徑,通過標簽轉(zhuǎn)發(fā);
2、基于業(yè)務流進行靈活流量調(diào)度(目的地址+業(yè)務等級)。
上文用很長的篇幅介紹了UCloud骨干網(wǎng)歷史和新一代骨干網(wǎng)架構(gòu)設計細節(jié),其實當前基于公有云業(yè)務調(diào)度只能從MAN網(wǎng)絡開始,還不支持從DCN內(nèi)部開始調(diào)度;未來UCloud基礎網(wǎng)絡團隊將設計基于Binding SID技術(shù)的公有云業(yè)務端到端的流量調(diào)度工程,大致規(guī)劃如下:
UCloud骨干網(wǎng)總體設計目標是智能、可靠、可調(diào)度,一方面通過全球?qū)>€資源將各Region公有云資源、用戶資源打通;另一方面在接入側(cè)支持本地線路+互聯(lián)網(wǎng)線路接入,構(gòu)建骨干網(wǎng)混合組網(wǎng)能力,從而形成了一張穩(wěn)定且高性能的骨干網(wǎng),為上層公有云業(yè)務、用戶線下、線上資源開通提供可靠的傳輸網(wǎng)絡,整體上來看骨干網(wǎng)是UCloud公有云網(wǎng)絡體系中非常重要的一個組成部分。
UCloud基礎網(wǎng)絡團隊在過去的一年重構(gòu)新一代骨干網(wǎng),使其具備了智能、可靠、可調(diào)度的能力,從而能夠合理的規(guī)劃專線資源,降低了專線成本,且骨干網(wǎng)整體性能得到極大提升。未來UCloud基礎網(wǎng)絡團隊將會繼續(xù)緊跟骨干網(wǎng)技術(shù)發(fā)展潮流,為整個公有云跨域產(chǎn)品提供智能、可靠、可調(diào)度的底層網(wǎng)絡。
作者:唐玉柱,UCloud 高級網(wǎng)絡架構(gòu)師、UCloud新一代骨干網(wǎng)架構(gòu)規(guī)劃項目負責人。擁有豐富的數(shù)據(jù)中心、骨干網(wǎng)架構(gòu)設計和運維經(jīng)驗;目前主要負責UCloud全球數(shù)據(jù)中心、骨干網(wǎng)架構(gòu)設備選型、架構(gòu)設計和規(guī)劃。
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://systransis.cn/yun/126029.html
摘要:為了解決骨干網(wǎng)當前的問題,基礎網(wǎng)絡團隊在年下半年開始,對新一代骨干網(wǎng)架構(gòu)進行重新設計硬件選型,在新一代骨干網(wǎng)架構(gòu)設計中采用了當前比較流行的源路由即技術(shù)以下簡稱,在介紹新一代骨干網(wǎng)架構(gòu)之前先給大家簡單介紹一下技術(shù)的基本概念。前言隨著網(wǎng)絡技術(shù)的發(fā)展和云計算業(yè)務的快速普及,當前各行各業(yè)的客戶都有迫切上云的需求,越來越多的關鍵業(yè)務,如:web前端、視頻會議、辦公應用、數(shù)據(jù)存儲等開始部署在云端;新的網(wǎng)...
摘要:期間筆者有幸采訪了虛擬網(wǎng)絡負責人周健,更近距離的了解在異構(gòu)網(wǎng)絡下的創(chuàng)新歷程。周健表示異構(gòu)網(wǎng)絡跨域互聯(lián)存在幾個難點,安全隔離性能保障用戶體驗一致性。2020年10月23日,UCloud用戶大會暨TIC 2020大會于上海召開,以探討云端構(gòu)建,一起創(chuàng)見未來為主題。期間筆者有幸采訪了UCloud虛擬網(wǎng)絡負責人周健,更近距離的了解UCloud在異構(gòu)網(wǎng)絡下的SDN創(chuàng)新歷程。今年1月20日,公司正式登陸...
摘要:在日前由中國公路學會主辦的第屆中國高速公路信息化研討會上,華為云的高光亮相,不僅彰顯出華為針對智慧高速建設在產(chǎn)品技術(shù)積淀行業(yè)經(jīng)驗積累和生態(tài)系統(tǒng)打造上的領先性,也描繪出華為云將普惠真正落地到智慧高速中的方法和路徑。日前,清明節(jié)以及五一勞動節(jié)期間,收費公路對7座以下(含7座)載客車輛免收通行費的重磅消息一出,全國各地的車主們都沸騰了!不過,車主們對于堵車的擔心也隨之而來,其中省界收費站更是導致高...
閱讀 3546·2023-04-25 20:09
閱讀 3745·2022-06-28 19:00
閱讀 3066·2022-06-28 19:00
閱讀 3092·2022-06-28 19:00
閱讀 3185·2022-06-28 19:00
閱讀 2886·2022-06-28 19:00
閱讀 3057·2022-06-28 19:00
閱讀 2643·2022-06-28 19:00