摘要：本文以標(biāo)準(zhǔn)網(wǎng)絡(luò)拓?fù)鋱D為基礎(chǔ)進(jìn)行物理網(wǎng)絡(luò)架構(gòu)描述，本架構(gòu)設(shè)計至少需要臺萬兆交換機(jī)臺千兆交換機(jī)多臺計算存儲節(jié)點服務(wù)器。如需內(nèi)外網(wǎng)物理隔離且考慮接入冗余，可采用組共臺接入交換機(jī)進(jìn)行業(yè)務(wù)部署。

為構(gòu)建高可用、高可靠、高安全的企業(yè)專有云平臺， UCloudStack 平臺均采用高可用冗余性設(shè)計。本文以標(biāo)準(zhǔn)網(wǎng)絡(luò)拓?fù)鋱D為基礎(chǔ)進(jìn)行物理網(wǎng)絡(luò)架構(gòu)描述，本架構(gòu)設(shè)計至少需要 6 臺萬兆交換機(jī)、2 臺千兆交換機(jī)、 多臺計算&存儲節(jié)點服務(wù)器。若有 IPMI 管理及網(wǎng)絡(luò)設(shè)備管理等需求，可根據(jù)需求增加 IPMI 和 Management 交換機(jī)并接入網(wǎng)絡(luò)。

UCloudStack 平臺網(wǎng)絡(luò)設(shè)計為核心、接入二層架構(gòu)，接入交換機(jī)雙上聯(lián)到核心，且按計算業(yè)務(wù)分集群劃分。本架構(gòu)設(shè)計從業(yè)務(wù)場景上提供公網(wǎng)服務(wù)，因此整體業(yè)務(wù)架構(gòu)分為內(nèi)網(wǎng)區(qū)域和外網(wǎng)區(qū)域兩張網(wǎng)絡(luò)，分別承載云平臺內(nèi)網(wǎng)通信和外網(wǎng)通信，兩張網(wǎng)絡(luò)在網(wǎng)絡(luò)設(shè)備層面物理隔離。

2.2.1 架構(gòu)規(guī)模

標(biāo)準(zhǔn)的網(wǎng)絡(luò)架構(gòu)為單數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)，以下述配置為例，單數(shù)據(jù)中心可支撐 900 ~1000 臺規(guī)模的節(jié)點數(shù)量：

• 兩臺交換機(jī)堆疊在一起，稱為一組交換機(jī)，如一組內(nèi)網(wǎng)接入交換機(jī)或一組外網(wǎng)接入交換機(jī)；
• 通常一組接入交換機(jī)為 96 個業(yè)務(wù)接口（每臺交換機(jī)48個接口），堆疊檢測及備用占用 3*2 個接口，可用業(yè)務(wù)端口為 90 個；
• 每個服務(wù)器節(jié)點使用兩個網(wǎng)卡占用一組接入交換機(jī)的 2 個接口，即一組接入交換機(jī)可接入 45 臺服務(wù)器；
• 每增加一組交換機(jī)即可擴(kuò)展 45 個節(jié)點，一組核心交換機(jī)至少可接入 20 組接入交換機(jī)，即至少可支撐 900 個節(jié)點服務(wù)器。

2.2.2 網(wǎng)絡(luò)區(qū)域

網(wǎng)絡(luò)區(qū)域的設(shè)備通常包括內(nèi)網(wǎng)核心交換機(jī)、外網(wǎng)核心交換機(jī)、內(nèi)網(wǎng)接入交換機(jī)、外網(wǎng)接入交換機(jī)。若服務(wù)器節(jié)點規(guī)模較小且暫不考慮擴(kuò)容，可僅采用內(nèi)/外網(wǎng)接入交換機(jī)。

• 內(nèi)網(wǎng)核心交換機(jī)：采用 2 臺 40GE 的三層交換機(jī)堆疊作為一組內(nèi)網(wǎng)核心，用于承載內(nèi)網(wǎng)接入交換機(jī)的匯聚和管理；
• 外網(wǎng)核心交換機(jī)：采用 2 臺萬兆三層交換機(jī)堆疊作為一組外網(wǎng)核心，用于承載外網(wǎng)接入交換機(jī)的匯聚和管理；
• 內(nèi)網(wǎng)接入交換機(jī)：采用 2 臺萬兆交換機(jī)堆疊作為一組內(nèi)網(wǎng)接入，用于承載 45 臺服務(wù)器內(nèi)網(wǎng)接入；
• 外網(wǎng)接入交換機(jī)：采用 2 臺千兆交換機(jī)堆疊作為一組外網(wǎng)接入 ，用于承載 45 臺服務(wù)器外網(wǎng)接入；
• 除 Internet 連接外，網(wǎng)絡(luò)均為大二層環(huán)境，采用 LLDP 協(xié)議獲取網(wǎng)絡(luò)拓?fù)湫畔?，所有網(wǎng)絡(luò)接入均為端口聚合，保證高可用；同時通過控制接口廣播報文流量，抑制網(wǎng)絡(luò)廣播風(fēng)暴；
• 外網(wǎng)核心交換機(jī)與 Internet 之間可以為二層聚合、三層聚合、L3 ECMP 、L3 A/S 等互連模式，同時支持串聯(lián)或旁掛防火墻、IDS、IPS 及防 DDOS 等安全設(shè)備；
• 云平臺提供的網(wǎng)絡(luò)功能均采用軟件定義的方式實現(xiàn)，物理交換機(jī)僅作為網(wǎng)絡(luò)流量轉(zhuǎn)發(fā)設(shè)備，即僅使用交換機(jī)部分通用能力，如堆疊、Vlan、Trunk、LACP 及 IPV6 等，無需采用 SDN 交換機(jī)實現(xiàn)虛擬網(wǎng)絡(luò)的通信。

標(biāo)準(zhǔn)網(wǎng)絡(luò)架構(gòu)中，通常推薦至少采用萬兆及以上級別的交換機(jī)，保證平臺節(jié)點內(nèi)網(wǎng)接入、虛擬資源通信及分布式存儲的性能及可用性。由于外網(wǎng)接入帶寬一般較小，通常推薦采用千兆交換機(jī)作為外網(wǎng)接入設(shè)備。

2.2.3 服務(wù)器區(qū)域

服務(wù)器區(qū)域的設(shè)備通常包括計算存儲超融合節(jié)點、獨立計算節(jié)點、獨立存儲節(jié)點、以及管理節(jié)點。若直接使用計算節(jié)點的虛擬機(jī)作為管理節(jié)點，即可省去物理管理節(jié)點服務(wù)器。

• 計算節(jié)點【必選】：采用 x86/ARM 架構(gòu)服務(wù)器作為計算節(jié)點或計算存儲超融合節(jié)點，用于運(yùn)行虛擬機(jī)、虛擬網(wǎng)絡(luò)分布式、存儲服務(wù)及數(shù)據(jù)庫緩存等服務(wù)，承載整個云平臺的資源核心實現(xiàn)及運(yùn)行。采用 2 個 GE 網(wǎng)卡分別上聯(lián)到兩臺外網(wǎng)接入交換機(jī) ，并做雙網(wǎng)卡 bond ，作為計算節(jié)點外網(wǎng)接入；采用 2 個 10GE 網(wǎng)卡分別上聯(lián)到兩臺內(nèi)網(wǎng)接入交換機(jī) ，并做雙網(wǎng)卡 bond ，作為計算節(jié)點內(nèi)網(wǎng)接入；若為超融合節(jié)點，則分布式存儲使用所有計算節(jié)點上的數(shù)據(jù)磁盤，所有計算節(jié)點上的數(shù)據(jù)磁盤組成統(tǒng)一分存儲資源池，用于構(gòu)建分布式存儲；若為獨立計算節(jié)點，則分布式存儲使用存儲節(jié)點上的數(shù)據(jù)磁盤作為統(tǒng)存儲資源池，通過網(wǎng)絡(luò)跨集群掛載。
• 獨立存儲節(jié)點【可選】：若計算存儲需要分離部署，可采用 x86/ARM 架構(gòu)且磁盤較多服務(wù)器作為獨立存儲節(jié)點，用于承載獨立的分布式存儲服務(wù)。存儲節(jié)點與計算服務(wù)通過內(nèi)網(wǎng)進(jìn)行通信，僅需 2 個 10GE 網(wǎng)卡分別上聯(lián)到兩臺內(nèi)網(wǎng)接入交換機(jī) ，并做雙網(wǎng)卡 bond ，作為存儲節(jié)點的內(nèi)網(wǎng)接入；如需將計算存儲網(wǎng)絡(luò)物理隔離，可采用獨立存儲接入交換機(jī)，存儲節(jié)點的網(wǎng)卡上聯(lián)至存儲接入交換機(jī)；分布式存儲使用存儲節(jié)點及超融合節(jié)點上的所有數(shù)據(jù)磁盤，三副本保證數(shù)據(jù)安全；為保證分布式存儲的性能及可用性，存儲節(jié)點必須采用萬兆以上速率的網(wǎng)卡。
• 管理節(jié)點【可選】：平臺默認(rèn)推薦使用平臺虛擬機(jī)部署管理服務(wù)，如需物理服務(wù)器承載并運(yùn)行管理服務(wù)，可采用 x86/ARM 服務(wù)器作為云平臺管理節(jié)點，用于承載云平臺管理塻塊及服務(wù)。采用 2 個 GE 網(wǎng)卡分別上聯(lián)到兩臺外網(wǎng)接入交換機(jī) ，并做雙網(wǎng)卡 bond ，作為管理節(jié)點外網(wǎng)接入；采用 2 個 10GE 網(wǎng)卡分別上聯(lián)到兩臺內(nèi)網(wǎng)接入交換機(jī) ，并做雙網(wǎng)卡 bond ，作為管理節(jié)點內(nèi)網(wǎng)接入。

以上網(wǎng)卡 bond 均采用 “ mode=4 ” 模式，即 IEEE 802.3ad 動態(tài)鏈路聚合。

2.2.4 標(biāo)準(zhǔn)架構(gòu)擴(kuò)展

在實際項目中，根據(jù)用戶需求和所提供的環(huán)境，可對標(biāo)準(zhǔn)網(wǎng)絡(luò)架構(gòu)進(jìn)行調(diào)整，如項目較小規(guī)模（ 45 節(jié)點內(nèi)）或僅需一個簡單的測試環(huán)境或等場景。

（1）如需內(nèi)外網(wǎng)物理隔離且考慮接入冗余，可采用 2 組共 4 臺接入交換機(jī)進(jìn)行業(yè)務(wù)部署。

• 2 臺堆疊用于服務(wù)器內(nèi)網(wǎng)接入，2 臺堆疊用于服務(wù)器外網(wǎng)接入；
• 每臺服務(wù)器內(nèi)外網(wǎng)分別使用 2 個接口綁定接入內(nèi)外網(wǎng)接入交換機(jī)，可支持 45 臺服務(wù)器節(jié)點冗余接入（每臺交換機(jī)48個接口，考慮堆疊檢測和備用的端口占用；下同）。

（2）如需內(nèi)外網(wǎng)物理隔離且不考慮接入冗余，可采用 2 臺接入交換機(jī)進(jìn)行業(yè)務(wù)部署；

• 1 臺用于服務(wù)器內(nèi)網(wǎng)接入，1 臺用于服務(wù)器外網(wǎng)接入；
• 每臺服務(wù)器分別使用 1 個接口接入內(nèi)網(wǎng)接入交換機(jī)及外網(wǎng)接入交換機(jī)，支持 45 臺服務(wù)器節(jié)點接入；

（3）若內(nèi)外網(wǎng)無需物理隔離且考慮接入冗余，可采用 2 臺交換機(jī)堆疊，通過 Vlan 隔離內(nèi)外網(wǎng)，如下圖所示：

• 方案一：通過在交換機(jī)上劃分 Vlan ，服務(wù)器分別使用 2 個接口綁定接入交換機(jī)內(nèi)外網(wǎng) Vlan 接口，即每臺服務(wù)器需 2 組 bond (4 個接口）實現(xiàn)內(nèi)外網(wǎng)業(yè)務(wù)通信，可支持 22 節(jié)點；
• 方案二：通過在服務(wù)器操作系統(tǒng)內(nèi)劃分 Vlan（即子接口），服務(wù)器分別使用 2 個接口綁定接入交換機(jī) Trunk 接口，即每臺服務(wù)器僅需 2 個接口綁定實現(xiàn)內(nèi)外網(wǎng)業(yè)務(wù)通信，可支持 45 節(jié)點；

（4）若內(nèi)外網(wǎng)無需物理隔離且不考慮接入冗余，可采用 1 臺交換機(jī)，通過交換機(jī) Vlan 或服務(wù)器內(nèi)劃分 Vlan 進(jìn)行內(nèi)外網(wǎng)隔離及接入。

（5）若實際環(huán)境中需要采用獨立的計算節(jié)點和獨立的存儲節(jié)點，并需要將計算網(wǎng)絡(luò)和存儲網(wǎng)絡(luò)進(jìn)行物理隔離，可以為獨立存儲節(jié)點多帶帶劃分一對接入交換機(jī)上聯(lián)至內(nèi)網(wǎng)核心交換機(jī)，實現(xiàn)計算和存儲網(wǎng)絡(luò)進(jìn)行分離。平臺計算虛擬機(jī)可通過物理網(wǎng)絡(luò)掛載多個存儲網(wǎng)絡(luò)的存儲集群，采用獨立的存儲網(wǎng)絡(luò)設(shè)計可將存儲節(jié)點及分布式存儲系統(tǒng)內(nèi)部同步流量與虛擬機(jī)計算讀寫存儲的流量進(jìn)行分離，提高平臺整體的穩(wěn)定性和性能。