摘要：那么，從過去的傳統(tǒng)數(shù)據(jù)中心，到如今的云計算時代數(shù)據(jù)中心，中間經(jīng)歷了怎樣的變遷呢傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)在傳統(tǒng)的大型數(shù)據(jù)中心，網(wǎng)絡(luò)通常是三層結(jié)構(gòu)。

本文授權(quán)轉(zhuǎn)載自公眾號蛋蛋團。

數(shù)據(jù)中心，指用于安置計算機系統(tǒng)及相關(guān)部件的設(shè)施，例如電信和儲存系統(tǒng)。

為了滿足自身的業(yè)務(wù)需求，保證數(shù)據(jù)的穩(wěn)定和可靠。無論是互聯(lián)網(wǎng)還是傳統(tǒng)行業(yè)，都會有自己或大或小的數(shù)據(jù)中心，甚至如阿里云和亞馬遜這種專門以出租計算資源的云計算公司，更是在全世界各地建立了不等的數(shù)據(jù)中心。

盡管到到如今的云計算時代，將數(shù)據(jù)中心自身的資源虛擬化以達到更高的利用率，有一點肯定，物理資源決定了虛擬資源的天花板。

物理網(wǎng)絡(luò)的特性，例如帶寬，MTU，延時等，最終直接或者間接決定了虛擬虛擬網(wǎng)絡(luò)的特性。對網(wǎng)絡(luò)性能進行優(yōu)化時，有些物理網(wǎng)絡(luò)特性可以通過升級設(shè)備或線路來提升，但是有些與網(wǎng)絡(luò)架構(gòu)有關(guān)。升級或者改動網(wǎng)絡(luò)架構(gòu)帶來的風(fēng)險和成本是巨大的，因此在架設(shè)數(shù)據(jù)中心初始，網(wǎng)絡(luò)架構(gòu)的選擇和設(shè)計尤其需要謹慎。

那么，從過去的傳統(tǒng)數(shù)據(jù)中心，到如今的云計算時代數(shù)據(jù)中心，中間經(jīng)歷了怎樣的變遷呢？

在傳統(tǒng)的大型數(shù)據(jù)中心，網(wǎng)絡(luò)通常是三層結(jié)構(gòu)。Cisco稱之為：分級的互連網(wǎng)絡(luò)模型（hierarchical inter-networking model）。

三層網(wǎng)絡(luò)結(jié)構(gòu)是采用層次化架構(gòu)的三層網(wǎng)絡(luò)，有三個層次：核心層(網(wǎng)絡(luò)的高速交換主干)、匯聚層(提供基于策略的連接)、接入層(將工作站接入網(wǎng)絡(luò))，這個模型如下：

接入層(Access Layer) ：接入交換機通常位于機架頂部，所以它們也被稱為ToR（Top of Rack）交換機，它們物理連接服務(wù)器。

匯聚層（Aggregation Layer） ：匯聚交換機連接Access交換機，同時提供其他的服務(wù)，例如防火墻，SSL offload，入侵檢測，網(wǎng)絡(luò)分析等。

核心層（Core Layer） ：核心交換機為進出數(shù)據(jù)中心的包提供高速的轉(zhuǎn)發(fā)，為多個匯聚層提供連接性，核心交換機為通常為整個網(wǎng)絡(luò)提供一個彈性的L3路由網(wǎng)絡(luò)。 一個三層網(wǎng)絡(luò)架構(gòu)示意圖如下所示：

通常情況下，匯聚交換機是L2和L3網(wǎng)絡(luò)的分界點，匯聚交換機以下的是L2網(wǎng)絡(luò)，以上是L3網(wǎng)絡(luò)。每組匯聚交換機管理一個POD（Point Of Delivery），每個POD內(nèi)都是獨立的VLAN網(wǎng)絡(luò)。

服務(wù)器在POD內(nèi)遷移不必修改IP地址和默認網(wǎng)關(guān)，因為一個POD對應(yīng)一個L2廣播域。

匯聚交換機和接入交換機之間通常使用STP（Spanning Tree Protocol，生成樹協(xié)議）。STP使得對于一個VLAN網(wǎng)絡(luò)只有一個匯聚層交換機可用，其他的匯聚層交換機在出現(xiàn)故障時才被使用（上圖中的虛線）。

也就是說匯聚層是一個active-passive的HA模式。這樣在匯聚層，做不到水平擴展，因為就算加入多個匯聚層交換機，仍然只有一個在工作。

一些私有的協(xié)議，例如Cisco的vPC（Virtual Port Channel）可以提升匯聚層交換機的利用率，但是一方面，這是私有協(xié)議，另一方面，vPC也不能真正做到完全的水平擴展。

下圖是一個匯聚層作為L2/L3分界線，且采用vPC的網(wǎng)絡(luò)架構(gòu)。

傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)，STP 是二層網(wǎng)絡(luò)中非常重要的一種協(xié)議。在二層有一個相當(dāng)矛盾的點，那就是可靠性和安全性的矛盾。

可靠性是指構(gòu)建二層網(wǎng)絡(luò)時，一般會采用會采用設(shè)備冗余和鏈路冗余的方式。

安全性是指二層交換機同處于一個廣播域，廣播報文在環(huán)路中會反復(fù)持續(xù)傳送，可能會形成廣播風(fēng)暴，所以必須防止形成環(huán)路。

要想兩種同時達到，可以采用STP（生成樹協(xié)議）自動控制，即冗余設(shè)備和冗余鏈路成備份，在正常情況下被阻塞掉，當(dāng)出現(xiàn)鏈路故障時冗余的設(shè)備端口和鏈路才會被打開。

由于 STP 的收斂性能等原因， 一般情況下 STP 的網(wǎng)絡(luò)規(guī)模不會超過 100臺交換機。STP的這種機制導(dǎo)致了二層鏈路利用率不足，尤其是在網(wǎng)絡(luò)設(shè)備具有全連接拓撲關(guān)系時，這種缺陷尤為突出。

如上圖所示，當(dāng)采用全網(wǎng)STP二層設(shè)計時，STP將阻塞大多數(shù)鏈路，使接入到匯聚間帶寬降至1/4，匯聚至核心間帶寬降至1/8。這種缺陷造成越接近樹根的交換機，端口擁塞越嚴(yán)重，造成的帶寬資源浪費就越可觀。

隨著互聯(lián)網(wǎng)的發(fā)展帶來的數(shù)據(jù)大爆發(fā)以及虛擬化技術(shù)的發(fā)展，計算資源被池化，對數(shù)據(jù)中心也提出了新的挑戰(zhàn)：動態(tài)遷移和高性能。

采用大二層網(wǎng)絡(luò)架構(gòu)，可以實現(xiàn)整個數(shù)據(jù)網(wǎng)絡(luò)都是L2廣播域，這樣即可實現(xiàn)動態(tài)遷移。大二層網(wǎng)絡(luò)架構(gòu)，L2/L3分界在核心交換機，核心交換機以下，也就是整個數(shù)據(jù)中心，是L2網(wǎng)絡(luò)（當(dāng)然，可以包含多個VLAN，VLAN之間通過核心交換機做路由進行連通）。大二層的網(wǎng)絡(luò)架構(gòu)如下圖所示：

相對于之前的基礎(chǔ)架構(gòu)而言，具有如下特點：

①資源池化——硬件服務(wù)器通過虛擬化技術(shù)進行部分硬件資源的整合，構(gòu)造計算資源池化

②統(tǒng)一管理——在虛擬化平臺上建立虛擬機，在虛擬機里部署業(yè)務(wù)，實現(xiàn)平臺上虛擬機的統(tǒng)一維護和管理

③橫向擴展——計算資源不夠，可以直接補充硬件服務(wù)器達到資源擴展

然而，傳統(tǒng)大二層的缺點也和明顯，共享的L2廣播域帶來的BUM（二層數(shù)據(jù)鏈路層的報文）風(fēng)暴隨著網(wǎng)絡(luò)規(guī)模的增加而明顯增加，最終將影響正常的網(wǎng)絡(luò)流量。

同時，虛擬機可以遷移，但是如何達到遷移過程中用戶無感知，IP地址等不改變呢？即實現(xiàn)動態(tài)遷移。

云計算技術(shù)的發(fā)展的不僅僅依托于虛擬化，還有一個非常重要虛擬化管理軟件平臺，典型的如openstack。

通過x86服務(wù)器和二層交換機的連接，將網(wǎng)絡(luò)功能、計算功能、存儲功能和安全功能全部虛擬化，以虛擬機的形式實現(xiàn)我們傳統(tǒng)數(shù)據(jù)中心硬件堆積所完成的一切功能，全部組件融合在一套虛擬化管理軟件平臺中，對外提供虛擬存儲、網(wǎng)絡(luò)、計算等資源，這就是所謂的”超融合”平臺。

互聯(lián)網(wǎng)這幾年發(fā)展的特別快，然而，互聯(lián)網(wǎng)公司本質(zhì)上來講也是數(shù)據(jù)公司，數(shù)據(jù)承載著公司絕大部分的價值，于是數(shù)據(jù)安全性以及可靠性也變的越發(fā)重要。 在早期，小規(guī)模數(shù)據(jù)中心主要是南北流量，而互聯(lián)網(wǎng)爆發(fā)式的數(shù)據(jù)增長帶來的數(shù)據(jù)中心虛擬化也要求更高的東西流量，甚至跨數(shù)據(jù)中心流量。

南北向流量：數(shù)據(jù)中心之外的客戶端到數(shù)據(jù)中心服務(wù)器之間的流量，或者數(shù)據(jù)中心服務(wù)器訪問互聯(lián)網(wǎng)的流量。

東西向流量：數(shù)據(jù)中心內(nèi)的服務(wù)器之間的流量。

跨數(shù)據(jù)中心流量：跨數(shù)據(jù)中心的流量，例如數(shù)據(jù)中心之間的災(zāi)備，私有云和公有云之間的通訊。

在思科的分析報告中，預(yù)計2020年，東西流量能達到總帶寬的77%，跨數(shù)據(jù)中心9%，南北流量僅占總帶寬的14%。

而傳統(tǒng)三層網(wǎng)絡(luò)架構(gòu)主要是為了南北流量設(shè)計，盡管也支持東西流量，但是不足十分明顯。

東西流量分為L2和L3，如果是L2流量，如果源和目的主機都在同一個接入層交換機下，那么可以達到全速，因為接入交換機就能完成轉(zhuǎn)發(fā)。如果需要跨機架，但仍然是在一個匯聚層POD內(nèi)，則需要通過匯聚層交換機進行轉(zhuǎn)發(fā)，帶寬取決于匯聚層交換機的轉(zhuǎn)發(fā)速率。 如果是L3流量，必須經(jīng)過核心交換機完成轉(zhuǎn)發(fā)，它不僅浪費了寶貴的核心交換機資源，多層轉(zhuǎn)發(fā)也增加了延時。

而到大二層網(wǎng)絡(luò)架構(gòu)，無論是L2還是L3流量，都需要經(jīng)過核心交換機，這也對核心交換機的性能提出了新的挑戰(zhàn)。

傳統(tǒng)三層網(wǎng)絡(luò)架構(gòu)已經(jīng)存在幾十年，并且現(xiàn)在有些數(shù)據(jù)中心中仍然使用這種架構(gòu)。最主要的原因是成本。

一方面是因為早期L3路由設(shè)備比L2橋接設(shè)備貴得多。即使是現(xiàn)在，核心交換機也比匯聚接入層設(shè)備貴不少。

另一方面，早期的數(shù)據(jù)中心，大部分流量是南北向流量。

例如，一個服務(wù)器上部署了WEB應(yīng)用，供數(shù)據(jù)中心之外的客戶端使用。使用這種架構(gòu)可以在核心交換機統(tǒng)一控制數(shù)據(jù)的流入流出，添加負載均衡器，為數(shù)據(jù)流量做負載均衡等。

傳統(tǒng)的三層網(wǎng)絡(luò)架構(gòu)必然不會在短期內(nèi)消失，但是由于技術(shù)和市場的發(fā)展，其短板也越來越明顯。比如企業(yè)將面臨成本和可擴展性的兩難選擇。

基于現(xiàn)有網(wǎng)絡(luò)架構(gòu)的改進顯得非常有必要，新的網(wǎng)絡(luò)架構(gòu)最好是：由相對較小規(guī)模的交換機構(gòu)成，可以方便的水平擴展，較好的支持HA（active-active模式），支持全速的東西向流量，不采購高性能的核心交換機也能去除超占比，支持SDN等等。

「Linux云計算網(wǎng)絡(luò)」公眾號后臺回復(fù)“加群”，帶你進入高手如云交流群

我的公眾號 「Linux云計算網(wǎng)絡(luò)」(id: cloud_dev) ，號內(nèi)有 10T 書籍和視頻資源，后臺回復(fù) 「1024」 即可領(lǐng)取，分享的內(nèi)容包括但不限于 Linux、網(wǎng)絡(luò)、云計算虛擬化、容器Docker、OpenStack、Kubernetes、工具、SDN、OVS、DPDK、Go、Python、C/C++編程技術(shù)等內(nèi)容，歡迎大家關(guān)注。