摘要：平安云誕生于平安集團(tuán)的科技大本營(yíng)，多年的金融經(jīng)驗(yàn)積累使得平安云對(duì)金融行業(yè)架構(gòu)規(guī)范，金融業(yè)務(wù)系統(tǒng)流量特征及安全合規(guī)性等均有獨(dú)到的見(jiàn)解。

平安云誕生于平安集團(tuán)的科技大本營(yíng)，多年的金融IT經(jīng)驗(yàn)積累使得平安云對(duì)金融行業(yè)架構(gòu)規(guī)范，金融業(yè)務(wù)系統(tǒng)流量特征及安全合規(guī)性等均有獨(dú)到的見(jiàn)解。從13年底立項(xiàng)以來(lái)，平安金融云一直盡可能走開(kāi)源和自研結(jié)合的路線(xiàn)，自主研發(fā)了IaaS層的全套產(chǎn)品線(xiàn)，為金融行業(yè)客戶(hù)提供可靠、彈性、高效、集約的基礎(chǔ)架構(gòu)層服務(wù)。

目前金融云平臺(tái)已涵蓋平安集團(tuán)90% 以上的業(yè)務(wù)公司，支撐60% 的業(yè)務(wù)系統(tǒng)投產(chǎn)，并延伸至外部直銷(xiāo)銀行及金融機(jī)構(gòu)，承載過(guò)億的互聯(lián)網(wǎng)金融用戶(hù)。平安金融云將持續(xù)推動(dòng)集團(tuán)3.0“大金融資產(chǎn)+ 大醫(yī)療健康”戰(zhàn)略更快發(fā)展，打造金融平臺(tái)業(yè)務(wù)，占領(lǐng)數(shù)據(jù)、生態(tài)陣地，為集團(tuán)互聯(lián)網(wǎng)、業(yè)務(wù)云、生態(tài)圈的爆發(fā)式增長(zhǎng)保駕護(hù)航。在“2016年金融信息化10件大事”評(píng)選中，平安云排名12，在參選的金融云平臺(tái)里排名第一。

所有的云服務(wù)中，都會(huì)涉及到三項(xiàng)臺(tái)柱技術(shù)領(lǐng)域：計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)。本文將介紹平安云構(gòu)建過(guò)程中在這三大技術(shù)所做的實(shí)踐，希望對(duì)嘗試搭建云服務(wù)的讀者有借鑒意義。

圖1 平安云平臺(tái)級(jí)總體架構(gòu)

如圖1，平安云后臺(tái)實(shí)現(xiàn)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)的資源管理、以及對(duì)用戶(hù)的交付服務(wù)。

計(jì)算服務(wù)

當(dāng)下的計(jì)算機(jī)領(lǐng)域呈現(xiàn)出人云亦云的現(xiàn)象，但最出名的還是以AWS、Azure、阿里云為代表的云計(jì)算服務(wù)，這說(shuō)明計(jì)算是云里面最重要的服務(wù)，從3A的營(yíng)收占比來(lái)看，也的確是這么回事。

以AWS為例，最初負(fù)責(zé)主機(jī)運(yùn)維的工作人員出于提高資源利用率和額外創(chuàng)收考慮，提議將每年為黑色星期五準(zhǔn)備的大規(guī)模資源在平日時(shí)間段以計(jì)算服務(wù)的形式出售，由此，云以計(jì)算服務(wù)開(kāi)的頭。

平安云在構(gòu)建過(guò)程中實(shí)際上也是重復(fù)了這一過(guò)程，計(jì)算云化技術(shù)的決策選型是創(chuàng)始團(tuán)隊(duì)要攻克的第一關(guān)，而絕則取決于現(xiàn)實(shí)：一方面要支持日益持重的KVM虛擬化，另一方面需兼容過(guò)去已大量投產(chǎn)的VMware虛擬化。這兩個(gè)目標(biāo)具備很高的實(shí)線(xiàn)價(jià)值——即支持業(yè)務(wù)無(wú)感知從傳統(tǒng)VMware環(huán)境切換到云管理的VMware，又使得一些創(chuàng)新的互聯(lián)網(wǎng)應(yīng)用在沒(méi)有包袱的背景下自由使用KVM。

基于以上考慮，我們主要調(diào)研了OpenStack與CloudStack，其余的方案實(shí)現(xiàn)功能相似，社區(qū)熱度相差太大而不予考慮。最終我們出于以下因素選擇了CloudStack。

成熟度：決策期間，當(dāng)時(shí)OpenStack剛開(kāi)始發(fā)展，雖然社區(qū)火熱但成熟度較低，難以滿(mǎn)足早日平臺(tái)搭建落地的現(xiàn)實(shí)目標(biāo)；CloudStack曾是cloud.com的商用版本，成熟度相對(duì)較好，并且已有多個(gè)成熟的客戶(hù)案例可借鑒；

普及性：金融系統(tǒng)內(nèi)業(yè)務(wù)系統(tǒng)通常以Java為開(kāi)發(fā)語(yǔ)言，CloudStack上手容易

企業(yè)特性：CloudStack內(nèi)部架構(gòu)邏輯更符合企業(yè)應(yīng)用系統(tǒng)設(shè)計(jì)，相對(duì)于分布式組件化的OpenStack，部署CloudStack的方式更適合當(dāng)時(shí)的平安集團(tuán)IT特性；

技術(shù)局限性：團(tuán)隊(duì)成員熟悉計(jì)算和存儲(chǔ)，網(wǎng)絡(luò)方面的需求沒(méi)有考慮太深

CloudStack的架構(gòu)比較小巧緊湊，容易部署，但也有不盡人意的方面，其缺點(diǎn)主要在于對(duì)網(wǎng)絡(luò)功能的支持不夠豐富、靈活。這里我們有獨(dú)特的做法：CloudStack相當(dāng)于完成OpenStack Nova的功能，只用來(lái)進(jìn)行計(jì)算虛擬化資源管理。為了達(dá)到對(duì)網(wǎng)絡(luò)功能的支持效果，我們對(duì)CloudStack做了二次開(kāi)發(fā)，增加了一個(gè)和OpenStack Neutron對(duì)接的Plugin，使Neutron能夠感知到虛擬機(jī)的生命周期。

圖2 計(jì)算服務(wù)CloudStack架構(gòu)圖

如圖2，CloudStack的Network功能被極度的弱化，工作主要是管理計(jì)算所需的IP資源、VLAN等，編排物理網(wǎng)絡(luò)的工作交給了Neutron。

存儲(chǔ)服務(wù)

存儲(chǔ)和計(jì)算不分家，平安云存儲(chǔ)服務(wù)根據(jù)技術(shù)和場(chǎng)景的演變解決方案也變得豐富多樣：

本地盤(pán)和高性能本地盤(pán)：提供高IO，同時(shí)縮小存儲(chǔ)故障域；

SAN和NAS：傳統(tǒng)方案，支持計(jì)算HA；

本地盤(pán)高可用和VSAN等超融合方案：本地盤(pán)方案的升級(jí)，在高IO同時(shí)提供HA；

Ceph提供塊存儲(chǔ)和對(duì)象存儲(chǔ)：塊存儲(chǔ)作為SAN和NAS的替代方案，對(duì)象存儲(chǔ)可以提供用戶(hù)數(shù)據(jù)備份服務(wù)。

?

圖3 塊存儲(chǔ)服務(wù)架構(gòu)圖

如圖3，塊存儲(chǔ)服務(wù)的交付實(shí)際上是比較簡(jiǎn)單的，通過(guò)CloudStack對(duì)接到每個(gè)Hypervisor的CS-Agent或者vCenter，將VM的磁盤(pán)IO和后端的Ceph、NAS、本地盤(pán)、SAN等存儲(chǔ)資源池掛接。存儲(chǔ)資源池配給通常比較充足，資源監(jiān)控和管理通過(guò)額外的運(yùn)維系統(tǒng)完成。

圖4 使用Ceph提供塊、文件、對(duì)象存儲(chǔ)服務(wù)

Ceph是目前最流行的軟件定義存儲(chǔ)的開(kāi)源解決方案，在云環(huán)境的存儲(chǔ)服務(wù)中提供了非常好的可定制性和可擴(kuò)展性。作為統(tǒng)一存儲(chǔ)，Ceph在最底層原生的RADOS對(duì)象存儲(chǔ)的基礎(chǔ)上通過(guò)模塊化的方式分別提供的塊存儲(chǔ)（RBD）, 對(duì)象存儲(chǔ)（RGW）和文件存儲(chǔ)（CephFS）。為了把原生的開(kāi)源Ceph存儲(chǔ)應(yīng)用到不同的業(yè)務(wù)場(chǎng)景，我們?cè)谛阅軆?yōu)化和部署，配置，故障修復(fù)方面做了大量的研究和實(shí)踐?；贑eph開(kāi)源社區(qū)良好的發(fā)展趨勢(shì)，Ceph將會(huì)是一個(gè)很好的兼顧性能、成本、擴(kuò)展性的云存儲(chǔ)解決方案。

網(wǎng)絡(luò)服務(wù)

相對(duì)于計(jì)算與存儲(chǔ)，網(wǎng)絡(luò)是一門(mén)多帶帶的領(lǐng)域。通常懂計(jì)算的都會(huì)了解一些存儲(chǔ)，懂存儲(chǔ)的也會(huì)知道一些計(jì)算，但是都會(huì)對(duì)網(wǎng)絡(luò)感到陌生，原因也很簡(jiǎn)單，計(jì)算中數(shù)據(jù)落地涉及到存儲(chǔ)，存儲(chǔ)也有Server Storage，操作對(duì)象基本上是PC Server、Linux，而網(wǎng)絡(luò)人員操作對(duì)象則是各種廠家的Switch、Firewall、Router和LB，操作對(duì)象不同，且都是非常成熟的領(lǐng)域，因此知識(shí)、技能很難與計(jì)算、存儲(chǔ)融合。

網(wǎng)絡(luò)在云中最核心的作用有2個(gè)：

提供計(jì)算和存儲(chǔ)互聯(lián)的高速公路，這個(gè)是物理網(wǎng)絡(luò)實(shí)現(xiàn)的功能，不管是云還是傳統(tǒng)基礎(chǔ)架構(gòu)，網(wǎng)絡(luò)都實(shí)現(xiàn)了這些需求；

提供租戶(hù)的虛擬網(wǎng)絡(luò)，通常是在物理網(wǎng)絡(luò)中通過(guò)虛擬化實(shí)現(xiàn)的，這是云獨(dú)有的需求，在網(wǎng)絡(luò)界術(shù)語(yǔ)中，在物理網(wǎng)絡(luò)中為每個(gè)租戶(hù)提供虛擬網(wǎng)絡(luò)的技術(shù)稱(chēng)為網(wǎng)絡(luò)虛擬化（Network Virtualization）簡(jiǎn)稱(chēng)NV，是當(dāng)今網(wǎng)絡(luò)界最熱的要點(diǎn)，不同云服務(wù)商的NV方案大相徑庭。

大多數(shù)熟知的云都會(huì)最初把NV做到Linux內(nèi)部，而不會(huì)交給專(zhuān)門(mén)的網(wǎng)絡(luò)去實(shí)現(xiàn)，這也是對(duì)上述理論的驗(yàn)證。NV在云計(jì)算發(fā)展過(guò)程中，也是更為緩慢的，但可以看到各大公有云都在使用SDN和NFV來(lái)補(bǔ)齊這部分短板。平安云的起步較晚，可以利用后發(fā)優(yōu)勢(shì)，從一開(kāi)始就考慮物理網(wǎng)絡(luò)上實(shí)現(xiàn)NV，原因比較簡(jiǎn)單，物理網(wǎng)絡(luò)設(shè)備是連接大量服務(wù)器的專(zhuān)用設(shè)備，物理網(wǎng)絡(luò)設(shè)備供應(yīng)商不會(huì)對(duì)NV視而不見(jiàn)，截止至今日，物理網(wǎng)絡(luò)設(shè)備N(xiāo)V技術(shù)已經(jīng)相對(duì)成熟，將NV從主機(jī)剝離出來(lái)，也有利于降低主機(jī)技術(shù)集成復(fù)雜度，提升運(yùn)維效率，平安云網(wǎng)絡(luò)的優(yōu)勢(shì)主要是通過(guò)對(duì)方案的主導(dǎo)性對(duì)物理網(wǎng)絡(luò)設(shè)備廠家研發(fā)力量進(jìn)行整合，而不是一味在主機(jī)上單干。

圖5 平安云網(wǎng)絡(luò)服務(wù)模型

平安云把網(wǎng)絡(luò)虛擬化分為Fabric服務(wù)、NF（網(wǎng)絡(luò)功能）、增值服務(wù)3部分：

Fabric，實(shí)現(xiàn)虛擬網(wǎng)絡(luò)中的租戶(hù)Switch和Router功能，網(wǎng)絡(luò)人士稱(chēng)之為L(zhǎng)2和L3功能，租戶(hù)可以在Fabric服務(wù)中管理子網(wǎng)、租戶(hù)路由表等功能，從而實(shí)現(xiàn)Fabric內(nèi)租戶(hù)計(jì)算節(jié)點(diǎn)實(shí)現(xiàn)互訪(fǎng)，控制邊界路由等功能，該服務(wù)在網(wǎng)絡(luò)中屬于低頻操作類(lèi)，租戶(hù)只有在創(chuàng)建時(shí)需要關(guān)心，因此這部分也是租戶(hù)比較陌生的；

NF，實(shí)現(xiàn)虛擬網(wǎng)絡(luò)的租戶(hù)VPN、訪(fǎng)問(wèn)控制、NAT和LB 等功能，對(duì)應(yīng)網(wǎng)絡(luò)人士熟知的L3、L4和L7功能，這些服務(wù)在網(wǎng)絡(luò)中屬于中高頻操作類(lèi)，租戶(hù)比較熟悉；

增值服務(wù)，比如CDN、大流量高防、域名管理、互聯(lián)網(wǎng)流量分析、互聯(lián)網(wǎng)質(zhì)量探測(cè)、安全專(zhuān)線(xiàn)等，這些服務(wù)涵蓋低中高頻類(lèi)，租戶(hù)比較熟悉。?

為了讓這三項(xiàng)服務(wù)能夠高效、科學(xué)地編排，平安云使用了可擴(kuò)展性強(qiáng)的Neutron，并依托Neutron構(gòu)建了統(tǒng)一編排平臺(tái)Network Service Platform（NSP），同時(shí)對(duì)Fabric、NF和增值服務(wù)進(jìn)行管理。

?

圖6 基于Neutron的NSP平臺(tái)架構(gòu)

NSP平臺(tái)可以將來(lái)自不同廠家的網(wǎng)絡(luò)設(shè)備、第三方網(wǎng)絡(luò)服務(wù)都通過(guò)容易擴(kuò)展的Service Plugin來(lái)對(duì)接，而核心NSP維護(hù)的是抽象網(wǎng)絡(luò)服務(wù)數(shù)據(jù)，編排對(duì)接Portal和CloudStack都使用這一層抽象的網(wǎng)絡(luò)模型。

總結(jié)

除了網(wǎng)絡(luò)之外，計(jì)算和存儲(chǔ)都依托比較成熟的方案搭建，平安云收獲最寶貴的是架構(gòu)治理和業(yè)務(wù)入云的經(jīng)驗(yàn)，這種務(wù)實(shí)的戰(zhàn)略是平安云能夠在過(guò)去2年中迅速成長(zhǎng)的關(guān)鍵?！凹軜?gòu)自主、但不做大的修改，以用為先”，對(duì)于很多企業(yè)來(lái)說(shuō)，也是可以借鑒的。

網(wǎng)絡(luò)比較特殊，在很多云計(jì)算團(tuán)隊(duì)中，網(wǎng)絡(luò)都是一個(gè)比較邊緣化的領(lǐng)域，因?yàn)槿粘Ｃ鎸?duì)的硬件和服務(wù)器實(shí)在是過(guò)于不同，Neutron作為計(jì)算領(lǐng)域的專(zhuān)家提出的模型，并不一定是真實(shí)網(wǎng)絡(luò)的抽象，各個(gè)網(wǎng)絡(luò)設(shè)備供應(yīng)商在面對(duì)OpenStack浪潮中，更多地是遵從Neutron，而并沒(méi)有發(fā)展Neutron，有幸平安云在項(xiàng)目早期就很重視網(wǎng)絡(luò)服務(wù)，得以組建開(kāi)發(fā)團(tuán)隊(duì)基于Neutron做了很多務(wù)實(shí)的拓展。使NSP能夠在不到1年的時(shí)間就能夠完成開(kāi)發(fā)并且上線(xiàn)。

作者簡(jiǎn)介：丘子雋，云平臺(tái)事業(yè)部云網(wǎng)絡(luò)服務(wù)組

軟件開(kāi)發(fā)技術(shù)群

興趣范圍包括：Java，C/C++，Python，PHP，Ruby，shell等各種語(yǔ)言開(kāi)發(fā)經(jīng)驗(yàn)交流，各種框架使用，外包項(xiàng)目機(jī)會(huì)，學(xué)習(xí)、培訓(xùn)、跳槽等交流

QQ群：26931708

Hadoop源代碼研究群

興趣范圍包括：Hadoop源代碼解讀，改進(jìn)，優(yōu)化，分布式系統(tǒng)場(chǎng)景定制，與Hadoop有關(guān)的各種開(kāi)源項(xiàng)目，總之就是玩轉(zhuǎn)Hadoop

QQ群：288410967?