摘要：分享莫江成整理西北月日晚，又是一個又拍云內(nèi)部干貨分享的夜晚。大家好，我是運維部小組的莫江成，主要負責網(wǎng)絡(luò)數(shù)據(jù)中心基礎(chǔ)設(shè)施的維護和工程生產(chǎn)力。數(shù)據(jù)中心還有安全消防和安保方面的要求。

分享 | 莫江成

整理 | 西北

12月15日晚，又是一個又拍云內(nèi)部干貨分享的夜晚。又拍云網(wǎng)絡(luò)運維工程師莫江成在為又拍云的小伙伴們帶來了關(guān)于數(shù)據(jù)中心分享，就數(shù)據(jù)中心存在的意義，及其構(gòu)成、能源和選址等方面做了詳細的講解，順便還比較了國內(nèi)外數(shù)據(jù)中心的不同之處。
小拍馬不停蹄地為大家整理了莫江成的分享，非常全面的關(guān)于數(shù)據(jù)中心干貨哦！還不快快閱讀。

大家好，我是運維部DCIN小組的莫江成，主要負責網(wǎng)絡(luò)、數(shù)據(jù)中心、基礎(chǔ)設(shè)施的維護和EP工程生產(chǎn)力。今天給大家?guī)淼氖顷P(guān)于數(shù)據(jù)中心的分享。

承載服務(wù)器

無處不在

支撐世界

規(guī)模效應(yīng)

全冗余

數(shù)據(jù)中心是非常底層的東西，它存在的時間相對較短暫。
WIKI上面有對數(shù)據(jù)中心非常有意思的定義，叫做Server Farm，從字面上理解就是“數(shù)據(jù)農(nóng)場”，一個擁有大量服務(wù)器并且面積很大的地方。數(shù)據(jù)中心的意義，就是為服務(wù)器提供存放的場所。

通過又拍云舉例——將數(shù)千TB的數(shù)據(jù)，以及數(shù)不清多少TB的客戶源數(shù)據(jù)和上T帶寬的CDN邊緣節(jié)點的訪問請求數(shù)據(jù)統(tǒng)一的管理起來的地方，就是數(shù)據(jù)中心。

再形象些的舉例，如果我每天只為幾十個人提供服務(wù)，一臺電腦就完全可以滿足要求。但是當用戶體量增大之后，帶寬不夠了，需要拉一條專線進來。用戶量再提升的時候，你又發(fā)現(xiàn)電力、網(wǎng)絡(luò)的可靠性會有問題，這就要對現(xiàn)有的一些設(shè)施做大量的改造，再加上一些散熱、制冷的附加設(shè)施。因為服務(wù)器當堆積到一起工作的時候，產(chǎn)生的熱量是非常巨大的。五千個機柜左右的機房每天工作產(chǎn)生的廢熱能夠給一個大學校園供暖。所以這種散熱、制冷的附屬設(shè)備也會提高整個數(shù)據(jù)中心的運作成本，一般叫做TCO，即總體擁有成本。

目前世界上有大概幾十萬個數(shù)據(jù)中心一起支撐起來整個互聯(lián)網(wǎng)。沒有這些數(shù)據(jù)中心的話，互聯(lián)網(wǎng)是不可能發(fā)展成這樣規(guī)模的。規(guī)模增大之后也會帶來規(guī)模效應(yīng)，規(guī)模越大，能夠產(chǎn)生的效益和支出的比例就會越優(yōu)，單位的成本就越低。

數(shù)據(jù)中心需要是高可靠的，這是數(shù)據(jù)中心的生命線，因為數(shù)據(jù)中心需要為所有的服務(wù)器提供及時可靠的保障。電力、網(wǎng)絡(luò)、冷卻系統(tǒng)都要冗余，并且需要加上環(huán)境控制方面的建筑自動系統(tǒng)（BMS）。另外數(shù)據(jù)中心的安保系統(tǒng)也尤為重要，當公司員工增加的時候，你并不能夠認識每一個人，什么人能夠進入數(shù)據(jù)中心，什么人能去管理服務(wù)器，就變成了一個現(xiàn)實問題。數(shù)據(jù)中心能夠幫助企業(yè)去做人員權(quán)限控制的事情，完成人員成份的認證，授以相應(yīng)的進入或操作權(quán)限。

建筑：主要結(jié)構(gòu)體

環(huán)控：溫濕度、燈光

安全：消防、安保

網(wǎng)絡(luò)：綜合布線、

動力：市電、UPS、發(fā)電機

服務(wù)器最關(guān)鍵的三個部分是電源、溫度、網(wǎng)絡(luò)。數(shù)據(jù)中心是為服務(wù)器提供服務(wù)的，所以要在這三方面提供保障。要維持一個數(shù)據(jù)中心是非常復(fù)雜的系統(tǒng)工程。

數(shù)據(jù)中心主要構(gòu)成部分是比較簡單的，但會涉及到建筑結(jié)構(gòu)。
數(shù)據(jù)中心最重要的就是為整個機房的設(shè)施提供動力的部分，包括UPS、發(fā)電機，還有外部的市電接入。

服務(wù)器會對工作溫度和濕度有一定的要求，不同的服務(wù)器可能有不同的最優(yōu)工作環(huán)境。數(shù)據(jù)中心要調(diào)控整個環(huán)境，并且維持在適合服務(wù)器的最佳環(huán)境。

數(shù)據(jù)中心還有安全、消防和安保方面的要求。安全主要是涉及到人員權(quán)限的控制。消防會有針對火災(zāi)的前期預(yù)警、煙感探測等，級別比較高的機房，一般都能夠做到在幾分鐘之內(nèi)清空機房里面的所有人，通過釋放惰性氣體來滅火。

數(shù)據(jù)中心涉及到的人員，包括高壓電工程師、低壓工程師、暖通空調(diào)、排水工作人員、消防安保人員，以及負責BMS自動化、動力環(huán)境的監(jiān)控、網(wǎng)絡(luò)工程師、網(wǎng)絡(luò)的監(jiān)控人員，IT軟硬件的維保人員。此外還包括設(shè)備供應(yīng)商，比如說UPS、發(fā)電機之類的支撐人員。

數(shù)據(jù)中心的任務(wù)就是在任何情況下，提供盡可能安全、穩(wěn)定、良好的服務(wù)器運營條件。有些機房甚至還會針對暴亂、恐怖入侵等做出應(yīng)急預(yù)案；比如說谷歌的數(shù)據(jù)中心，會在正門的位置安裝汽車的阻攔網(wǎng)，避免汽車沖卡之類的事情。

離某些東西近：用戶、服務(wù)主題、電力、冷卻資源、交通樞紐、骨干網(wǎng)

離某些東西遠：自然災(zāi)害風險、熱點地區(qū)、炎熱的地域

便宜的電力：當?shù)仉娏Τ杀?、風、水、太陽能

涼快：氣候冬暖夏涼、附近有自然水體

地方大：能安置大量附加設(shè)施

機房的建筑和選址是數(shù)據(jù)中心前期工作中非常重要的一環(huán)。建筑物一般就分為倉庫式和大樓式。

1.倉庫式：平鋪結(jié)構(gòu)，比較低矮，一般來說最多三層，這種結(jié)構(gòu)比較容易建造；
2.大樓式：國內(nèi)大樓式的機房，通常是寫字樓改建而來。

機房的選址通常要避開不穩(wěn)定的因素，比如說自然災(zāi)害、炎熱地區(qū)和熱點地區(qū)。當然很多時候機房的選址并不是絕對可控的，比如在日本很難找到絕對不會發(fā)生地震的地點。

由于數(shù)據(jù)中心對功能的追求，會針對某些功能選擇特殊的地點建設(shè)機房。典型的例子是又拍云的CDN節(jié)點，CDN節(jié)點肯定越靠近用戶越好，所以又拍云在每個省份主要的一二線城市放置自己的服務(wù)器。在這些地點選擇數(shù)據(jù)中心，主要原因就是在物理位置上靠近所服務(wù)的目標。

電力需求，選擇電價低的地點；

冷卻系統(tǒng)的需求，要選擇全年平均溫度較低的區(qū)域，或者靠海、靠河，水源能夠作為水冷循環(huán)使用；

針對交通樞紐，選擇接近骨干網(wǎng)絡(luò)道路的地方。

由于現(xiàn)在很多機房的占用空間非常大，要選擇面積足夠大的地方。

△ 微軟選擇把數(shù)據(jù)中心“建在”水中

這是微軟數(shù)據(jù)中心的選址，這個實踐就是一個極端追求冷卻水資源的案例，他們把機柜放在密封罐里面，直接沉入水底，再通過水冷循環(huán)為內(nèi)部的服務(wù)器降溫。

至少兩路市電接入

至少兩套 UPS

能負擔滿載功率的發(fā)電機并且 N+1 配置

數(shù)據(jù)中心最重要的地方就是能源，機房的電力是它的生命線。一個五千個機柜的數(shù)據(jù)中心，可以頂上一座小城市或一所大學的用電，這個電力并不是任何地方都能提供的。

機房在建立的初期，一般就會和當?shù)仉娋W(wǎng)去協(xié)商，看能否在周圍提供電力接入和至少兩座變電站的電力保障。一些高級別的數(shù)據(jù)中心可能會接入三線市電，比如像杭州的聯(lián)通省樞紐一號樓機房，建在聯(lián)通的樞紐樓，所以那邊的電力保障條件特別高，會有三個不同位置的變電站，直接接入機房，為它供電。這種情況下它的電力保障等級就非常高了，不太可能發(fā)生所有市電和所有后備電力全部失效的情況。

△ 35KVA高壓電接入設(shè)備

這是一個35KVA高壓電接入設(shè)施。高壓電接入主要就是來自于變電站，基本上分10KVA、35KVA和110KVA，主要是取決于機房的規(guī)模和負載量。

△ 數(shù)據(jù)中心發(fā)電機

接下來講講發(fā)電機，有的數(shù)據(jù)中心一臺發(fā)電機就價值六七百萬元，并且會配置了十幾臺。安全標準最高的是發(fā)電機、UPS全部都做到100%的雙倍冗余，也就是說任意一套系統(tǒng)整體宕機、整體失效以后，另外一套還能夠提供全量的負載能力。歐洲土豪國家盧森堡有一個Tier4級別的數(shù)據(jù)中心叫做 Data Hub，就是采用完全相同的兩套發(fā)電機設(shè)備，任意一套都能為數(shù)據(jù)中心提供全功率的負載能力。
說起發(fā)電機，一個很有趣的故事。美國某次颶風肆虐的時候，有機房因為市電斷掉，不得不切換到了發(fā)電機供電，當時颶風還沒有結(jié)束，石油公司沒有辦法及時的補充備用油。因為多數(shù)數(shù)據(jù)中心發(fā)電機通常在全功率的情況下只能為機房提供8到10個小時的電力保障，超出這個時間的話機房就會完全停擺。一個VPS提供方發(fā)了一封郵件給所有的用戶，告知并希望用戶去選用其他的線路。然而那個機房的線路就爆滿，就是因為大家都很好奇用柴油發(fā)電機供電到底是一種什么樣的感覺。

△ 一個數(shù)據(jù)中心的UPS中的電池系統(tǒng)

數(shù)據(jù)中心內(nèi)的電池非常多，上圖這個數(shù)據(jù)中心總共有3萬多塊這樣的電池，能夠為這個機房提供大約兩小時左右的電力保障。
相比發(fā)電機的話，UPS能夠堅持的時間特別短。所以數(shù)據(jù)中心并不會把UPS作為一個長時間的電力保障，現(xiàn)實中UPS通常完全承擔整個機房供電的時間不會超過一分鐘。基本上級別較高的機房，都會在UPS接手供電的時候，自動把電源切換到柴油發(fā)電機。因為柴油發(fā)電機需要15到20秒的時間，才能夠正式啟動，并網(wǎng)發(fā)電，所以UPS主要是在這短時間里面工作，但是它提供的儲備能源不能低于半小時，否則的話就會有風險。

△ 一個簡單的機房電源結(jié)構(gòu)

分析一下機房的電源結(jié)構(gòu)：
一個ATS開關(guān)，是自動切換電力控制開關(guān)，它會在市電中斷的時候自動把輸入的電力切換到發(fā)電機，高壓電到低壓電柜之后，再轉(zhuǎn)化成低壓的直流電，供給到UPS，UPS再給到服務(wù)器。

每一排機柜最前面會有一個機柜是專門用于電力的排頭柜的，這個機柜是專門用來放強電設(shè)備。

UPS再到排頭柜，排頭柜下面再接服務(wù)器，也就是負載。UPS是一直在網(wǎng)內(nèi)運行的，就是給服務(wù)器供電其實始終都要通過UPS，這就是為什么數(shù)據(jù)中心在斷電切換的時候不會發(fā)生閃斷。因為ATS是有切換時間的，一般在15到30毫秒。如果是特別敏感的機器，會感知到閃斷，從而導(dǎo)致業(yè)務(wù)的故障。中間串了一個UPS之后，就不會再發(fā)生問題了，因為它在切換的閃斷發(fā)生時UPS依然在供電。

好一點的機房UPS通常會有四套，因為每個機柜的電路一般分為AB兩路，AB兩路是完全獨立的兩套UPS供電。只要服務(wù)器設(shè)備有冗余的電力（一般我們稱為“雙電”），就算是其中一路斷電，或者說閃斷，也不會影響到服務(wù)器的運行。 又拍云將來要使用的數(shù)據(jù)中心，UPS全部都是四套，A路對應(yīng)兩套，B路對應(yīng)兩套。

機房的冷卻系統(tǒng)通常分為風冷和水冷。風冷就是傳統(tǒng)意義上的空調(diào)，和家里空調(diào)的原理一樣，只是這種空調(diào)叫做精密空調(diào)，它能夠非常精確的控制環(huán)境溫度和濕度，為服務(wù)器創(chuàng)造最好的運行條件。

△ 水冷系統(tǒng)

水冷的原理和風冷相差很大，水冷的成本相當高，體積也非常大，因為它會有冷水機組，就是傳統(tǒng)空調(diào)意義上的壓縮機、換熱器，還有外部的散熱風扇；服務(wù)器的熱量會通過水管傳遞到外部，再由冷水機組或者是板式換熱器把熱量交換到外面的散熱器上面排除掉。

兩種系統(tǒng)的優(yōu)缺點

水冷：成本高，體積大，維護復(fù)雜，高可靠需要特殊設(shè)計，能效高
風冷：成本低，體積小，偏移，維護簡單，能效低

當氣候相對涼爽的時候，水冷系統(tǒng)不需要動用壓縮機，可以直接通過板式換熱器，非常省電的把溫度降下來。

△ 對機柜內(nèi)部散熱

這是常規(guī)機房散熱的模式，就是在機房里面對于機柜進行散熱，在早期的時候機房是沒有冷熱空氣區(qū)分這種說法的，就像早期的PC機，很少有人說要控制一下機箱內(nèi)的風道。但是隨著時代在進步，出現(xiàn)了風道預(yù)先設(shè)計過的跡象，還有在機箱里面用各種擋板，去規(guī)范空氣的流量，強制冷空氣流經(jīng)需要散熱的設(shè)備和散熱的區(qū)域，變成熱風再從機箱后口排出。

其實數(shù)據(jù)中心散熱類似于這樣的原理，起初沒有區(qū)分冷熱空氣的情況下，空調(diào)能耗非常高，空調(diào)強制進行散熱，但空調(diào)機吸入的是冷空氣還是熱空氣，就無法控制了。后來在機房設(shè)計的時候，會通過規(guī)劃冷通道的方式，對冷熱空氣的流動進行規(guī)范。

△ 冷空氣轉(zhuǎn)換示意圖

這一個盒子是兩排面對面的機柜，紅色的是廢熱，藍色的是冷氣。冷氣通過旁邊的空調(diào)機組排入地下，在地下通過預(yù)制風道，走到冷通道下向上排出。服務(wù)器的正面，也就是吸風的那一面吸進的是冷氣，等到從后部排出的時候已經(jīng)變成熱空氣。這時候空調(diào)再把熱空氣吸入，把熱空氣冷卻，完成一個冷卻循環(huán)，這就是目前使用最多的冷通道模式。

現(xiàn)在比較新機房還常見一種簡潔的散熱的方式，它不再規(guī)劃兩個機柜之間的冷通道，而是直接在機柜下面開辟一個口子，把冷風從下面排出來，然后冷風上升到服務(wù)器的正面，再被吸出去。也就是把冷通道固化到單個機柜中。這種方式保障了把冷空氣從下面吸上來，后面排出去的就是熱空氣。這種機柜的前面板是密封的。

對冷空氣的規(guī)劃越是精細，價格會越高昂。比如說在這種結(jié)構(gòu)下還可以做一件事情，通過在機柜上方布置管道下來，直接把熱空氣點對點渡到空調(diào)機組里面，保證空調(diào)機組獲得的全部都是需要冷卻的熱空氣。在這種情況下就能得到更高的散熱效率，能夠有效降低能耗。

但是企業(yè)追求的是一個總體擁有成本，而不是在單個子系統(tǒng)上面能達到多大的效果。所以具體選擇什么制冷方式是要看情況的，而不是越先進，就非得要用它。

谷歌在建數(shù)據(jù)中心的時候也發(fā)現(xiàn)了這個問題，因為通過隔離冷通道用大量板件或者金屬成型件會產(chǎn)生很高的成本。谷歌直接到便利店買透明的門簾、透明的塑料片，直接把門簾、塑料片從機房的頂上掛下來，通過塑料片去組成冷熱通道的隔離區(qū)，來完成冷熱的隔離。這種成本就非常低，而且效果還非常好，據(jù)谷歌自己說是降低了一半以上的PUE（整個設(shè)施運行所要消耗的能量，去除服務(wù)器自身所需要消耗的總能量的比例）。這種思路很好，遇到并不是很復(fù)雜的問題的時候，完全可以用簡單的方法解決。

關(guān)于PUE，一般國內(nèi)機房PUE在2到2.5的樣子，海外比如說谷歌、facebook，一般會把POE控制在1.3以下，所以差距還是挺大的。

地震
洪水
海嘯
颶風
暴雨
雷電
火山
優(yōu)秀的數(shù)據(jù)中心在建設(shè)的初期就會考慮各種意外因素，像我剛才說的谷歌會考慮暴恐襲擊，日本會考慮更多自然災(zāi)害。

雖然說地震、洪水、海嘯、颶風、暴風、雷電、火山噴發(fā)的可能性非常低，對某個機房來說，這種事件可能永遠也不會發(fā)生。但是當機房數(shù)量很多時，或者擁有一個機房時間足夠長時，一切都有可能。我在實際工作中，就遇到過被水淹掉的機房，還有被雷劈斷電的機房
我們著重說一下地震，我之前去日本的時候，參觀一下NTT的機房，我的印象就特別深刻。

要抵御地震的話有兩點：

選址避開地震帶;
提高建筑物抗震和機柜的抗震等級。
在數(shù)據(jù)中心抗震方面，通常會采用框架結(jié)構(gòu)進行抗震。其實最安全的方式是把機柜給建到地下去，因為地震的傷害主要來自于地震的面波，也就是它在地面上傳遞的導(dǎo)致建筑物左右晃動的力。所以建在地下是最安全的抗震方式，當然建在地下的價格極其昂貴。

著重解釋一下框架結(jié)構(gòu)，框架結(jié)構(gòu)就是指通過建筑物的框架承重，而不是墻面去承重，在框架上面進行減震和結(jié)構(gòu)加強的處理，框架結(jié)構(gòu)一般能夠提供對八級地震的抵抗力。汶川地震的時候就有電信機房采用框架結(jié)構(gòu)，當時并沒有坍塌，只是墻體開裂了。

日本在抗震上的黑科技很多，因為日本很難找到?jīng)]有地震帶的地點，再者他們的土地價格昂貴，沒有辦法通過建大面積的框架結(jié)構(gòu)建筑來抵御地震，所以日本的大城市機房普遍都是大樓。十幾層的機房，在地震的時候就特別危險。日本的做法就是把地基打的非常深，打到非常深的花崗巖石層，能夠承受極高的地震而不斷裂。

真正體現(xiàn)日本黑科技的地方，在于他們把整個機房大樓蓋在一個類似于汽車懸掛的系統(tǒng)上。

△ 橫向減震

日本機房吸收橫向運動的懸掛，它是液壓結(jié)構(gòu)，可以在地震的時候不跟隨地面的趨勢而運動，這樣的設(shè)計可以保證建筑物的穩(wěn)定性。通過吸震橡膠，在遇到地震的時候吸收縱向的震動。

△ 縱向減震

又拍云的機房選擇

對于核心的數(shù)據(jù)中心來說，又拍云會綜合考慮到前面提到的所有因素，再通過技術(shù)評估的方式來綜合考慮安全性、穩(wěn)定性、可靠性，還有網(wǎng)絡(luò)連通性。做出嚴格的評審之后，才能確定這個機房能不能滿足又拍云的需求，是否可以被又拍云使用。

△ 又拍云在紐約的數(shù)據(jù)中心

海外的數(shù)據(jù)中心會把設(shè)備擺放的非常密集，這也涉及國內(nèi)外數(shù)據(jù)中心的布置習慣和能源條件。海外數(shù)據(jù)中心通常的每個機柜能夠提供4.5千瓦甚至更高的電力支撐。國內(nèi)的話一般是3千瓦左右。

△ 又拍云在紐約的數(shù)據(jù)中心

從紐約數(shù)據(jù)中心的圖片中，我們可以看到有阻攔物體掉落的網(wǎng)，這是國內(nèi)外目前來看差異比較大的地方。

國外數(shù)據(jù)中心在設(shè)計規(guī)劃的時候會更多的考慮到人的因素，或者說交互體驗，會使你在使用的時候感覺非常順手，這些都是有專門評估的。國外的數(shù)據(jù)中心非常注重美觀，會考慮到視覺方面的因素。在建造機房的時候，他們都會考慮到很多硬指標以外的東西。
在國內(nèi)的話這方面目前還有所欠缺，國內(nèi)數(shù)據(jù)中心在電力、安保等硬指標方面相對優(yōu)異。但是在細節(jié)化的東西上，還有所欠缺。

△又拍云在香港的數(shù)據(jù)中心

國外的數(shù)據(jù)中心所使用的東西確實特別靠譜，但是當你遇到一些需要人員支持，或者需要靈活變通問題的時候，他可能會收取你200美元一個小時的服務(wù)費。在國內(nèi)免費的上架、安裝、安裝系統(tǒng)之類的事情。跑到國外的話，可能要收你200美元一個小時。這就體現(xiàn)我們中國人的偉大，因為中國人在國外開的機房，這種服務(wù)也都是全免費的。