資訊專欄INFORMATION COLUMN
摘要：日，公布了事故分析。此外，亞馬遜還完成了對所有備用配電的審計。至此，亞馬遜表示，已經(jīng)確定所有斷路器都是正確的配置了，并會進(jìn)行定期的測試和審計。最后，亞馬遜對在這次事件中受到損失的企業(yè)表示了歉意。
上周四即6月14日，Amazon位于美國東部的數(shù)據(jù)中心出現(xiàn)故障，并影響了AWS多項云服務(wù)以及基于之上的Heroku、Quora等知名網(wǎng)站。16日，Amaozn公布了事故分析。事故是由公共電網(wǎng)故障引起，并引發(fā)了一系列連鎖故障。:
事情的起因是電纜故障影響了高壓配電系統(tǒng)。
6月14日20:44左右，一電纜發(fā)生故障，進(jìn)而影響了高壓配電系統(tǒng)。2個為可用區(qū)域提供電力的公用變電站出現(xiàn)故障，進(jìn)而使得整個供應(yīng)區(qū)供電不足。但這個情況是可以處理的，亞馬遜啟動了備用發(fā)電機(jī)，保證了所有的EC2實例和EBS存儲成功轉(zhuǎn)移。
然而，20:53，1個備用發(fā)電機(jī)因其風(fēng)扇過熱造成了超負(fù)荷運轉(zhuǎn)而斷電。所以采用備用發(fā)電機(jī)（由一個完全獨立的配電電路完成額外發(fā)電能力）的方案也宣告失敗。更不幸的是，在這套特定的后備電源分配電路中，一個斷路器被錯誤配置為在低功率閾值時打開，這樣，當(dāng)負(fù)載轉(zhuǎn)移到該電路時，錯誤發(fā)生了，該斷路器斷路了。
20:57，當(dāng)該電路斷路器斷開時，實例和存儲失去了主要備份電力或二次后備電源。受此影響客戶的實例和卷是運行在多個可用區(qū)域的，只能在此環(huán)境中等到電力恢復(fù)才能正常運行。
15日10:19，發(fā)電機(jī)風(fēng)扇被替換并安裝好，發(fā)電機(jī)開始提供動力。電力逐步恢復(fù)后，受影響的實例和存儲也開始恢復(fù)。
10:50，絕大多數(shù)實例已經(jīng)恢復(fù)正常。但對于EBS存儲（含啟動塊）而言，電力不足之時寫入會有數(shù)據(jù)損失，也就是這些存儲可能存在不一致的狀況。這并非是潛在的不一致，因為即使是存儲上I/O停頓，EBS也會在線直接反饋出受損狀態(tài)。用戶只能通過驗證存儲上的一致性來恢復(fù)它。
最后，16日1:05，超過99%受影響的存儲才得以解決。
總的來看，EBS-related EC2 API的損失集中在20:57-22:40。具體來看，這段時間內(nèi)，可變系統(tǒng)調(diào)用（如創(chuàng)建，刪除）失敗，進(jìn)而直接影響到客戶發(fā)布新的EBS-backed EC2實例。EC2和EBS APIs實施在多個可用復(fù)制數(shù)據(jù)存儲區(qū)。EBS數(shù)據(jù)存儲被用來存儲元數(shù)據(jù)等資源的卷快照。一個主要的EBS數(shù)據(jù)存儲因為這個時間失去了動力，使得系統(tǒng)無法將數(shù)據(jù)存儲的副本放到另外一個可用區(qū)。一般來看，為了保護(hù)數(shù)據(jù)存儲，系統(tǒng)會自動翻轉(zhuǎn)為只讀模式，直到電力恢復(fù)可以啟動可用區(qū)，進(jìn)而盡快恢復(fù)到一致狀態(tài)，并返回到數(shù)據(jù)存儲讀寫模式，使得啟用可變EBS調(diào)用成功。但這個事件中，這一保護(hù)方案沒有起到作用。
未來，為了保證數(shù)據(jù)存儲實現(xiàn)快速切換，亞馬遜將實施變革。高壓配電系統(tǒng)以及所有運行實例和存儲將采用全冗余電源。此外，亞馬遜還完成了對所有備用配電的審計。在審計中，亞馬遜還發(fā)現(xiàn)了另一個設(shè)置有問題的斷路器。至此，亞馬遜表示，已經(jīng)確定所有斷路器都是正確的配置了，并會進(jìn)行定期的測試和審計。
最后，亞馬遜對在這次事件中受到損失的企業(yè)表示了歉意。
CSDN觀點：從亞馬遜的解釋來看，頗有“屋漏偏逢連夜雨”之慨，但也從另一層面看出對于數(shù)據(jù)中心的任何一次事故而言，所需要提供的應(yīng)對方案應(yīng)是復(fù)雜的，連續(xù)的，方案之外，定期測試也是必須的。在該事件之后，有很多有價值的分析與評論，特選擇一些和大家共享。
原文鏈接：ycombinator.com
ericabiz：（自2001-2007年一直經(jīng)營一個專用服務(wù)器托管公司）
在托管實施設(shè)計中，電池要有足夠的力量來支持發(fā)電機(jī)。但這也會帶來一個巨大單點故障的可能性。一個更好的設(shè)計是通過飛輪產(chǎn)生足夠的電力。不過，對于一般數(shù)據(jù)中心而言，一年左右的時間內(nèi)總會遇到這些發(fā)電機(jī)故障。
亞馬遜有著好的設(shè)置，但是沒有進(jìn)行有效的測試。
順便說一下，這也是問你的數(shù)據(jù)中心供應(yīng)商的一個好問題：是否擁有兩個完全冗余電源并包含PDU和發(fā)電機(jī)器的系統(tǒng)？多長時間進(jìn)行一次測試？如果一個電路單元/發(fā)電機(jī)失敗，我如何設(shè)置服務(wù)器來保證應(yīng)用不失去動力？
有一個正確的方法：多電源保證每一個服務(wù)器連接到2PDUs或連接到2個不同的發(fā)電機(jī)——但這是昂貴的，許多較低端的托管服務(wù)提供商是無法接受這個成本的。
rdl：
大型余熱發(fā)電設(shè)備（比如利用蒸汽、建筑、供熱設(shè)備產(chǎn)生的廢熱等）往往采用grid-backup模式。舉個例子，麻省理工學(xué)院的熱電廠（幾大天然氣渦輪機(jī)），也有很多大學(xué)利用蒸汽加熱，很多工業(yè)遺址也證明了這些。它歸結(jié)為成本和分區(qū)允許。顯然比起運行一個24*7的發(fā)電機(jī)，其更容易獲得許可證。而從實際價格上看，利用余熱更能體現(xiàn)循環(huán)價值。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/3638.html
摘要：以下這個名單恐怕是這些公司不想看到的的年前大云故障。微軟稱這次中斷是由外部網(wǎng)絡(luò)故障所導(dǎo)致，部分用戶受影響長達(dá)個小時。微軟表示這次中斷與故障無關(guān)。微軟最終確定人為錯誤是罪魁禍?zhǔn)住?本杰明?富蘭克林曾經(jīng)說過，這個世界上有兩件事情不可避免，死亡和納稅。但如果這位偉大的政治家和發(fā)明家活在我們的現(xiàn)代世界，也許服務(wù)器停機(jī)也會進(jìn)入這個名單。不管底層技術(shù)再怎么好，也不管托管提供商再多么能干，云總是會發(fā)生故障...
摘要：阿里云再次發(fā)生故障，這已是年的第二起。這場事故，持續(xù)了三個小時左右。針對故障，阿里云表示會根據(jù)協(xié)議服務(wù)合同，盡快處理賠償事宜。十天前，阿里云今年的第一起事故被曝光。后來，阿里云就此事作出回應(yīng)，并在網(wǎng)站醒目標(biāo)識并給出告警。阿里云再次發(fā)生故障，這已是2019年的第二起。3月2日23時55分左右，阿里云開始出現(xiàn)大規(guī)模宕機(jī)故障，位于華北地區(qū)的多家互聯(lián)網(wǎng)公司的IT運維人員發(fā)現(xiàn)多個APP和網(wǎng)站開始陷入卡...
回顧2012，更多開放，更多協(xié)作，更多機(jī)會產(chǎn)生。從來沒有一項服務(wù)會將幾乎所有IT、互聯(lián)網(wǎng)、通信技術(shù)整合在一起，沒有合作、開放的心態(tài)就沒有云計算。接下來，將從IaaS、NoSQL與NewSQL、數(shù)據(jù)中心、大數(shù)據(jù)、安全這幾個方面對過去一年作出總結(jié)。IaaS——群雄追趕AWS談到IaaS，Google和AWS是公認(rèn)的業(yè)界最強(qiáng)。AWS是全球?qū)aaS這個business運營的較好的公司，除了技術(shù)領(lǐng)先，還要...
摘要：全球云計算廠商躬身入局，開啟現(xiàn)代化應(yīng)用之旅事實上，包括亞馬遜云科技華為云在內(nèi)的全球云計算廠商已在這一領(lǐng)域進(jìn)行了多年實踐。過去年，亞馬遜云科技一直在持續(xù)不斷地突破很多現(xiàn)代化應(yīng)用技術(shù)。年，亞馬遜云科技發(fā)布第一個消息隊列的服務(wù)，至今已有年歷史。 2006年，是云計算滾滾浪潮的開端，這場IT技術(shù)變革始于亞馬遜AWS的成立，它讓公有云成為整個云行業(yè)的標(biāo)桿，也形成了...
閱讀 2890·2021-08-20 09:37
閱讀 1616·2019-08-30 12:47
閱讀 1100·2019-08-29 13:27
閱讀 1692·2019-08-28 18:02
閱讀 757·2019-08-23 18:15
閱讀 3094·2019-08-23 16:51
閱讀 938·2019-08-23 14:13
閱讀 2156·2019-08-23 13:05
