摘要：作者原文第一部分應(yīng)用混沌工程理論到區(qū)塊鏈框架。你可以抗議混沌環(huán)境在像與這種權(quán)限不足的公共區(qū)塊鏈網(wǎng)絡(luò)上是否存在。在之后這些被稱之為混沌工程?；煦缭瓌t開始進(jìn)入正式規(guī)范。名字是混沌工程通過實驗建立對系統(tǒng)行為的信心。

作者 Vipin Bharathan
原文：https://medium.com/@vipinsun/...

第一部分. 應(yīng)用混沌工程理論到區(qū)塊鏈框架。

混沌與工程兩個字是沒有什么關(guān)系的。在這篇文章，我們會探索下為什么他們會組合在一起并且應(yīng)用在區(qū)塊鏈上。第二部分我們會看到混沌工程在Hyperledger Indy的實現(xiàn)。我們用一個工業(yè)界不常見的縮寫，混沌實驗框架(chaos experimentation framework(CEF))。在這篇文章里為了使用方便，我們使用這種縮寫形式。

這是一個使用微服務(wù)組成巨型可伸縮分布式系統(tǒng)的時代。Netflix,Linked-In,Medium,Amazon,Microsoft Azure,Uber,AirBnb等。沒有一個人甚至整個架構(gòu)和程序員團(tuán)隊的腦子中可以容納這個分布式系統(tǒng)的復(fù)雜架構(gòu)。這種系統(tǒng)的靜態(tài)配置也包括在不同硬件或云端上運行的多種服務(wù)，通過網(wǎng)絡(luò)的多種SLA和運行在許多邊緣設(shè)備的用戶界面相連接。由于這種靜態(tài)的復(fù)雜性，這種系統(tǒng)的實時行為引入了在不可信網(wǎng)絡(luò)系統(tǒng)組件上來自用戶與進(jìn)程上獨立輸入的層次。

這些組件可能崩潰，降級，或行為異常。惡意用戶到處都是。同樣在這個時代，混沌工程上出現(xiàn)了，最初作為一種粗略測量此種系統(tǒng)的方法；通過實踐變成一種哲學(xué)，通過會議,工具和廣泛傳播得到接受。

你可以抗議混沌環(huán)境在像Bitcoin與Ethereum這種權(quán)限不足的公共區(qū)塊鏈網(wǎng)絡(luò)上是否存在。他們已經(jīng)不知不覺中被混沌卷入了。節(jié)點在網(wǎng)絡(luò)中加入或重加入，惡意攻擊者持續(xù)的探測系統(tǒng)，網(wǎng)絡(luò)中斷?；煦缗c混沌工程有一個不同?；煦绻こ?，繼承了混沌字面上的意思，其實是使用實驗數(shù)據(jù)來發(fā)現(xiàn)系統(tǒng)弱點的一種工程手段。

開始我們使用混沌工程的一些基本原則設(shè)置場景，就像存在在分布式系統(tǒng)的應(yīng)用中一樣。有一個混沌工程的開源倉庫叫chaos tookit。chaos toolkit是開源的，其使用open API來生成混沌工程的交互步驟來描述實驗。工具可以使用open API來擴(kuò)展而且在Kubernetes,AWS,Azure上已經(jīng)有驅(qū)動存在了。它也可以被用來在持續(xù)集成和構(gòu)建時自動化混沌工程。

我們調(diào)研了開源chaos toolkit并了解這些實驗是如何在這個系列的第二篇文章Hyperledger Indy被適配的。希望這可以鼓舞人們可以更了解自己的DLT平臺并建立一個成熟的混沌實驗套裝來加固他們自己的平臺。

從2008年，當(dāng)Netflix開始將他們的服務(wù)器從數(shù)據(jù)中心移到云端，他們的工程師實踐了一些在生產(chǎn)環(huán)境進(jìn)行類似彈性測試的活動。在之后這些被稱之為混沌工程。Chaos Monkey開始被使用，大家知道它是用來在生產(chǎn)環(huán)境將服務(wù)關(guān)掉的工具?；煦缭瓌t開始進(jìn)入正式規(guī)范。Netflix 混沌自動化平臺在微服務(wù)生產(chǎn)環(huán)境7*24小時運行混沌實驗。

這些紀(jì)律作為混沌工程的關(guān)注點，有些資料清單可以看看。O’Reilly出版了一本很棒的關(guān)于混沌工程的免費書。由于O’Relly需要注冊一下才能得到下載鏈接。我們很感謝在很多企業(yè)里實踐混沌工程的作者。名字是“混沌工程：通過實驗建立對系統(tǒng)行為的信心”。

要定位分布式系統(tǒng)中的弱點，混沌工程可以被視為通過創(chuàng)建和運行實驗來發(fā)現(xiàn)系統(tǒng)的弱點。發(fā)現(xiàn)的弱點可以被記錄為系統(tǒng)的約束。關(guān)于弱點的證據(jù)可以被檢查并被實驗重復(fù)執(zhí)行。

第一步是對系統(tǒng)的穩(wěn)態(tài)進(jìn)行度量。系統(tǒng)可以被它的輸出內(nèi)容所理解。系統(tǒng)穩(wěn)態(tài)的度量需要一個穩(wěn)定和輕便的監(jiān)控系統(tǒng)。輕便意味著度量的動作不會顯著的對系統(tǒng)本身產(chǎn)生影響。發(fā)現(xiàn)穩(wěn)態(tài)需要對以下問題作出解答。

什么需要被度量？是像cpu使用率，內(nèi)存利用率這種系統(tǒng)變量還是想響應(yīng)時間這種業(yè)務(wù)變量，還是像其他應(yīng)用的特定度量單位？ 有些時候以上所有方面都需要。

穩(wěn)態(tài)有沒有對時間的依賴？資源利用率的模式在每天/每周/每月或每個季度或每年或更大的周期里不同的時間都會不同。穩(wěn)態(tài)確實是一個不穩(wěn)定的狀態(tài)。

以下方式可以作為在區(qū)塊鏈視角下的設(shè)計混沌工程實驗框架(CEF)并運行的指導(dǎo)原則。

已知的弱點不能作為實驗的目標(biāo)。如果1/3的攻擊破壞共識(BFT)，關(guān)閉一個致命比例的共識成員會造成已知的后果，從這個實驗無法獲得更好的洞察結(jié)果。而在重要閾值上維持一個較小的數(shù)值是可以作為實驗的。

對于區(qū)塊鏈，混沌工程實驗應(yīng)該關(guān)注在共識，網(wǎng)絡(luò)，存儲層和通過隨機實驗組合交叉切斷身份,智能合約，中央，用戶交互等方面。

當(dāng)我們在第二篇文章里討論在Indy我們是怎樣進(jìn)行混沌實驗時會提到這些。當(dāng)通過實驗發(fā)現(xiàn)了下層框架的問題時，將由實驗導(dǎo)致的問題的進(jìn)程,API或相關(guān)的系統(tǒng)隔離掉以便盡可能多的收集相關(guān)信息。這些數(shù)據(jù)可以幫助我們對系統(tǒng)進(jìn)行加固。

混沌工程與單元測試和集成測試不同。與做故障注入和失敗測試也不同。一個CEF會使用一些故障注入工具，失敗注入和失敗測試通常一次瞄準(zhǔn)的是同一種失敗。混沌工程瞄準(zhǔn)的是通過隨機組合的事件來發(fā)現(xiàn)系統(tǒng)的新知識；包括客戶流量激增這種良性或有益的場景。除了通常的測試工具和實踐外還應(yīng)該也實施混沌工程。

從開發(fā)和測試環(huán)境進(jìn)行實驗，當(dāng)保證待修復(fù)的問題都解決后，開始逐漸向生產(chǎn)環(huán)境進(jìn)行。只有在生產(chǎn)環(huán)境才能真正觀察到混沌實驗的非線性效應(yīng)。

從整個團(tuán)隊，特別是devops工程師與開發(fā)團(tuán)隊溝通獲得支持。需要強調(diào)混沌工程不是一種對抗，而且通過實驗可以對整個系統(tǒng)進(jìn)行加固。從實驗獲得的知識一樣可以讓開發(fā)上層活動(架構(gòu)，設(shè)計，工程實現(xiàn))受益。并且與企業(yè)的業(yè)務(wù)團(tuán)隊溝通也是必要的。

隨機化實驗，包括時間和實驗本身。注意在學(xué)習(xí)穩(wěn)態(tài)時收集的資源利用率與系統(tǒng)響應(yīng)的信息，同時也要注意期間需要關(guān)注的一些特殊情況。

自動化運行實驗，包括快速關(guān)閉實驗的方式，尤其是當(dāng)你在生產(chǎn)環(huán)境做實驗時。當(dāng)然這也包括在混沌框架與監(jiān)控系統(tǒng)間的自動化監(jiān)控和一些反饋形式。

最小化爆炸半徑。實驗的結(jié)果不應(yīng)該對生產(chǎn)系統(tǒng)造成重大干擾。多個步驟的討論可以對這個問題有所幫助。

在高級實驗中，可以將系統(tǒng)分成兩部分：一種是不會被實驗影響的控制系統(tǒng)，一個是需要在做實驗時看到度量效果的系統(tǒng)。這是混沌工程的高級實踐。

彈性:在Netflix，使用Chaos Monkey，只有獨立的進(jìn)程或VM會被關(guān)閉，這些可以保證讓Chaos Kong來關(guān)閉整個數(shù)據(jù)中心或區(qū)域(region)。通過這種方式我們可以看到整個區(qū)域(region)建的故障轉(zhuǎn)移情況。

Chaos成熟模型；講述了混沌工程里成熟度的多個級別。不同的維度：開發(fā)系統(tǒng)到生產(chǎn)；混沌工程的自動化級別； 。。 ；取決于團(tuán)隊走到了哪里，有一些關(guān)于成熟度模型的一些大概的名字。

區(qū)塊鏈架構(gòu)在federated或permissioned這種多個企業(yè)環(huán)境的區(qū)塊鏈場景比較有效。在公鏈上，環(huán)境不會被一種類型的實體所控制。具體到在多stakeholder，多企業(yè)環(huán)境的區(qū)塊鏈的創(chuàng)建，通信和執(zhí)行CEF。使用CEF的好處很清晰。如果在開發(fā)的起始階段執(zhí)行CEF，在開發(fā)，業(yè)務(wù)用戶和運維同事那里不會遇到很大的挑戰(zhàn)，因為此時對于平臺的穩(wěn)定期望很低。CEF應(yīng)該可以與其他的DLT(Distributed Ledger Technology )框架一起成長并成為生態(tài)系統(tǒng)的一部分。在permissioned setting的初始協(xié)議和管理方式討論中應(yīng)該將CEF實踐作為一項條件。

對于公鏈，像與其他參與者與開發(fā)者社區(qū)溝通得到支持是必要的；需要一條為CEF部署準(zhǔn)備的從完整測試環(huán)境到生產(chǎn)環(huán)境的路徑。這對于利益的stakeholder和governance視角的公鏈上來看并不容易，公鏈還在生成和開發(fā)。已存在的問題，像以太坊(Ethereum)的DAO事件或比特幣的scaling debate都暴露了系統(tǒng)的脆弱性，并產(chǎn)生了解決方案。一個基于混沌成熟度模型的完善的CEF可以更早的暴露這些風(fēng)險并在早期尋求解決方案。核心和邊緣系統(tǒng)都有許多其他的弱點可以被完善設(shè)計的CEF來覆蓋。

企業(yè)區(qū)塊鏈需要有一套測試環(huán)境，讓CEF可以加速投入到生產(chǎn)。這對于大多數(shù)企業(yè)區(qū)塊鏈都是一樣。

對于特定架構(gòu)領(lǐng)域的知識可以用來指導(dǎo)CEF工程實踐。例如，在Hyperledger Fabric(譯注：即超級賬本)，endorsement policies指導(dǎo)了共識的形成，所以不斷移除endorser直到到了endorsement規(guī)則支持的最小endorser數(shù)量可以暴露特定實現(xiàn)的風(fēng)險。在Corda，移除一定比例的網(wǎng)絡(luò)公證人，將使網(wǎng)絡(luò)的一部分產(chǎn)生延遲，影響Corda的防火墻。會發(fā)現(xiàn)特定部署的脆弱點。

通過觀察在大規(guī)模分布式系統(tǒng)中的混沌工程實踐展示了它的前景和力量。其在航空測試，醫(yī)院系統(tǒng)的生產(chǎn)系統(tǒng)這種敏感應(yīng)用的實踐展示了它的實用性。

設(shè)計區(qū)塊鏈框架的實驗需要一系列的框架的特殊知識作為原則提供給CEF，并且需要工作在不同層面的團(tuán)隊來隨著平臺增長來一起增加在特定實現(xiàn)上的信心。

我們會在這個系列的下篇來將在Indy平臺的CEF實踐作為案例。這可以幫我們指導(dǎo)我們在特定的DLT框架內(nèi)進(jìn)行CEF的實現(xiàn)。

微信公眾號「麥芽面包」，id「darkjune_think」
開發(fā)者/科幻愛好者/硬核主機玩家/業(yè)余翻譯家/書蟲
交流Email: [email protected]