資訊專欄INFORMATION COLUMN
摘要：新的基于的實例能提供數(shù)百倍于其他儲存方式的吞吐量，以及極低延遲。雖然吞吐量受限制比原有系統(tǒng)減少，但卻將延遲減少到了平均線下很多。這樣就說明我們用來替代和在獲得同樣吞吐量的同時可以獲得更低的延遲。
為了滿足更多用戶在存儲和檢索大量數(shù)據(jù)、提供豐富與個性化體驗、及時響應(yīng)點擊與手勢的要求，新型互聯(lián)網(wǎng)與移動應(yīng)用需要高I/O資源。為此，亞馬遜AWS旨在EC2中加入一個新的“家庭成員”：運行低延遲、I/O密集型應(yīng)用、支持NoSQL數(shù)據(jù)庫如Cassandra和MongoDB的新實例，打破了一直存在于云世界的I/O瓶頸。真金不怕火煉，讓我們來看看新的I/O體系究竟如何！
測試基準的制定
去年公布的Apache Cassandra performance benchmark顯示，用數(shù)百個非常小的EC2實例就可以獲得類似每秒超過百萬客戶端進行寫入的效果。之前測試了用于Cassandra上建立和管理軟件Priam的擴展性，并證明了，大規(guī)模的Cassandra集群按線性擴大，也就是10倍數(shù)量的實例將讓你獲得10倍的吞吐量?，F(xiàn)在我們發(fā)布了一些基準它能體現(xiàn)出在原有類型系統(tǒng)和新的基礎(chǔ)SSD的系統(tǒng)上運行Cassandra的對比。
AWS實例中的I/O元素摘要
已有幾個臨時的儲存元素被存于網(wǎng)絡(luò)磁盤中，它們將在實例結(jié)束后被刪除?；诂F(xiàn)有內(nèi)部磁盤在Cassandra環(huán)境中進行的測試對比，主要采用了四個方案：m1.xlarge、m2.4xlarge、cc2.8xlarge以及現(xiàn)在加入的SSD hi1.4xlarge。AWS CPU性能對應(yīng)了EC2的每一種實例。
我們首先在擁有較好CPU平衡性的Netflix上使用m2.4xlarge來運行Cassandra，盡管我們還必須通過調(diào)度每一個節(jié)點的精簡和修復(fù)來不讓I/0過載，但CPU和RAM容量仍然為我們工作的重中之重。
基于SSD實例上的hi1.4xlarge
這種新的基于SSD的類型實例在臨時存儲中提供了很高性能。在/proc/cpuinfo的報告中顯示CPU為2.4GHz擁有8個核心和超線程技術(shù)的Intel Westmere E5620?，這樣就擁有了16個CPU線程。其CPU性能上介于m2.4xlarge和cc2.8xlarge之間，相同的RAM容量，和cc2.8xlarge同樣的10GB網(wǎng)絡(luò)接口。
磁盤的結(jié)構(gòu)為兩個1TB左右大的SSD，使實例能勝任100000左右的低延遲IOPS和1GB每秒的吞吐量。新的基于SSD的實例能提供數(shù)百倍于其他儲存方式的吞吐量，以及極低延遲。
測試結(jié)果
首先，對于一個新的子系統(tǒng)，我們必須做基礎(chǔ)文件系統(tǒng)的性能等級測試，我們使用izone測試準則來查證我們在當前的磁盤條件下一個非常短的時間內(nèi)（大約20—60/ms）是否可以得到100000的IOPS和1GB/S的吞吐量。
然后我們用Cassandra的壓力測試來用簡單的數(shù)據(jù)存儲模式對一個小型的數(shù)據(jù)集進行存儲，類似我們?nèi)ツ旯嫉臏蕜t。我們發(fā)現(xiàn)我們的測試經(jīng)常受到CPU限制，但是在啟動的那小段時間隨著數(shù)據(jù)加載進存儲器，我們?nèi)匀豢梢栽诖疟P上得到接近1GB/每秒的吞吐量。
接著就是更多的混合，我們?nèi)〕鑫覀儍Υ嬖贑assandra中較大的數(shù)據(jù)和從備份中恢復(fù)兩份拷貝。一份在m2.4xlarge上，另一份在hi1.4xlarge上，這樣我們就可以得出在同等的條件下以SSD為基礎(chǔ)的新模塊究竟有多完善。下一個將會是最有意思的對比。
Netflix的應(yīng)用基準測試
我們的架構(gòu)是精細入微的，每一個開發(fā)團隊都擁有自己的一套服務(wù)和數(shù)據(jù)存儲。結(jié)果就是，我們的產(chǎn)品中擁有十個Cassandra集群，每一個都服務(wù)于不同的數(shù)據(jù)源。我們從中抽取一個擁有靜態(tài)數(shù)據(jù)提供應(yīng)用程序的集群，該應(yīng)用程序使用了聘美于Cassandra為寫操作提供的緩存層來完成讀的工作。我們的目的是想知道，在不使用系統(tǒng)緩存的情況下使用SSD是否會帶來延遲。用EVcache來管理緩存層。下面是兩項配置的對比：
這項實驗是我們做過實驗中最復(fù)雜的實驗之一并伴有巨額的工作量。它需要做到每秒數(shù)萬的讀入和數(shù)千的寫入。測試中發(fā)現(xiàn)，在原有系統(tǒng)中，EVcacha做了大部分讀入的工作。為了保持穩(wěn)定的運行巨量的內(nèi)存被用于減少I/O的工作量。
在基于SSD的系統(tǒng)中，同樣的工作量仍有大量的IOPS剩余并且在沒有影響延遲的情況下做了同樣的精簡運算。雖然吞吐量受CPU限制比原有系統(tǒng)減少20%，但卻將延遲減少到了平均線下很多。這樣就說明我們用hi1.4xlarge來替代48m2.4xlarge和36 m2.xlarge在獲得同樣吞吐量的同時可以獲得更低的延遲。
成本對比
在使用基于SSD模式的系統(tǒng)中，瓶頸從I/O轉(zhuǎn)換到CPU上，我們就可以大量的減少實例個數(shù)。參照了現(xiàn)有的收費體系，完全可以通過減少實例數(shù)量來減少花費。
將Cassandra上的工作放到SSD上的優(yōu)勢?
總結(jié)
這是AWS一次突破性的提升，無疑的克服了應(yīng)用程序受制于數(shù)據(jù)庫連接的囧境，給云端的人們帶來了福音。我們期待作為云世界的領(lǐng)跑者Aamazon能一直與時俱進，為云世界的開拓和完善做出新的貢獻。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/3967.html
摘要：在科技業(yè)，時代變遷帶來的劇變同樣十分明顯，從傳統(tǒng)時代到云計算時代，數(shù)據(jù)不再只是沉睡的寶藏，數(shù)據(jù)庫的作用和價值正變得尤為突出。真因為如此，順應(yīng)云計算時代而生的成為公司歷史上發(fā)展最快的服務(wù)，在過去兩年間，通過其數(shù)據(jù)庫遷移服務(wù)遷移了超過個數(shù)據(jù)庫。19世紀，愛馬仕還是一家專門制作各種精美馬具的作坊，但到了20世紀，汽車逐漸取代馬車，愛馬仕不得不從馬具轉(zhuǎn)向皮具，從而成就了這一世界級奢侈品品牌；1975...
摘要：如果說是主要針對和的三個關(guān)鍵信息成長和，那么上午則是專注的企業(yè)級應(yīng)用。將以季度為單位進行版本更新。天的已經(jīng)接近尾聲，金融保險兩大客戶現(xiàn)身說法，企業(yè)級初現(xiàn)崢嶸，從技術(shù)到商業(yè)落地，從開發(fā)者到企業(yè)級用戶，容器世界的大門已經(jīng)打開。 If the container ecosystem succeeds, Docker succeeds. showImg(https://segmentfault...
摘要：對于我們這些在云計算領(lǐng)域中的人來說，最令人激動的事情莫過于在今年的大會上發(fā)布了。另一則重大消息就是進入了云計算領(lǐng)域，不過當前占主導(dǎo)地位的仍是。與使用當前的核擁有最快速度的實例模型進行對比。使用默認的設(shè)置中，兩種類別的都比快。 對于我們這些在云計算領(lǐng)域中的人來說，最令人激動的事情莫過于在今年的Google I/O大會上發(fā)布了Google Glass。另一則重大消息就是Google進入了云計算...
摘要：云端閃存部署細節(jié)塊存儲僅可用于連接到虛擬實例或虛擬機。在這些產(chǎn)品中，只有彈性塊存儲具有明確使用閃存存儲的功能。谷歌云平臺提供三種主要存儲選項云存儲對象永久磁盤塊和云文件存儲文件。隨著閃存存儲價格下降且設(shè)備容量提升，閃存存儲逐漸成為企業(yè)的首選存儲選項。公共云平臺上的存儲同樣是如此，這些平臺具有基于固態(tài)的存儲產(chǎn)品，可為需要存儲功能的應(yīng)用程序提高性能和吞吐量。本文中，讓我們來看看哪些閃存作為云存儲...
閱讀 1819·2021-10-27 14:15
閱讀 3950·2021-10-08 10:12
閱讀 1217·2021-09-22 15:55
閱讀 3272·2021-09-22 15:17
閱讀 893·2021-09-02 15:40
閱讀 1788·2019-08-29 18:33
閱讀 1136·2019-08-29 15:22
閱讀 2393·2019-08-29 11:08
