所謂云存儲(chǔ)，是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng)。而實(shí)現(xiàn)適應(yīng)用戶需求的云存儲(chǔ)，關(guān)鍵在于選擇強(qiáng)大的基于應(yīng)用與部署需求的數(shù)據(jù)架構(gòu)。

　　日前，業(yè)界領(lǐng)先的企業(yè)級(jí)和移動(dòng)軟件公司 Sybase 攜手國內(nèi)第一家云計(jì)算基礎(chǔ)架構(gòu)與平臺(tái)服務(wù)提供商美地森，共同打造全共享架構(gòu)與無共享架構(gòu)完美結(jié)合的云存儲(chǔ)平臺(tái)。Sybase IQ與美地森云存儲(chǔ)軟件通過了中創(chuàng)信測(cè)的苛刻的功能和穩(wěn)定性測(cè)試，打造了全球領(lǐng)先的云架構(gòu)數(shù)據(jù)倉庫解決方案。

　　該方案擁有如下優(yōu)勢(shì)：
　　兼具Shared Nothing（無共享）和Shared Everything（全共享）架構(gòu)的技術(shù)優(yōu)勢(shì)；
　　兼具列式存儲(chǔ)和云計(jì)算架構(gòu)的優(yōu)勢(shì)，滿足超大數(shù)據(jù)量應(yīng)用對(duì)基礎(chǔ)平臺(tái)的性能需求；
　　采用云計(jì)算集群體系架構(gòu)，擁有卓越的擴(kuò)展性和高可靠性；
　　采用x86架構(gòu)取代小型機(jī)，因此大幅降低系統(tǒng)TCO成本；

　　該方案為超大數(shù)據(jù)量分析平臺(tái)等數(shù)據(jù)密集和運(yùn)算密集的應(yīng)用提供了全球領(lǐng)先的技術(shù)架構(gòu)，解決了“大數(shù)據(jù)”分析應(yīng)用所遇到的技術(shù)挑戰(zhàn)。該方案成本可控，技術(shù)領(lǐng)先，支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，可廣泛服務(wù)于金融行業(yè)、電信行業(yè)、政府行業(yè)、廣電、能源行業(yè)、航空、制造行業(yè)、煙草、零售等行業(yè)。

?

　　Sybase IQ ——支持全共享MPP架構(gòu)
　　目前業(yè)界最常用的數(shù)據(jù)架構(gòu)便是Shared Nothing（無共享）以及Shared Everything（全共享）。

　　Shared Nothing架構(gòu)中的每一個(gè)節(jié)點(diǎn)都是獨(dú)立、自給的，而且整個(gè)系統(tǒng)中沒有單點(diǎn)競(jìng)爭。有些系統(tǒng)需要集中保存大量的狀態(tài)信息——數(shù)據(jù)庫、應(yīng)用服務(wù)器或是其他類似的單點(diǎn)競(jìng)爭系統(tǒng)。Shared Nothing體系使數(shù)據(jù)庫穩(wěn)定增長，隨著事務(wù)數(shù)量不斷增加，增加額外的CPU和主存就可以保證每個(gè)事務(wù)處理時(shí)間不變。

　　伴隨著云計(jì)算技術(shù)的發(fā)展，越來越多的企業(yè)希望將企業(yè)資源虛擬化，實(shí)現(xiàn)信息共享，由此帶來Shared Everything（全共享）架構(gòu)的發(fā)展。從“客戶端”角度來說，Shared Everything架構(gòu)的核心內(nèi)容就是把計(jì)算發(fā)展成為一種公共設(shè)施，就像我們?nèi)粘Ｋ褂玫乃碗娨粯?；從“服?wù)器端”來考慮，Shared Everything是計(jì)算資源的虛擬化或者說是計(jì)算資源的匯合，并實(shí)現(xiàn)信息共享、高可用性和安全性。

　　Sybase 在其IQ 15.3產(chǎn)品中引入了基于“大規(guī)模并行處理”（MPP）架構(gòu)的PlexQ分布式查詢平臺(tái)，通過將任務(wù)分散到網(wǎng)格配置中的多臺(tái)計(jì)算機(jī)，加速了高度復(fù)雜查詢的速度。與傳統(tǒng)無共享MPP架構(gòu)相比，Sybase IQ 15.3 PlexQ分布式查詢平臺(tái)擁有更出色的并發(fā)性、自助式即席查詢功能和計(jì)算及存儲(chǔ)資源的獨(dú)立擴(kuò)展性。有了這一架構(gòu)，PlexQ能夠通過簡單、靈活的資源配置，將節(jié)點(diǎn)合并成統(tǒng)一模塊，分配到不同的應(yīng)用配置中，從而超越服務(wù)水平協(xié)議（SLA）的要求。

　　與傳統(tǒng)的無共享（Shared-Nothing）的MPP架構(gòu)不同，PlexQ采用全共享（Shared-Everything）方法，能夠動(dòng)態(tài)地管理和平衡Sybase IQ MPP配置中所有計(jì)算節(jié)點(diǎn)之間的查詢?nèi)蝿?wù)負(fù)載。PlexQ的自動(dòng)化工作負(fù)載均衡器積極主動(dòng)地運(yùn)行，避免用戶爭搶系統(tǒng)資源，從而為一系列并行工作負(fù)載提供可預(yù)測(cè)的高性能。

?

　　Sybase IQ 15.3——重新定義云架構(gòu)
　　基于企業(yè)不斷變化的存儲(chǔ)與分析需求，Sybase IQ使用了獨(dú)特的列式存儲(chǔ)方式，在進(jìn)行分析查詢時(shí)，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫需要緩慢的讀取整個(gè)表的每一行，這種讀取方式通常會(huì)阻塞I/O通道、內(nèi)存和磁盤，而Sybase IQ 僅需讀取查詢所需的列，其垂直分區(qū)策略不僅能夠支持大量的用戶、大規(guī)模數(shù)據(jù)，還可以提交對(duì)商業(yè)信息的高速訪問，其速度可達(dá)到傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的百倍甚至千倍。同時(shí)，在存儲(chǔ)大數(shù)據(jù)方面，Sybase IQ 能夠存儲(chǔ)海量的復(fù)雜數(shù)據(jù)，與傳統(tǒng)數(shù)據(jù)庫相比，其存儲(chǔ)能力可多達(dá)10倍以上。

　　另外，Sybase IQ 所采用的Multiplex技術(shù)，充分利用了單個(gè)服務(wù)器（節(jié)點(diǎn)）在執(zhí)行特定功能時(shí)可進(jìn)行磁盤存儲(chǔ)共享并通用的優(yōu)勢(shì)。也就是說，存儲(chǔ)是共享的、壓縮的、列分區(qū)存儲(chǔ)的，它們通過一條高速的光纖通道與Multiplex架構(gòu)中的所有服務(wù)器節(jié)點(diǎn)互聯(lián)。這些服務(wù)器節(jié)點(diǎn)既可以作為數(shù)據(jù)讀節(jié)點(diǎn)也可以作為寫節(jié)點(diǎn)（或者兩者都是）運(yùn)行，支持所有連接到共享數(shù)據(jù)源的并發(fā)的數(shù)據(jù)加載和查詢。這一技術(shù)使得Sybase IQ 可以在大量的使用場(chǎng)景中游刃有余，比如快速的并行分析和報(bào)表，同時(shí)支持高速的實(shí)時(shí)數(shù)據(jù)加載、批量數(shù)據(jù)集成任務(wù)、即席客戶端加載和查詢等等（見下圖）：

?

　　浩存是美地森科技自主研發(fā)的云存儲(chǔ)產(chǎn)品系列，內(nèi)置了自主研發(fā)的YFS云文件系統(tǒng)。通過YFS云文件系統(tǒng)，可將多臺(tái)普通X86 架構(gòu)服務(wù)器上的本地磁盤管理起來，形成一個(gè)大的存儲(chǔ)池，實(shí)現(xiàn)存儲(chǔ)虛擬化。此外，浩存提供了標(biāo)準(zhǔn)的iSCSI主機(jī)接口。浩存云存儲(chǔ)產(chǎn)品專為需要按需擴(kuò)容、高可用、注重存儲(chǔ)效率和性能的應(yīng)用而設(shè)計(jì)，非常適合虛擬化、海量數(shù)據(jù)存儲(chǔ)、OLTP業(yè)務(wù)、存儲(chǔ)資源整合等應(yīng)用環(huán)境，可廣泛運(yùn)用于電信、政府、教育、互聯(lián)網(wǎng)、金融等行業(yè)。

　　因其具備“高可靠性”、“易擴(kuò)展”、“高隨機(jī)讀取性能”、“易于管理”、“自動(dòng)精簡配置提升存儲(chǔ)資源利用率”以及“本地化支持與定制”等特點(diǎn)與優(yōu)勢(shì)，浩存目前已為湖南衛(wèi)視金鷹網(wǎng)、VeryCD、安博教育等國內(nèi)知名企業(yè)提供了高品質(zhì)的存儲(chǔ)方案和服務(wù)。(軟硬件配置如下圖)

?

　　2010年，中創(chuàng)信測(cè)公司在中國移動(dòng)No.7 信令監(jiān)測(cè)系統(tǒng)二期建設(shè)中便以Sybase IQ 為核心平臺(tái)，存儲(chǔ)和管理海量話單數(shù)據(jù)，實(shí)現(xiàn)了在大數(shù)據(jù)量實(shí)時(shí)加載的同時(shí)進(jìn)行統(tǒng)計(jì)、分析和查詢的系統(tǒng)需求，并節(jié)省了大量的硬件存儲(chǔ)設(shè)備。以Sybase IQ為核心存儲(chǔ)平臺(tái)的No.7信令監(jiān)測(cè)系統(tǒng)已經(jīng)在中國移動(dòng)公司上海、新疆、河南等10余省進(jìn)行了建設(shè)，其系統(tǒng)整體性能和可靠性得到了實(shí)際驗(yàn)證。

　　著眼于Sybase 在數(shù)據(jù)庫管理與分析領(lǐng)域的領(lǐng)導(dǎo)地位，以及在電信領(lǐng)域的成功應(yīng)用，美地森將旗下自主研發(fā)的云存儲(chǔ)產(chǎn)品系列浩存與Sybase IQ 15.3 進(jìn)行結(jié)合，并共同通過了北京中創(chuàng)信測(cè)科技股份有限公司的聯(lián)合測(cè)試。憑借Sybase IQ 15.3 PlexQ分布式查詢平臺(tái)的MPP共享架構(gòu)，以及美地森浩存在云存儲(chǔ)方面的強(qiáng)大功能，雙方攜手實(shí)現(xiàn)云存儲(chǔ)領(lǐng)域的強(qiáng)強(qiáng)聯(lián)合。

　　Sybase IQ 15作為信令系統(tǒng)的數(shù)據(jù)庫，承擔(dān)對(duì)信令系統(tǒng)數(shù)據(jù)的處理。采用Mutiplex架構(gòu)和PlexQ的Sybase IQ，實(shí)現(xiàn)了對(duì)信令系統(tǒng)中大數(shù)據(jù)的快速查詢和高效壓縮。在中創(chuàng)信測(cè)最近的技術(shù)測(cè)試中，美地森浩存的作用就是作為Sybase IQ的“陣列”，通過MDS的云存儲(chǔ)技術(shù)將分散在x86機(jī)器上的本地硬盤虛擬為一個(gè)統(tǒng)一的大存儲(chǔ)，提供對(duì)上層軟件的數(shù)據(jù)存儲(chǔ)支持。對(duì)于Sybase IQ 來說,就是采用多臺(tái)PC Server取代了Sybase IQ傳統(tǒng)上的主機(jī)+陣列模式。

　　Sybase IQ 的數(shù)據(jù)處理結(jié)果就通過MDS分布式文件系統(tǒng)存儲(chǔ)到廉價(jià)的PC Server上，并根據(jù)需要采取一定的冗余量，保證了數(shù)據(jù)的有效性和可靠性，從而實(shí)現(xiàn)了Shared Everything計(jì)算節(jié)點(diǎn)和Shared Nothing存儲(chǔ)節(jié)點(diǎn)的完美結(jié)合。另外，通過采用虛擬機(jī)、虛擬集市、分布式查詢、分布式存儲(chǔ)等技術(shù)適應(yīng)了當(dāng)前云技術(shù)的要求，極大的提升了架構(gòu)的靈活性，資源配置的合理性，方便用戶做出選擇和調(diào)整。

　　通過雙方產(chǎn)品的優(yōu)勢(shì)互補(bǔ)以及雙方技術(shù)力量的配合，使得該項(xiàng)目在中創(chuàng)信測(cè)的測(cè)試中取得了極大成功。Sybase IQ 與美地森浩存云存儲(chǔ)軟件的合作，已經(jīng)通過了穩(wěn)定性測(cè)試，實(shí)驗(yàn)室環(huán)境5節(jié)點(diǎn)下可以做到2個(gè)節(jié)點(diǎn)宕機(jī)情況下不丟失數(shù)據(jù)，并且能夠在物理資源增加的情況下，實(shí)現(xiàn)處理性能的線性遞增。

　　經(jīng)過3個(gè)月的努力，Sybase IQ與美地森云存儲(chǔ)軟件的強(qiáng)強(qiáng)聯(lián)合實(shí)現(xiàn)了完全意義的基于X86架構(gòu)的云架構(gòu)解決方案，其快速數(shù)據(jù)加載、海量數(shù)據(jù)高速查詢、群集線性擴(kuò)展以及對(duì)Hadoop的支持為企業(yè)打造應(yīng)對(duì)大數(shù)據(jù)挑戰(zhàn)的云存儲(chǔ)平臺(tái)。

?

　　關(guān)于Sybase
　　Sybase，SAP旗下的公司，是業(yè)界領(lǐng)先的企業(yè)級(jí)和移動(dòng)軟件公司，致力于信息的管理、分析和移動(dòng)。無論在何種系統(tǒng)、網(wǎng)絡(luò)和設(shè)備上，我們都是全球公認(rèn)的在數(shù)據(jù)密集應(yīng)用領(lǐng)域有杰出的性能表現(xiàn)的領(lǐng)導(dǎo)者。我們的信息管理、分析、移動(dòng)消息和企業(yè)移動(dòng)解決方案已經(jīng)為全球的金融服務(wù)、通信、制造和政府等的業(yè)務(wù)關(guān)鍵系統(tǒng)提供強(qiáng)勁動(dòng)力。