資訊專欄INFORMATION COLUMN
摘要：定位于由廉價(jià)服務(wù)器構(gòu)成的超大集群，假定單個(gè)服務(wù)器存儲(chǔ)是不可靠地，易失的，因此強(qiáng)調(diào)冗余和備份。并行計(jì)算的核心技術(shù)框架。一個(gè)典型案例編寫一個(gè)應(yīng)用對(duì)圖書館過去年的文獻(xiàn)，統(tǒng)計(jì)較大詞頻。相同屬性的列組成列族。
- GFS: 分布式文件系統(tǒng)。適用于TB級(jí)超大文件存儲(chǔ)。master節(jié)點(diǎn)是文件管理的大腦，負(fù)責(zé)存儲(chǔ)和管理文件與物理塊的映射，維護(hù)metafile，處理臨時(shí)文件，調(diào)度chunk server等。chunk server是真正存儲(chǔ)物理文件塊。GFS定位于由廉價(jià)服務(wù)器構(gòu)成的超大集群，假定單個(gè)服務(wù)器存儲(chǔ)是不可靠地，易失的，因此GFS強(qiáng)調(diào)冗余和備份。每份文件塊會(huì)同時(shí)存儲(chǔ)于多個(gè)不同的chunk server。上層客戶請(qǐng)求文件時(shí)，首先與master節(jié)點(diǎn)交互，獲取相關(guān)信息，隨后client將直接與相應(yīng)的某個(gè)chunk server通信并獲取文件。在開源產(chǎn)品中類似實(shí)現(xiàn)有HDFS。
- MapReduce：并行計(jì)算的核心技術(shù)框架。使得上層應(yīng)用軟件可以專注于業(yè)務(wù)邏輯實(shí)現(xiàn)，同時(shí)利用到分布式并行計(jì)算的好處。Map接受和輸出屬性-值對(duì)，使得各節(jié)點(diǎn)工作進(jìn)程可以并行計(jì)算它們的屬性-值，并輸出中間結(jié)果；Reduce化簡，輸入Map處理的中間結(jié)果，進(jìn)行合并運(yùn)算，最終輸出結(jié)果文件，返回給上層應(yīng)用。一個(gè)典型案例：編寫一個(gè)應(yīng)用對(duì)圖書館過去50年的文獻(xiàn)，統(tǒng)計(jì)較大詞頻。MapReduce可以做的是，自動(dòng)分割輸入文件集合（任務(wù)分解），自動(dòng)在多節(jié)點(diǎn)上克隆運(yùn)算進(jìn)程（map進(jìn)程組和reduce進(jìn)程組），并分別指派任務(wù)，最終映射和化簡都完畢后，將處理結(jié)果文件返回給原始客戶應(yīng)用 --- 對(duì)上層應(yīng)用很好的屏蔽了并行計(jì)算。在開源實(shí)現(xiàn)中，對(duì)應(yīng)有Hadoop。
- BigTable：分布式的、稀疏的、多維的、易于擴(kuò)展的、適用于海量數(shù)據(jù)的數(shù)據(jù)庫。他是非關(guān)系型數(shù)據(jù)庫，盡管也沿用如表、行等傳統(tǒng)概念。他的實(shí)質(zhì)是key-value記錄的集合。多維是說key有多個(gè)：行、列以及時(shí)間。稀疏是因?yàn)椴煌械牧锌梢酝耆煌?。表、行可以自?dòng)分裂從而擴(kuò)展。相同屬性的列組成列族。相比而言，BigTable適合海量存儲(chǔ)和非結(jié)構(gòu)化數(shù)據(jù)（比如網(wǎng)絡(luò)流量、多媒體、網(wǎng)頁、日志等），操作大多數(shù)為讀取和查詢。而傳統(tǒng)關(guān)系型數(shù)據(jù)庫則易于實(shí)現(xiàn)復(fù)雜的結(jié)構(gòu)化DML操作。典型案例是網(wǎng)頁的存儲(chǔ)：以反向URL為key，網(wǎng)頁內(nèi)容以及引用為列，同時(shí)網(wǎng)頁更新的時(shí)間標(biāo)記作為另一個(gè)鍵。開源實(shí)現(xiàn)類似的有HBase，HyperTable等。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/3632.html
摘要：目前，云計(jì)算產(chǎn)業(yè)初步形成了三大主流競爭陣營，即互聯(lián)網(wǎng)陣營陣營和電信運(yùn)營商陣營。由于云計(jì)算的市場大部分被互聯(lián)網(wǎng)陣營中的亞馬遜占據(jù)著，為了從其手中搶奪份額，作為服務(wù)商的攜手谷歌開展云計(jì)算方面的技術(shù)研究與業(yè)務(wù)合作。 目前，云計(jì)算產(chǎn)業(yè)初步形成了三大主流競爭陣營，即互聯(lián)網(wǎng)陣營、IT陣營和電信運(yùn)營商陣營。在這三大陣營中，互聯(lián)網(wǎng)陣營主要面向公有云市場，為中小企業(yè)和獨(dú)立開發(fā)者提供公有云服務(wù)。IT陣營主要面向...
摘要：對(duì)于國內(nèi)云計(jì)算平臺(tái)的發(fā)展，除非政策改變，否則國外云平臺(tái)在國內(nèi)完全沒有競爭力。對(duì)比國內(nèi)和國外的云計(jì)算平臺(tái)服務(wù)的差異，百體國際健康機(jī)構(gòu)李博認(rèn)為目前 云計(jì)算是用戶需求不斷的發(fā)展自然產(chǎn)生的服務(wù)模式，同時(shí)也是綠色I(xiàn)T的有利支撐。云計(jì)算的發(fā)展和數(shù)據(jù)的大爆炸有著必然的聯(lián)系，大數(shù)據(jù)時(shí)代的到來使得企業(yè)對(duì)于IT設(shè)施的需求量加大，于此同時(shí)對(duì)于企業(yè)IT設(shè)施的采購成本以及生態(tài)環(huán)境提出了更高的要求。 云計(jì)算廣義上...
摘要：領(lǐng)跑云市場開源數(shù)據(jù)庫各顯神通對(duì)于來說的第二件喜事則是，發(fā)布的的關(guān)于公有云方面的調(diào)查顯示，獲得了的受調(diào)查者使用率，遠(yuǎn)遠(yuǎn)甩開了的和的同時(shí)在大型企業(yè)員工超過人中，也達(dá)到了的使用率，與微軟之和仍不敵。幾乎與此同時(shí)，也公布其曼哈頓實(shí)時(shí)數(shù)據(jù)庫的細(xì)節(jié)。 亞馬遜領(lǐng)跑云市場 微軟大打親和牌 這周對(duì)于亞馬遜來說，應(yīng)該是悲喜交加的一周。首先，AWS在中國的首次市場培訓(xùn)活動(dòng)在北京拉開帷幕，來自全國各地的近400參會(huì)...
摘要：據(jù)了解，云圖不但可以讓處理器工作在硬件虛擬化層上，靈活的調(diào)度資源分配，更充分發(fā)揮了云計(jì)算集中安全便捷的三大優(yōu)勢，讓用戶暢享云端，激發(fā)設(shè)計(jì)靈感。 云計(jì)算引發(fā)的技術(shù)變革和創(chuàng)新工作模式在各個(gè)領(lǐng)域不斷深化，但從事圖形計(jì)算和產(chǎn)品設(shè)計(jì)的用戶卻因?yàn)榧夹g(shù)問題無法享用饕餮盛宴。近日，曙光公司與NVIDIA公司和思杰共同合作推出了基于GRID和Citrix XenDesktop技術(shù)的圖形云計(jì)算產(chǎn)品——云圖(...
摘要：微軟雅黑近日，工信部正式啟動(dòng)針對(duì)云計(jì)算的十三五規(guī)劃，將重點(diǎn)培育龍頭企業(yè)，發(fā)揮其對(duì)產(chǎn)業(yè)發(fā)展的輻射作用，打造云計(jì)算產(chǎn)業(yè)鏈。云計(jì)算十三五規(guī)劃正式啟動(dòng)據(jù)工信部軟件服務(wù)業(yè)司司長陳偉近日透露，工信部針對(duì)云計(jì)算的十三五規(guī)劃已經(jīng)啟動(dòng)。 近日，工信部正式啟動(dòng)針對(duì)云計(jì)算的十三五規(guī)劃，將重點(diǎn)培育龍頭企業(yè)，發(fā)揮其對(duì)產(chǎn)業(yè)發(fā)展的輻射作用，打造云計(jì)算產(chǎn)業(yè)鏈。在政府機(jī)構(gòu)大力主導(dǎo)信息設(shè)備國產(chǎn)化的背景下，實(shí)現(xiàn)國產(chǎn)化設(shè)備進(jìn)口替代...
閱讀 4058·2021-09-24 10:24
閱讀 1410·2021-09-22 16:01
閱讀 2729·2021-09-06 15:02
閱讀 1031·2019-08-30 13:01
閱讀 1018·2019-08-30 10:52
閱讀 644·2019-08-29 16:36
閱讀 2248·2019-08-29 12:51
閱讀 2348·2019-08-28 18:29
