摘要:大數(shù)據(jù)處理和所有權(quán)導(dǎo)致存儲行業(yè)現(xiàn)狀發(fā)生轉(zhuǎn)變。鑒于這些發(fā)展動向,云計算在大數(shù)據(jù)領(lǐng)域可以扮演什么角色呢答案是冷存儲,這個領(lǐng)域仍沒有得到企業(yè)界的充分利用。云計算和虛擬存儲在數(shù)據(jù)集市也存在發(fā)展前景。
大數(shù)據(jù)處理和所有權(quán)導(dǎo)致存儲行業(yè)現(xiàn)狀發(fā)生轉(zhuǎn)變。本文介紹了存儲實踐方面最重大的變化。
企業(yè)存儲環(huán)境主要是圍繞記錄系統(tǒng)構(gòu)建起來的,側(cè)重于這些問題:為數(shù)據(jù)記錄長度固定的文件購買哪些類型的存儲介質(zhì)和管理系統(tǒng),所存儲數(shù)據(jù)的性質(zhì)是實時數(shù)據(jù)、準實時數(shù)據(jù),還是只是偶爾需要訪問或完全可以用數(shù)據(jù)歸檔保存起來的批量填充的數(shù)據(jù)等。
自從大數(shù)據(jù)進入企業(yè)數(shù)據(jù)中心和業(yè)務(wù)部門,一切改變了――單個的大數(shù)據(jù)文件可以用數(shù)TB、甚至數(shù)PB來衡量。Hadoop等分析平臺上的大數(shù)據(jù)并行處理與事務(wù)數(shù)據(jù)的按順序處理有著明顯區(qū)別。不出所料,存儲方面要考慮的因素隨之變化。
這種變化在數(shù)據(jù)分析和高性能計算領(lǐng)域體現(xiàn)得最為明顯。這個領(lǐng)域以Hadoop應(yīng)用程序為主,它們借助算法分析方法并行處理數(shù)PB級數(shù)據(jù),用于數(shù)據(jù)科學(xué)及其他復(fù)雜查詢。就高性能應(yīng)用程序而言,很難考慮像虛擬化存儲或基于云的存儲這些概念,因為你只有通過數(shù)據(jù)中心的物理處理器和存儲平臺,才能直接處理并存儲數(shù)據(jù)和查詢結(jié)果。
因此,這種工作具有的計算密集性和存儲密集性使數(shù)據(jù)中心管理人員(包括存儲專業(yè)人員)不再像過去十年那樣,迫切尋求的虛擬化或云計算。作為大數(shù)據(jù)對象存儲特點的單一數(shù)據(jù)集的龐大性也是如此,它們使用元數(shù)據(jù)標簽來描述非傳統(tǒng)數(shù)據(jù)圖像,比如照片、視頻、音頻記錄和文檔圖像等。
此外,大數(shù)據(jù)項目的所有權(quán)也改變了存儲計算。如果公司里面的業(yè)務(wù)部門在運行大數(shù)據(jù)項目,其目標就會轉(zhuǎn)向零散的分布式物理存儲架構(gòu),這些分布式物理存儲是網(wǎng)絡(luò)附加存儲(NAS),可以在工作負載需要時,向外擴展到多個存儲設(shè)備。分布式向外擴展型NAS是基于云的存儲或虛擬存儲之外的一種選擇,它與這些流行的IT趨勢形成了鮮明對照。
鑒于這些發(fā)展動向,云計算在大數(shù)據(jù)領(lǐng)域可以扮演什么角色呢?
答案是冷存儲(cold storage),這個領(lǐng)域仍沒有得到企業(yè)界的充分利用。冷存儲是極其便宜、速度很慢、駐留在磁盤的數(shù)據(jù),存儲起來放到歸檔上,妥善保存起來。在日常的IT中,這些數(shù)據(jù)很少有機會需要用到,所以如果你把它轉(zhuǎn)移到異地數(shù)據(jù)存儲庫很方便,不必讓它在你的數(shù)據(jù)中心或運營系統(tǒng)中占用空間。如果該數(shù)據(jù)存儲庫在云端,你就能夠從數(shù)據(jù)中心遠程訪問它,沒必要大老遠跑到異地拿起磁盤或磁帶。
云計算和虛擬存儲在數(shù)據(jù)集市也存在發(fā)展前景?,F(xiàn)在許多公司使用數(shù)據(jù)集市為不同的部門運行批量查詢。數(shù)據(jù)集市中所用的數(shù)據(jù)大多是批量創(chuàng)建,基本是過去用來查詢的傳統(tǒng)數(shù)據(jù)。不同之處在于,用戶現(xiàn)在擁有比過去更多的分析報告創(chuàng)建工具和選項用于查詢,而且數(shù)據(jù)管理員更能夠生成從不同來源聚合的數(shù)據(jù)。在這種批量環(huán)境下,磁盤存儲解決方案用起來就跟過去一樣有效。
存儲管理員需要應(yīng)對大數(shù)據(jù)帶來的變化,尤其是如何應(yīng)對眾多極其龐大的大數(shù)據(jù)文件。這就需要專門的磁盤和處理,在大多數(shù)情況下,還需要與云計算和虛擬化項目背道而馳的本地存儲。在另一方面,商用冷存儲解決方案可能會最終消除這個困境:很少使用的數(shù)據(jù)駐留在機房的過時磁盤和磁帶驅(qū)動器上,無人照管。
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://systransis.cn/yun/4918.html
摘要:本期算力科創(chuàng)家市北高新篇專題專訪了數(shù)據(jù)港副總裁王海峰,介紹數(shù)據(jù)中心在大數(shù)據(jù)中的重要作用。據(jù)說都是數(shù)據(jù)港的客戶,在這些巨頭的業(yè)務(wù)板塊中數(shù)據(jù)港扮演了什么角色一種是做我們叫,純粹的這種商業(yè)租用服務(wù)。算力說隨著大數(shù)據(jù)行業(yè)的發(fā)展,對于數(shù)據(jù)的其承載方數(shù)據(jù)中心的需求也越高越高,其中成立于2009年的數(shù)據(jù)港逐漸成長為行業(yè)龍頭,BAT這樣的科技巨頭、中國的三大通訊商等企業(yè)都是其客戶,數(shù)據(jù)港可謂見證了大數(shù)據(jù)行業(yè)...
摘要:最近接受了彭博的專訪,主要談了公司的發(fā)展云計算和經(jīng)營戰(zhàn)略等問題,以下是根據(jù)視頻整理的文字版供大家參閱。底層面向?qū)<壹墑e的機器學(xué)習(xí)從業(yè)人員。我認為對大多數(shù)公司來說真正的寶石是可以用自己的數(shù)據(jù)來搞的機器學(xué)習(xí)和。 AWS CEO Andy Jassy 最近接受了彭博(Bloomberg)的專訪,主要談了公司的發(fā)展、...
摘要:最早是由谷歌設(shè)計,現(xiàn)在作為一個開源平臺免費提供給用戶。根據(jù)聯(lián)合主席兼谷歌云平臺倡導(dǎo)者的說法,擁有一個真正成功的生態(tài)系統(tǒng),利用技術(shù)的云原生初創(chuàng)公司肯定能夠蓬勃發(fā)展。技術(shù)領(lǐng)域又一個動蕩之年即將結(jié)束,如果沒有關(guān)注企業(yè)領(lǐng)域最重要的主題:云計算,你就很難做出關(guān)于未來一年的任何預(yù)測。企業(yè)模式是公有的、私有的、還是多云的?容器扮演什么角色?像Cloud Native Computing Foundatio...
摘要:最近接受了彭博的專訪,主要談了公司的發(fā)展云計算和經(jīng)營戰(zhàn)略等問題,以下是根據(jù)視頻整理的文字版供大家參閱。底層面向?qū)<壹墑e的機器學(xué)習(xí)從業(yè)人員。我認為對大多數(shù)公司來說真正的寶石是可以用自己的數(shù)據(jù)來搞的機器學(xué)習(xí)和。 AWS CEO Andy Jassy 最近接受了彭博(Bloomberg)的專訪,主要談了公司的發(fā)展、云計算、Alexa和經(jīng)營戰(zhàn)略等問題,以下是根據(jù)視頻整理的文字版供大家參閱。主持人:非...
摘要:全球領(lǐng)先的科技企業(yè)騰訊亞馬遜將在今年月日聚首第五屆互聯(lián)網(wǎng)安全領(lǐng)袖峰會,簡稱,探討全球云安全新趨勢。最新議程披露,亞馬遜副總裁和首席技術(shù)官將出席今年并進行主題演講。據(jù)了解,此次圓桌不僅將聚焦騰訊和亞馬遜關(guān)于云安全的趨勢分享和應(yīng)用前瞻。 以云服務(wù)為代表的產(chǎn)業(yè)互聯(lián)網(wǎng)引領(lǐng)了數(shù)字化升級的浪潮。全球領(lǐng)先的科技企業(yè)騰訊、亞馬遜將在今年7月30-31日聚首第五屆互聯(lián)網(wǎng)安全領(lǐng)袖峰會(Cyber Secu...
閱讀 1089·2021-11-18 10:02
閱讀 1333·2021-09-23 11:22
閱讀 2654·2021-08-21 14:08
閱讀 1660·2019-08-30 15:55
閱讀 1747·2019-08-30 13:45
閱讀 3230·2019-08-29 16:52
閱讀 3117·2019-08-29 12:18
閱讀 1667·2019-08-26 13:36