資訊專(zhuān)欄INFORMATION COLUMN
摘要：但是近日，這項(xiàng)技術(shù)已經(jīng)不能處理谷歌想要分析的大量數(shù)據(jù)。在展示會(huì)上也宣布谷歌云平臺(tái)上其他一些新的服務(wù)是一個(gè)，它使應(yīng)用程序能夠在云中或其他地方保存單個(gè)用戶的數(shù)據(jù)而不需要任何服務(wù)器端的編碼。
?Google已經(jīng)停用自己研發(fā)的并部署在服務(wù)器上分析數(shù)據(jù)的開(kāi)源系統(tǒng)MapReduce，轉(zhuǎn)而支持一個(gè)新的超大規(guī)模云分析系統(tǒng)Cloud Dataflow。?
MapReduce一直是服務(wù)器集群上做并行分布式計(jì)算的一個(gè)非常受歡迎的基礎(chǔ)架構(gòu)和編程模型。它是被廣泛部署并已經(jīng)成為很多公司商業(yè)產(chǎn)品的大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺(tái)Hadoop的基礎(chǔ)。?
但是近日，這項(xiàng)技術(shù)已經(jīng)不能處理谷歌想要分析的大量數(shù)據(jù)。然而，技術(shù)基礎(chǔ)設(shè)施部高級(jí)副總裁UrsH?lzle表示，一旦數(shù)據(jù)規(guī)模達(dá)到數(shù)PB級(jí)字節(jié)，處理起來(lái)將變得非常困難。?
“我們將不再使用MapReduce?！盚?lzle在周三于舊金山舉行的谷歌I/O大會(huì)上發(fā)表主題演講時(shí)表示，公司已經(jīng)在幾年前停止使用這個(gè)系統(tǒng)，更多大會(huì)內(nèi)容可點(diǎn)擊2014谷歌I/O上的Google Cloud Platform和Cloud Dataflow。
Cloud DataFlow，將作為一項(xiàng)服務(wù)提供給使用它們?cè)品?wù)的開(kāi)發(fā)者，這些服務(wù)并沒(méi)有MapReduce的擴(kuò)展限制。?
“Cloud Dataflow是這近十年分析經(jīng)驗(yàn)的成果?！盚?lzle說(shuō)，它將會(huì)比現(xiàn)存的所有的系統(tǒng)運(yùn)行的更快，更易擴(kuò)展。?
這是一個(gè)完全托管服務(wù)，它可以自動(dòng)優(yōu)化、部署、管理以及擴(kuò)展。它使開(kāi)發(fā)人員對(duì)批處理和流媒體服務(wù)能夠使用統(tǒng)一編程輕松地創(chuàng)建復(fù)雜的管道，他表示。
所有這些特點(diǎn)，谷歌認(rèn)為在MapReduce上無(wú)法完成：很難迅速獲取數(shù)據(jù)，不能進(jìn)行批處理和流處理，而且經(jīng)常需要部署和運(yùn)行MapReduce集群。
H?lzle在展示會(huì)上也宣布谷歌云平臺(tái)上其他一些新的服務(wù)：
?
?
原文鏈接：Google Dumps MapReduce in Favor of New Hyper-Scale Analytics System?
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/4091.html
摘要：另外，將機(jī)制發(fā)揚(yáng)光大，對(duì)有著非常好的支持。系統(tǒng)也注意到并討論了和的問(wèn)題。總結(jié)本文分享了四本相關(guān)的書(shū)籍和一份領(lǐng)域相關(guān)的論文列表篇，涉及的設(shè)計(jì)，實(shí)現(xiàn)，故障恢復(fù)，彈性擴(kuò)展等各方面。 前言 之前也分享了不少自己的文章，但是對(duì)于 Flink 來(lái)說(shuō)，還是有不少新入門(mén)的朋友，這里給大家分享點(diǎn) Flink 相關(guān)的資料（國(guó)外數(shù)據(jù) pdf 和流處理相關(guān)的 Paper），期望可以幫你更好的理解 Flink。...
摘要：作者微信號(hào)微信公眾號(hào)簡(jiǎn)書(shū)地址最近機(jī)器學(xué)習(xí)工程師已經(jīng)成為了一個(gè)非常熱門(mén)的崗位，很多的工程師都想轉(zhuǎn)行到這個(gè)崗位。本文根據(jù)上面的課程，列了一個(gè)從新手到專(zhuān)業(yè)工程師的學(xué)習(xí)計(jì)劃，提供給大家學(xué)習(xí)。 作者：chen_h微信號(hào) & QQ：862251340微信公眾號(hào)：coderpai簡(jiǎn)書(shū)地址：http://www.jianshu.com/p/32b2... 最近機(jī)器學(xué)習(xí)工程師已經(jīng)成為了一個(gè)非常熱門(mén)的崗...
摘要：是什么官方是這樣描述的翻譯之后為提供了命令行功能。您還可以輕松地執(zhí)行加密和解密等操作，以支持具有機(jī)密配置值的配置客戶機(jī)?？捎糜趶拿钚羞\(yùn)行，等常用服務(wù)。列出您可以執(zhí)行的可用服務(wù)，并僅啟動(dòng)一組默認(rèn)服務(wù)。 導(dǎo)讀 在日常開(kāi)發(fā)與測(cè)試中有一些Spring Cloud 的相關(guān)的組件如 eureka、configserver、zipkin、hystrixdashboard等相對(duì)來(lái)說(shuō)不容易發(fā)生變動(dòng)，這...
回顧2012，更多開(kāi)放，更多協(xié)作，更多機(jī)會(huì)產(chǎn)生。從來(lái)沒(méi)有一項(xiàng)服務(wù)會(huì)將幾乎所有IT、互聯(lián)網(wǎng)、通信技術(shù)整合在一起，沒(méi)有合作、開(kāi)放的心態(tài)就沒(méi)有云計(jì)算。接下來(lái)，將從IaaS、NoSQL與NewSQL、數(shù)據(jù)中心、大數(shù)據(jù)、安全這幾個(gè)方面對(duì)過(guò)去一年作出總結(jié)。IaaS——群雄追趕AWS談到IaaS，Google和AWS是公認(rèn)的業(yè)界最強(qiáng)。AWS是全球?qū)aaS這個(gè)business運(yùn)營(yíng)的較好的公司，除了技術(shù)領(lǐng)先，還要...
摘要：與此同時(shí)，谷歌聯(lián)合基金會(huì)及其他合作伙伴共同成立了基金會(huì)，并將作為首個(gè)編入管理體系的開(kāi)源項(xiàng)目，助力容器技術(shù)生態(tài)的發(fā)展進(jìn)步。年月谷歌宣布開(kāi)源。年月容器引擎啟動(dòng)，谷歌宣布中支持容器及服務(wù)，并以為構(gòu)架。 7月22日Google正式對(duì)外發(fā)布 Kubernetes v 1.0，意味著這個(gè)開(kāi)源容器編排系統(tǒng)可以正式在生產(chǎn)環(huán)境使用。與此同時(shí)，谷歌聯(lián)合linux基金會(huì)及其他合作伙伴共同成立了CNCF基金會(huì)...
閱讀 1096·2021-11-16 11:44
閱讀 1377·2019-08-30 13:12
閱讀 2418·2019-08-29 16:05
閱讀 3082·2019-08-28 18:29
閱讀 918·2019-08-26 13:41
閱讀 3238·2019-08-26 13:34
閱讀 2607·2019-08-26 10:35
閱讀 942·2019-08-26 10:28
