成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

Google打造云中Hadoop便捷版，強(qiáng)勢(shì)對(duì)抗AWS

Rindia / 1505人閱讀

摘要：打造云中便捷版，強(qiáng)勢(shì)對(duì)抗上周，為其增加了連接器，這樣開發(fā)人員現(xiàn)在已經(jīng)能夠很輕松的在計(jì)算虛擬機(jī)上進(jìn)行操作了，的預(yù)覽版將使開發(fā)人員不用再花大力氣去管理集群和文件系統(tǒng)。在此領(lǐng)域，和的競(jìng)爭(zhēng)將更加激烈。但他同時(shí)表示這可能有問題。

1. Google打造云中Hadoop便捷版，強(qiáng)勢(shì)對(duì)抗AWS上周，Google為其Google Cloud Platform增加了Hadoop 連接器，這樣開發(fā)人員現(xiàn)在已經(jīng)能夠很輕松的在Google計(jì)算虛擬機(jī)上進(jìn)行Hadoop操作了，Google Cloud Storage Hadoop的預(yù)覽版將使開發(fā)人員不用再花大力氣去管理集群和文件系統(tǒng)。在此領(lǐng)域，Google和AWS的競(jìng)爭(zhēng)將更加激烈。


下圖是Hadoop在Google Cloud Platform上的圖解。在Google Cloud Storage上存儲(chǔ)數(shù)據(jù)時(shí)HDFS、NameNode是可選的。?

下面是用Google Cloud Storage運(yùn)行Hadoop的優(yōu)勢(shì)：

兼容性：Google Cloud Storage connector for Hadoop 代碼兼容Hadoop。?
快速啟動(dòng)：當(dāng)數(shù)據(jù)復(fù)制到HDFS以及NameNode，你不必等待過長(zhǎng)時(shí)間來結(jié)束安全模式。?
更高的可用性和可擴(kuò)展性：?Google Cloud Storage比HDFS具有更高的可用性。?
低成本：包括存儲(chǔ)和計(jì)算兩方面都節(jié)省成本，同時(shí)，它是以分鐘計(jì)費(fèi)。?
沒有存儲(chǔ)管理開銷：Google Cloud Storage只需要為計(jì)算付費(fèi)。?
互通性：通過在Google Cloud Storage保管數(shù)據(jù)，你可以從Google上其它的服務(wù)中獲益。?
性能：由于有了Google Cloud Storage，Google的基礎(chǔ)設(shè)施將會(huì)比HDFS提供更高的性能

2. 平均比Hive快24倍，Impala劍指Stinger在YARN之前，Hadoop僅適用于離線處理場(chǎng)景。基于實(shí)時(shí)性的需求，各個(gè)機(jī)構(gòu)紛紛研發(fā)了自己的流處理框架，這次我們說的是兩SQL-on-Hadoop項(xiàng)目的對(duì)決，同時(shí)也是兩家知名Hadoop解決方案提供商的比拼——Impala vs. Stinger。

測(cè)試對(duì)比版本是 Impala 1.1.1與 Hive 0.12（集成了Stinger），Hive運(yùn)行在ORCFile 數(shù)據(jù)集之上，Impala 則使用了Parquet存儲(chǔ)相同的數(shù)據(jù)。為了讓Hive得到較佳性能，Cloudera還將TPC-DS查詢轉(zhuǎn)換成SQL-92 join，并且手動(dòng)優(yōu)化了join順序，指定了分區(qū)字段，Impala也做了同樣的優(yōu)化。數(shù)據(jù)大小是3TB，使用了典型的5 Hadoop數(shù)據(jù)節(jié)點(diǎn)配置。查詢也使用了多種類型，也包含了多種標(biāo)準(zhǔn)join及聚合，還使用了復(fù)雜的多級(jí)聚合和子查詢。

?

測(cè)試得出的結(jié)果是Impala比Hive快6-69倍不等，類型包括以下幾種：?


3.?Netflix開源S3一致性提升利器S3mper Fi

上周，Netflix開源了S3mper，這對(duì)那些在使用AWS S3存儲(chǔ)服務(wù)，而且想要更高數(shù)據(jù)一致性的用戶來說，是個(gè)好消息。這一次，它的開源S3mper庫(kù)已經(jīng)經(jīng)過優(yōu)化和測(cè)試，這樣可以確保在AWS巨大的S3存儲(chǔ)服務(wù)里有更好的數(shù)據(jù)存儲(chǔ)一致性。S3mper遵循Apache License 2.0。這對(duì)利用S3進(jìn)行大量批處理以及對(duì)一致性要求很苛刻的金融或醫(yī)療領(lǐng)域會(huì)非常有用。

需要更好的一致性可以采用二次索引“在S3上支持原始數(shù)據(jù)的同時(shí)編制文件元數(shù)據(jù)目錄，”?Weeks?寫道。但他同時(shí)表示這可能有問題。他說，在小范圍里，你可以通過使用“一致的、二次索引在S3上支持原始數(shù)據(jù)的同時(shí)為文件元數(shù)據(jù)編制目錄”得到你需要的一致性。但隨著規(guī)模增大，情況會(huì)變得越來越棘手。一般來說，只要二次索引能夠處理所有的請(qǐng)求，它就會(huì)正常工作。不過，當(dāng)你依賴兩個(gè)獨(dú)立系統(tǒng)時(shí)，數(shù)據(jù)丟失和性能沖擊的風(fēng)險(xiǎn)會(huì)隨之上升，他說。?

4.?開放式創(chuàng)新改變世界——OpenStack生態(tài)系統(tǒng)將重新洗牌

OpenStack基礎(chǔ)軟件開發(fā)周期長(zhǎng)、投入大、技術(shù)創(chuàng)新轉(zhuǎn)化成產(chǎn)品需要更多時(shí)間，超越公司的開放協(xié)作才有利于和促進(jìn)產(chǎn)業(yè)繁榮發(fā)展。OpenStack能否成為繼Linux之后開放式創(chuàng)新的又一成功案例呢？這個(gè)成立之初僅有兩個(gè)基礎(chǔ)模塊的OpenStack，如今已發(fā)展成為擁有9個(gè)核心子項(xiàng)目（Havana）一系列孵化項(xiàng)目的龐大開源組織。吸引到了眾多開源領(lǐng)域的專家加入，還有廠商們的大力追捧。

?

但是OpenStack確實(shí)給一些初創(chuàng)公司帶來了很高的知名度以及投資機(jī)會(huì)，但基礎(chǔ)軟件開發(fā)周期長(zhǎng)，投入大、見效慢，技術(shù)創(chuàng)新轉(zhuǎn)化成產(chǎn)品需要更多時(shí)間，而現(xiàn)在還搞不清楚用戶在哪里的初創(chuàng)公司已經(jīng)逐漸失去往日的光輝。

5. 【產(chǎn)業(yè)觀察】金山云總裁王育林：星星之火 可以燎原

AWS近期的入華，使得業(yè)界對(duì)于云計(jì)算服務(wù)的關(guān)注度飆升到了較高點(diǎn)，國(guó)內(nèi)云計(jì)算供應(yīng)商也紛紛祭出了“價(jià)格戰(zhàn)”這尊法寶。然而王育林認(rèn)為，在企業(yè)級(jí)市場(chǎng)，“價(jià)格戰(zhàn)”很難真正奏效，讓用戶親身體驗(yàn)服務(wù)的質(zhì)量才是王道。

?

我并不看好亞馬遜AWS在國(guó)內(nèi)的發(fā)展情況。拋開數(shù)據(jù)安全和保密性不說，其根本不能真正適應(yīng)國(guó)內(nèi)的市場(chǎng)發(fā)展情況。在這方面，本地化資源成為了左右戰(zhàn)局的“勝負(fù)手”。說到底，云計(jì)算服務(wù)是一種資源整合的快速反應(yīng)能力。這些資源包括了用戶資源和產(chǎn)業(yè)資源。在中國(guó)，實(shí)踐證明金山云的開發(fā)者資源、阿里云的金融資源已經(jīng)強(qiáng)大到足以助推整個(gè)平臺(tái)的發(fā)展。?

6. 回顧2013：HBase的提升與挑戰(zhàn)

回顧2013年，總結(jié)下這一年HBase在這么一年中發(fā)生的主要變化。影響較大的事件就是HBase 0.96的發(fā)布。代碼結(jié)構(gòu)已經(jīng)按照模塊化發(fā)布了，而且提供了許多大家迫切需求的特點(diǎn)：

1. Compaction優(yōu)化
2. Mean Time To Recovery/MTTR優(yōu)化?
3. Bucket Cache （L2 cache on HBase）
4. Java GC改進(jìn)?
5. HBase的企業(yè)級(jí)數(shù)據(jù)庫(kù)特性（Secondary Index、Join和Transaction）
6. PrefixTreeCompression?
7. 其他變化

展望2014年，HBase即將release 1.0版本，更好的支持multi-tenancy, 支持Cell級(jí)別的ACL控制。

7. 利用ElasticSearch和Redis檢索和存儲(chǔ)十億信息

如果從企業(yè)應(yīng)用的生存率來看，選擇企業(yè)團(tuán)隊(duì)信息作為主要業(yè)務(wù)，HipChat的起點(diǎn)絕非主流；但是如果從賺錢的角度上看，企業(yè)市場(chǎng)的高收益確實(shí)值得任何公司追逐，這也正是像JIRA和Confluence這樣的智能工具制造商Atlassian于2012年收購(gòu)HipChat的原因。

同時(shí)，或許你不知道的是，在Atlassian資源和人脈的幫助下，HipChat已經(jīng)進(jìn)入了一個(gè)指數(shù)增長(zhǎng)周期。12億的信息存儲(chǔ)意味著他們現(xiàn)在每隔幾個(gè)月的信息發(fā)送、存儲(chǔ)和索引量都會(huì)翻一番。全文從統(tǒng)計(jì)、平臺(tái)、產(chǎn)品、XMPP服務(wù)器架構(gòu)、存儲(chǔ)架構(gòu)、常規(guī)、未來、經(jīng)驗(yàn)教訓(xùn)等方面對(duì)HipChat做了全方位的介紹，即使HipChat沒有谷歌那么大規(guī)模，我們?nèi)阅軓闹袑W(xué)到好東西，比如他們?nèi)绾渭皶r(shí)索引和搜索十億信息。

8. 【CSDN云計(jì)算俱樂部】九城及攜程的Hadoop大數(shù)據(jù)平臺(tái)

隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展，中國(guó)的手機(jī)網(wǎng)民已經(jīng)接近6億之巨，如此多設(shè)備帶來的價(jià)值不言而喻，因此大家一直在談?wù)摯髷?shù)據(jù)，也一直在尋找更好的Hadoop使用途徑，本期CSDN云計(jì)算俱樂部的主題就是圍繞Hadoop展開的大數(shù)據(jù)掘金之路。2014年1月4日，CSDN云計(jì)算俱樂部在上海市第九城市信息技術(shù)有限公司培訓(xùn)室舉辦活動(dòng)，本次活動(dòng)的主題是“從Hadoop實(shí)踐到基于業(yè)務(wù)的分析，開啟你的數(shù)據(jù)掘金之路”。


來自九城技術(shù)部負(fù)責(zé)Hadoop的架構(gòu)師，周誠(chéng)帶來的主題是“Hadoop大數(shù)據(jù)分析”，主要分享九城搭建的一個(gè)以Hadoop為基礎(chǔ)的大數(shù)據(jù)平臺(tái)，同時(shí)還分享了相關(guān)的具體案例。最后他還分享了九城的商品定向推薦功能。?

接下來進(jìn)行主題分享的是來自于攜程旅行網(wǎng)負(fù)責(zé)網(wǎng)站運(yùn)營(yíng)中心容量平臺(tái)的周海燕，她帶來的主題分享是“ctrip的web容量分析辦法”。主要介紹了ctrip的容量規(guī)劃任務(wù)，通過使用當(dāng)前性能作為基線數(shù)據(jù)，評(píng)估以及預(yù)測(cè)系統(tǒng)需要什么資源，什么時(shí)候需要更多的資源。其中包括，基于周期性季節(jié)指數(shù)預(yù)測(cè)法的業(yè)務(wù)量預(yù)測(cè)，基于回歸分析的web容量預(yù)測(cè)等。詳細(xì)的PPT分享請(qǐng)點(diǎn)擊原文鏈接。?


9-10.?AWS會(huì)贏、OpenStack會(huì)消亡、Connected Cars可防僵尸攻擊，Pivotal聘用eBay前副總裁，繼續(xù)發(fā)力云計(jì)算市場(chǎng)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/4060.html

相關(guān)文章

  • Microsoft收購(gòu)Avere的背后，從AWS和Google口中奪食

    摘要：收購(gòu)中，的功能可能會(huì)被集成到中，以便客戶在本地環(huán)境和公有云之間進(jìn)行數(shù)據(jù)遷移。同時(shí)，這筆收購(gòu)也是為應(yīng)對(duì)打出的一張牌。此番收購(gòu)將對(duì)那些正在使用或的客戶產(chǎn)生影響，尤其當(dāng)涉及到未來創(chuàng)新時(shí)，他們將被鎖定。 商業(yè)世界中，大魚吃小魚，小魚吃蝦米的事情屢見不鮮。云服務(wù)市場(chǎng)自然也是如此，2018剛一開年，Microsoft就宣布收購(gòu)了混合云數(shù)據(jù)存儲(chǔ)公司Avere Systems，這似乎讓2018年也注定不平凡...

    Brenner 評(píng)論0 收藏0

  • AWS、Azure和Google云 誰(shuí)的免費(fèi)層更好?

    摘要：近日，針對(duì)具有適度計(jì)算，存儲(chǔ)，數(shù)據(jù)庫(kù)和網(wǎng)絡(luò)需求的用戶推出了一個(gè)新的免費(fèi)使用的云平臺(tái)。云誰(shuí)的免費(fèi)層更好您從云中可以獲得過去，谷歌為新的谷歌云平臺(tái)客戶提供了有限時(shí)間的免費(fèi)使用積分。 近日，Google針對(duì)具有適度計(jì)算，存儲(chǔ)，數(shù)據(jù)庫(kù)和網(wǎng)絡(luò)需求的用戶推出了一個(gè)新的免費(fèi)使用的Google云平臺(tái)。事實(shí)上，每一家大型的云公司都會(huì)有免費(fèi)的層級(jí)共使用。AWS 、Azure、Google云相比，誰(shuí)的會(huì)更好呢?以...

    Warren 評(píng)論0 收藏0

  • 解密亞馬遜Ironman計(jì)劃：背靠AWS云服務(wù)發(fā)力AI，對(duì)抗谷歌微軟

    摘要：在此次會(huì)議上，還計(jì)劃發(fā)布云計(jì)算深度學(xué)習(xí)服務(wù)。兩名消息人士表示，新的深度學(xué)習(xí)服務(wù)也幫助用戶更方便地運(yùn)行常見深度學(xué)習(xí)開發(fā)工具包，例如和谷歌。谷歌和微軟已提供類似的服務(wù)。 據(jù)外媒報(bào)道，亞馬遜AWS正在大力推動(dòng)人工智能產(chǎn)品的升級(jí)，包括自主開發(fā)技術(shù)以及與多家AI創(chuàng)業(yè)公司合作。AWS希望補(bǔ)足自身短板，贏得更多人工智能業(yè)務(wù)?？傮w來說，AWS在人工智能領(lǐng)域的工作以Ironman項(xiàng)目為中心。Ironman項(xiàng)目...

    qianfeng 評(píng)論0 收藏0

  • 思科聯(lián)手AWS打造基于Kubernetes混合云解決方案

    摘要：思科云平臺(tái)和解決方案高級(jí)副總裁解釋說正確配置以在本地和公有云中部署應(yīng)用需要定制集成，這從操作上來說可能是一項(xiàng)挑戰(zhàn)。近年來，容器由于其靈活性已經(jīng)成為部署應(yīng)用的一種流行方式。容器技術(shù)將工作負(fù)載捆綁成輕量級(jí)的便攜式軟件包，可以在不同類型的基礎(chǔ)設(shè)施之間輕松移動(dòng)。今天早上公布的Cisco Hybrid Solution for Kubernetes on AWS解決方案旨在消除大規(guī)模使用容器的障礙。 ...

    lifefriend_007 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<