摘要：年，王堅帶著解決大規(guī)模算力瓶頸的任務加入阿里。王堅帶隊，目標是自研大數(shù)據(jù)計算平臺統(tǒng)一阿里巴巴內(nèi)部的數(shù)據(jù)和大數(shù)據(jù)計算體系。不僅如此，它們的存儲和計算成本還令人意外地降低。從年到年，杭州從全國最擁堵城市排行榜上下跌名。

摘要：?2009年這項關(guān)于大數(shù)據(jù)的技術(shù)長征開始。王堅帶隊，目標是自研大數(shù)據(jù)計算平臺MaxCompute統(tǒng)一阿里巴巴內(nèi)部的數(shù)據(jù)和大數(shù)據(jù)計算體系。

大數(shù)據(jù)時代，隨著企業(yè)數(shù)據(jù)規(guī)模的急劇增長，傳統(tǒng)軟件已無法承載，這也推動了大數(shù)據(jù)技術(shù)的發(fā)展，Google、AWS、微軟等硅谷巨頭紛紛投入大數(shù)據(jù)技術(shù)的研發(fā)；而在國內(nèi)，王堅也在十年前帶領(lǐng)阿里云團隊研發(fā)MaxCompute，率先在國內(nèi)開啟大數(shù)據(jù)計算平臺的自研之路。

十年后，MaxCompute已經(jīng)可以承載EB級別的數(shù)據(jù)存儲能力、百PB級的單日計算能力，在公共云上已經(jīng)覆蓋了國內(nèi)外的十幾個國家和地區(qū)，電商、工業(yè)、醫(yī)療、農(nóng)業(yè)、氣象、教育等諸多行業(yè)企業(yè)開始采用這項技術(shù)，輕松處理海量數(shù)據(jù)，為社會和消費者提供服務。

MaxCompute的自研之路

事實上，阿里大數(shù)據(jù)的發(fā)展歷程映射出整個大數(shù)據(jù)行業(yè)的發(fā)展史。

十年前，阿里巴巴比其它公司更早地遇到互聯(lián)網(wǎng)規(guī)?；瘞淼奶魬?zhàn)。當時全球企業(yè)的數(shù)據(jù)庫基本都是Oracle，而阿里巴巴擁有亞洲最大的Oracle集群，計算規(guī)模達百TB級別。

按照當時淘寶用戶量的增長速度，Oracle集群很快將無法支撐業(yè)務發(fā)展，而最核心的問題就是算力不足。盡管當時阿里已開始把數(shù)據(jù)遷移到更大規(guī)模的Greenplum，但后者在百臺機器規(guī)模時就遇到瓶頸，給業(yè)務增長造成極大阻礙。

此外，Hadoop之類的開源技術(shù)在可靠性、安全性上也遭遇了天花板。

2008年，王堅帶著解決大規(guī)模算力瓶頸的任務加入阿里。他發(fā)現(xiàn)，無論是Oracle還是Greenplum、Hadoop，都不是大規(guī)模數(shù)據(jù)計算的最優(yōu)解，必須自研一套自己的大數(shù)據(jù)處理平臺。

2009年這項關(guān)于大數(shù)據(jù)的技術(shù)長征開始。王堅帶隊，目標是自研大數(shù)據(jù)計算平臺MaxCompute統(tǒng)一阿里巴巴內(nèi)部的數(shù)據(jù)和大數(shù)據(jù)計算體系。

事實證明，阿里做了正確的選擇。

四年攻堅，MaxCompute終于取得重大突破：2013年8月15日，阿里云歷史性地突破了同一個集群內(nèi)5000臺服務器同時計算的局限，為未來的大規(guī)模服務奠定基礎(chǔ)。十年后，單集群規(guī)模已超過1萬臺，能做到這一能力的科技公司在全球都寥寥可數(shù)。

在阿里云云棲小鎮(zhèn)，還豎著一尊飛天5K的紀念碑，碑上刻著參與解決這一技術(shù)難題的技術(shù)人員名字。

解決世界級算力難題

通過大數(shù)據(jù)計算平臺，可以讓訂單實時準確匯聚，也可以精準預測變幻莫測的天氣變化，各行各業(yè)都在大規(guī)模使用大數(shù)據(jù)來提供更好的服務，而實現(xiàn)這一能力就是海量數(shù)據(jù)分析的結(jié)果。?

但要處理好這些數(shù)據(jù)并不容易。除了數(shù)據(jù)量的劇增，不同行業(yè)數(shù)據(jù)類型豐富多樣，如結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等，都給大數(shù)據(jù)計算平臺帶來新的挑戰(zhàn)。

MaxCompute的創(chuàng)新之處就是采用Datalake技術(shù)，把不同的數(shù)據(jù)源用類似的方式存儲，用統(tǒng)一的方法計算，提供一套標準化語言，快速實現(xiàn)不同類型數(shù)據(jù)的計算。

基于這套創(chuàng)新技術(shù)，2015、2016年，阿里云刷新世界計算奧運會SortBenchmark的六項世界紀錄；2017年，完成全球首次基于公共云的100TB BigBench大數(shù)據(jù)基準測試。

如何快速“查詢”也是大數(shù)據(jù)計算的核心之一。MaxCompute采用“交互式查詢”來解決海量數(shù)據(jù)查詢慢的瓶頸，通俗地說就是系統(tǒng)可以預判用戶將會做哪些查詢，提前準備，大大降低大規(guī)模數(shù)據(jù)查詢的時間。

此外，MaxCompute提出多租戶云安全隔離技術(shù)，突破傳統(tǒng)大數(shù)據(jù)平臺的安全局限，將安全邊界細化到用戶、進程、內(nèi)核級別，完全滿足金融級的安全需求。

頂級算力走向世界

過去十年，MaxCompute能力不斷提升：單日數(shù)據(jù)處理量從2015年100PB，2016年180PB，到2017年320PB，再到2018年的單日處理超過600PB。

記錄被不斷刷新，并且得到了權(quán)威機構(gòu)的認可：在Forrester發(fā)布的《The Forrester WaveTM: CloudData Warehouse, Q4 2018》中，阿里云MaxCompute、DataWorks、ADB等三款產(chǎn)品成功入選，并在產(chǎn)品功能（Current Offering）方面力壓微軟。

這一世界級的大數(shù)據(jù)計算能力也逐漸展示其價值，幫助數(shù)萬企業(yè)用更低成本、更高效率計算海量數(shù)據(jù)，為社會和消費者提供服務。

在生活領(lǐng)域，墨跡天氣開始通過MaxCompute為4億用戶提供氣象預報服務，每天的用戶查詢超過5億次。不僅如此，它們的存儲和計算成本還令人意外地降低70%。

在交通領(lǐng)域，城市大腦在杭州實時指揮1300個紅綠燈路口、200多名交警。從2016年到2018年，杭州從全國最擁堵城市排行榜上下跌52名。

在工業(yè)領(lǐng)域，阿里云的大數(shù)據(jù)處理技術(shù)幫助制造企業(yè)尋找上千個參數(shù)的最優(yōu)搭配，提升制造的良品率。協(xié)鑫光伏、天合光能等行業(yè)龍頭企業(yè)，都在嘗試這一全新的生產(chǎn)模式。

在政務領(lǐng)域，浙江最多跑一次通過大數(shù)據(jù)處理平臺打通政務數(shù)據(jù)，將與老百姓辦事最密切相關(guān)的100個事項70多億條數(shù)據(jù)，按照統(tǒng)一標準匯入統(tǒng)一的數(shù)據(jù)倉，實現(xiàn)共通共享共用。老百姓辦事不僅能最多跑一次，甚至有可能一次都不跑。

而在海外，MaxCompute也已進入新加坡、歐洲等市場，將這一技術(shù)對外賦能給更多用戶。

從線上到線下，從生產(chǎn)制造到互聯(lián)網(wǎng)電商，從國內(nèi)到海外，MaxCompute的計算能力正在延伸到各行各業(yè)，極大地降低了社會的計算成本。

MaxCompute產(chǎn)品官網(wǎng)?https://www.aliyun.com/product/odps

閱讀原文

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。