摘要：摘要入選和報(bào)告的作為阿里巴巴的整套數(shù)據(jù)分析平臺(tái)的核心產(chǎn)品之一，承載了將數(shù)據(jù)探索實(shí)時(shí)化，在線化的關(guān)鍵任務(wù)。級(jí)數(shù)據(jù)分析，毫秒級(jí)響應(yīng)數(shù)據(jù)庫構(gòu)建的最初理念就是以低成本提供極致性能的數(shù)據(jù)分析探索能力。

摘要： 入選Gartner和Forrester報(bào)告的AnalyticDB作為阿里巴巴的整套數(shù)據(jù)分析平臺(tái)的核心產(chǎn)品之一，承載了將數(shù)據(jù)探索實(shí)時(shí)化，在線化的關(guān)鍵任務(wù)。

前言
2018年3月13日，F(xiàn)orrester發(fā)布了最新的云化數(shù)據(jù)倉庫分析報(bào)告（ Now Tech: Cloud Data Warehouse, Q1 2018），阿里巴巴同亞馬遜，谷歌，微軟四個(gè)世界級(jí)云廠商共同進(jìn)入領(lǐng)先者陣營。同時(shí)今年二月份Gartner發(fā)布的分析型數(shù)據(jù)管理平臺(tái)報(bào)告中（ Magic Quadrant for Data Management Solutions for Analytics），阿里巴巴第一次參評(píng)即進(jìn)入魔力四象限。這體現(xiàn)了阿里巴巴多年來在打造 DT商業(yè)過程中的大量數(shù)據(jù)分析技術(shù)積累。阿里巴巴的整套數(shù)據(jù)分析平臺(tái)基于阿里飛天分布式系統(tǒng)打造，其核心的產(chǎn)品包括大數(shù)據(jù)計(jì)算服務(wù)MaxCompute 和分析型數(shù)據(jù)庫AnalyticDB，以及數(shù)加DataWorks 等。其中AnalyticDB作為分布式分析型數(shù)據(jù)庫，更是承載了將數(shù)據(jù)探索實(shí)時(shí)化，在線化的關(guān)鍵任務(wù)。

AnalyticDB早期出身于阿里巴巴集團(tuán)內(nèi)部為數(shù)據(jù)分析業(yè)務(wù)打造的在線分析系統(tǒng)，無論是淘寶天貓的廣告營銷平臺(tái)，還是螞蟻金服的風(fēng)控、征信等業(yè)務(wù)，AnalyticDB產(chǎn)品的使命就是將數(shù)據(jù)價(jià)值探索做到實(shí)時(shí)在線化，提供大并發(fā)下的毫秒級(jí)分析查詢響應(yīng)。當(dāng)面對(duì)具備上千個(gè)標(biāo)簽屬性的消費(fèi)人群和千億級(jí)別的交易記錄，數(shù)據(jù)分析師在做市場趨勢分析，業(yè)務(wù)研判和廣告投放時(shí)，需要在PB級(jí)數(shù)據(jù)上依據(jù)不斷變化的業(yè)務(wù)模型做分析探索，對(duì)業(yè)務(wù)發(fā)展方向進(jìn)行決策。如何以極低的成本和毫秒級(jí)的響應(yīng)時(shí)延支持?jǐn)?shù)據(jù)探索，釋放海量數(shù)據(jù)的商業(yè)價(jià)值，就是這些年來AnalyticDB產(chǎn)品不斷演進(jìn)的方向。

AnalyticDB數(shù)據(jù)庫構(gòu)建的最初理念就是以低成本提供極致性能的數(shù)據(jù)分析探索能力。傳統(tǒng)企業(yè)BI分析，數(shù)據(jù)往往先經(jīng)過離線的ETL批處理過程，之后再基于固定的業(yè)務(wù)模型，以多維報(bào)表形式做分析結(jié)果展現(xiàn)。這種模式下，數(shù)據(jù)分析的實(shí)時(shí)性，業(yè)務(wù)發(fā)展的敏捷性受到制約，數(shù)據(jù)價(jià)值的釋放和數(shù)據(jù)分析師的工作受到約束。AnalyticDB基于傳統(tǒng)MPP數(shù)據(jù)庫架構(gòu)，支持高擴(kuò)展采用流水線的計(jì)算模式，同時(shí)創(chuàng)新的引入多項(xiàng)黑科技，支撐海量數(shù)據(jù)的高性能在線實(shí)時(shí)分析。

新硬件加速 利用阿里云IaaS層的垂直整合優(yōu)勢，全面引入SSD卡存儲(chǔ)，較傳統(tǒng)磁盤存儲(chǔ)
I/O帶寬提升10倍以上。AnalyticDB今年即將上線的GPU加速特性，將數(shù)據(jù)分析里的計(jì)算密集型操作卸載到GPU，利用GPU高并行計(jì)算能力，提升復(fù)雜數(shù)據(jù)計(jì)算的性能。已經(jīng)在廣告等數(shù)據(jù)探索類業(yè)務(wù)上驗(yàn)證，性能平均提升5倍以上。

曦和分析計(jì)算引擎 AnalyticDB
在17年全面升級(jí)為新一代曦和分布式計(jì)算引擎，整體采用MPP架構(gòu)，支持DAG計(jì)算模型，節(jié)點(diǎn)內(nèi)引入LLVM等運(yùn)行時(shí)代碼編譯優(yōu)化技術(shù)，性能提升一倍以上。數(shù)據(jù)分析任務(wù)在曦和計(jì)算引擎內(nèi)被打散成小顆粒的計(jì)算單元，引擎內(nèi)置分時(shí)輪詢的計(jì)算調(diào)度機(jī)制，可以保證高并發(fā)下作業(yè)任務(wù)的穩(wěn)定運(yùn)行。

智能存儲(chǔ)索引
AnalyticDB支持創(chuàng)新的行列混存，同時(shí)針對(duì)不同的數(shù)據(jù)類型在數(shù)據(jù)加載寫入時(shí)，智能的構(gòu)建多種維度索引，包括B+索引、區(qū)間索引、倒排索引、位圖索引等，并對(duì)傳統(tǒng)索引算法進(jìn)行創(chuàng)新，引入動(dòng)態(tài)過濾、延遲物化等方式，極大的降低I/O，實(shí)現(xiàn)高性能的點(diǎn)或范圍的檢索，支持萬億級(jí)記錄關(guān)聯(lián)分析。

讀寫分離架構(gòu)
在各類生產(chǎn)運(yùn)營系統(tǒng)里，隨著移動(dòng)端應(yīng)用以及物聯(lián)網(wǎng)的興起，高性能的寫入成為分析類系統(tǒng)的強(qiáng)需求。AnalyticDB整體采用讀寫分離架構(gòu)，除支持大批量數(shù)據(jù)加載外，也支持每秒千萬條記錄的寫入，寫入成功即持久化保存在盤古分布式文件系統(tǒng)里，根據(jù)用戶配置支持不同的數(shù)據(jù)一致性級(jí)別。

AnalyticDB 構(gòu)建在阿里云飛天分布式系統(tǒng)之上，接入層、計(jì)算層、存儲(chǔ)層解耦，各層可獨(dú)立伸縮。同時(shí)所有的服務(wù)節(jié)點(diǎn)均采用無狀態(tài)化（Serverless）設(shè)計(jì)，所有節(jié)點(diǎn)均為多活（Active-Active）模式或主備（Primary-Standby）模式，相較于傳統(tǒng)數(shù)據(jù)庫的緊耦合架構(gòu)，其擴(kuò)容、升級(jí)等運(yùn)維操作往往需要停機(jī)幾個(gè)小時(shí)或者天，AnalyticDB支持在線擴(kuò)容（Online scale out）和滾動(dòng)升級(jí)(Rolling upgrade)，過程對(duì)客戶業(yè)務(wù)無感知，從而更好的支持阿里云上客戶業(yè)務(wù)的不斷發(fā)展，按需購買服務(wù)，當(dāng)業(yè)務(wù)迅速擴(kuò)展時(shí)，靈活敏捷的進(jìn)行AnalyticDB擴(kuò)縮容操作。AnalyticDB 的各組件均為無狀態(tài)化設(shè)計(jì)（Serverless），當(dāng)發(fā)生任何軟、硬件故障時(shí)，飛天的伏羲調(diào)度系統(tǒng)會(huì)自動(dòng)檢測和遷移故障節(jié)點(diǎn)，整個(gè)過程對(duì)應(yīng)用透明無感知。

AnalyticDB的數(shù)據(jù)存儲(chǔ)在阿里巴巴自研的盤古分布式文件系統(tǒng)上，支持多副本或糾錯(cuò)碼（Erasure Code）模式存儲(chǔ)數(shù)據(jù)，相較于傳統(tǒng)數(shù)據(jù)庫基于本地磁盤的存儲(chǔ)，具備更高的數(shù)據(jù)可靠性。17年盤古分布式文件系統(tǒng)全面升級(jí)，上線25GE網(wǎng)絡(luò)和新的SSD存儲(chǔ)介質(zhì)，面向數(shù)據(jù)分析類場景，提供了更高的數(shù)據(jù)吞吐能力。

AnalyticDB 已經(jīng)在阿里云國內(nèi)主要數(shù)據(jù)中心開通，包括華北2（北京）、華東1（上海）和華東2（杭州）區(qū)等，服務(wù)支撐的客戶即包括眾多互聯(lián)網(wǎng)創(chuàng)業(yè)公司，如小黃車ofo等，也在支撐很多大型企業(yè)的數(shù)字化建設(shè)，例如中國郵政等等。在今年3月28日的深圳云棲大會(huì)上，AnalyticDB產(chǎn)品發(fā)布了兩個(gè)重要消息：

各類型實(shí)例將在四月份平均降價(jià)50%，普惠廣大阿里云的數(shù)據(jù)分析用戶，通過在線化數(shù)據(jù)分析，最大釋放數(shù)據(jù)價(jià)值；

四月份將在阿里云華南區(qū)（深圳）開通AnalyticDB服務(wù)，便于華南客戶可以更便捷的應(yīng)用該服務(wù)。

閱讀原文