摘要：基礎(chǔ)設(shè)施技術(shù)在這一領(lǐng)域經(jīng)受了最為殘酷的考驗。支付寶在中國已經(jīng)無處不在。中國之外除了本土技術(shù)，國外的一些技術(shù)也有了中國式規(guī)模的味道。在中國互聯(lián)網(wǎng)經(jīng)濟(jì)大環(huán)境中，有一些問題一定要考慮到，特別是信息審查方面的問題。

本文轉(zhuǎn)載自公眾號「AI前線」。

策劃編輯｜Natalie

作者｜Kevin Xu

譯者｜無明

編輯｜Debra

AI 前線導(dǎo)讀：中國科技公司是典型的早期采用者——不是因為趕時髦，而是確實有必要這么做?！爸袊揭?guī)模”讓中國的互聯(lián)網(wǎng)經(jīng)濟(jì)成為了高質(zhì)量軟件（特別是基礎(chǔ)設(shè)施軟件）工程的成長沃土，這在開源技術(shù)上得到了充分體現(xiàn)。國內(nèi)開發(fā)者和企業(yè)向各大開源基金會貢獻(xiàn)了越來越多的開源項目，而我們對國外的開源項目也產(chǎn)生了越來越大的影響。本文來自 PingCAP 全球戰(zhàn)略和運(yùn)營總經(jīng)理 Kevin Xu，AI 前線經(jīng)授權(quán)翻譯。

我的 87 歲的祖母住在沈陽郊區(qū)的一所老房子里。雖然她年歲已高，但卻很有技術(shù)悟性。平常她會用三個 App 進(jìn)行網(wǎng)購：在京東上買書，在拼多多上買水果，在淘寶上買其他東西（襯衫、圍巾、洗滌劑、數(shù)獨(dú)板）。

這三個 App 剛好是由中國電商市場的三巨頭開發(fā)的，其規(guī)模遠(yuǎn)遠(yuǎn)超出了千禧一代（1980 至 1994 年出生的人群）和 Z 世代（1995 至 2009 年出生的人群）的受眾總和。

正是這種“中國式規(guī)?！弊屩袊幕ヂ?lián)網(wǎng)經(jīng)濟(jì)成為高質(zhì)量軟件（特別是基礎(chǔ)設(shè)施軟件）工程的成長沃土。

電子商務(wù)是中國互聯(lián)網(wǎng)經(jīng)濟(jì)增長最快的垂直領(lǐng)域之一，同時也帶動了數(shù)字支付和物流配送的發(fā)展?；A(chǔ)設(shè)施技術(shù)在這一領(lǐng)域經(jīng)受了最為殘酷的考驗?！半p十一”是最為典型的案例，這是由阿里巴巴提出的一個網(wǎng)購節(jié)日，每年的 11 月 11 日，淘寶和天貓都會如期慶祝這個節(jié)日。2017 年雙十一總銷售額為 253 億美元，2018 年增長到了 308 億美元。

中國第二大電子商務(wù)平臺京東也有自己的年中購物節(jié)，即“618”，這是一個為期 18 天的促銷活動，截止 6 月 18 日，這天剛好是京東的成立紀(jì)念日。2017 年，618 的總銷售額為 176 億美元，2018 年增長到了 284 億美元。

美國亞馬遜的年中購物節(jié) Prime Day 在 2018 年和 2017 年分別創(chuàng)造了 41.9 億美元和 24.1 億美元的銷售額。美國感恩節(jié)購物季在 2018 年和 2017 年的銷售額分別為 178 億美元和 196.2 億美元。

對于工程師來說，有趣的不是令人瞠目結(jié)舌的銷售數(shù)據(jù)，而是如何構(gòu)建可以應(yīng)對這些工作負(fù)載的基礎(chǔ)設(shè)施。2017 年，阿里巴巴公布了雙十一期間系統(tǒng)的高峰吞吐量：每秒 25.6 萬筆交易和每秒 4200 萬次查詢。

不難想象，在這些促銷活動期間，肯定會不可避免地出現(xiàn)大量的事務(wù)、查詢、數(shù)據(jù)一致性問題、實時分析容量和其他難以想象的邊緣情況。

除了這些公司，所有其他想要搭上這些促銷活動順風(fēng)車的電子商務(wù)公司、所有為用戶在線購物提供電子支付解決方案的銀行，以及所有的物流中心和倉儲中心——他們都需要有好的基礎(chǔ)設(shè)施技術(shù)來應(yīng)對新的工作負(fù)載和流量增長。

由于這種增長速度，以及由此產(chǎn)生的競爭壓力，中國科技公司在采用新技術(shù)方面具有相當(dāng)強(qiáng)的風(fēng)險承受能力。

一家公司找到合適的產(chǎn)品市場，然后在不到兩個月的時間內(nèi)采用未經(jīng)證實但很有前景的新技術(shù)為高速增長的流量提供服務(wù)，這種事情并非聞所未聞。京東在 2016 年初開始采用 Kubernetes，當(dāng)時離谷歌開源 Kubernetes 還不到一年的時間，因為他們必須解決可伸縮性問題，而 OpenStack 沒能幫他們實現(xiàn)這一目標(biāo)。(京東現(xiàn)在擁有全球最大的 Kubernetes 集群，運(yùn)行在 2 萬臺裸機(jī)上)

中國科技公司是典型的早期采用者——不是因為趕時髦，而是確實有必要這么做。中國擁有世界上最多的互聯(lián)網(wǎng)用戶（8 億，并且還在增加當(dāng)中），他們的規(guī)模（以及規(guī)模所帶來的不可預(yù)知的行為）足夠大，大到足以促使這些科技公司認(rèn)真對待每一項技術(shù)。從這些公司生存下來的技術(shù)會變得更強(qiáng)大、更有彈性，也更值得被用在其他地方。

很多行為是不可能在構(gòu)建模式下進(jìn)行預(yù)測或測試的。

你該如何通過 Paxos 或 Raft 來模擬系統(tǒng)達(dá)到 100 倍查詢峰值時的網(wǎng)絡(luò)流量？當(dāng)一件商品、一首歌或一段視頻突然變得像病毒一樣迅速傳播，而所有用戶都在試圖訪問它們，而更糟糕的是，有價值的廣告收入取決于系統(tǒng)不能崩潰，在這種情況下，你該如何處理數(shù)據(jù)熱點(diǎn)問題？當(dāng)數(shù)據(jù)增長率為每天數(shù) TB 時，應(yīng)該如何擴(kuò)展存儲容量?

所有這些情況，在很多中國科技公司中時有發(fā)生。他們正在迅速地尋找新的解決方案，以迎接這些挑戰(zhàn)——這為考驗這些創(chuàng)新技術(shù)提供了一片沃土。

“中國式規(guī)?！币呀?jīng)催生了一些由中國原創(chuàng)的基礎(chǔ)設(shè)施技術(shù)。去年，云原生計算基金會（CNCF）接受了其中的三個項目：Harbor、TiKV 和 DragonFly。它們的架構(gòu)和用例都在之前的一篇文章（https://softwareengineeringdaily.com/2018/12/09/chinese-open-source-software/）中做了很好的介紹。在 CNCF 生態(tài)系統(tǒng)之外，還有其他一些值得關(guān)注的項目。

由螞蟻金服開發(fā)的分布式關(guān)系數(shù)據(jù)庫，最初用于支持支付寶。支付寶在中國已經(jīng)無處不在。此后，OceanBase 逐漸成為阿里巴巴所有關(guān)鍵電子商務(wù)平臺（如淘寶和天貓）的核心交易數(shù)據(jù)庫。它也是一個獨(dú)立的產(chǎn)品，南京銀行就是它的用戶之一。

2014 年以來，它經(jīng)歷了五次雙十一的考驗?？上У氖?，它是一個閉源產(chǎn)品，在中國以外沒有得到廣泛采用，所以與其架構(gòu)、設(shè)計或工程方面相關(guān)的英文信息并不多。

一個開源的、兼容 MySQL 的 NewSQL 分布式數(shù)據(jù)庫，由 PingCAP 于 2015 年創(chuàng)建。

它采用了分層架構(gòu)，SQL 處理層（左邊的 TiDB 集群）和可水平伸縮的存儲層（中間的 TiKV 集群）被分隔開來。（注：TiKV 也由 PingCAP 發(fā)起，但現(xiàn)在由 CNCF 托管）。這個設(shè)計靈感來自于谷歌的 Spanner 和基于 Spanner 構(gòu)建的 F1 項目。PD（Placement Driver）集群保存元數(shù)據(jù)，提供一些負(fù)載均衡支持，并提供時間戳（作為系統(tǒng)事務(wù)模型的一部分）。TiSpark 集群是一個可選組件，用戶可以直接基于保存在 TiKV 中的數(shù)據(jù)運(yùn)行 Spark 作業(yè)。

目前，中國已經(jīng)有幾百家公司在生產(chǎn)環(huán)境中部署了 TiDB，如摩拜、北京銀行和愛奇藝。國外也有一些大型互聯(lián)網(wǎng)公司使用了 TiDB，如 Shopee 和 BookMyShow。

注：PingCAP 現(xiàn)已提供 TiDB 的企業(yè)版和云服務(wù)，同時也在維護(hù)開源社區(qū)版本。

一個快速的 OLAP（在線分析處理）引擎，最初由 eBay 中國團(tuán)隊開發(fā)，在 2014 年貢獻(xiàn)給 Apache 基金會，并在 2015 年底成為頂級項目。

Kylin 主要被用在 Hadoop 生態(tài)系統(tǒng)中，為數(shù)百億行數(shù)據(jù)的分析查詢帶來可觀的速度提升。用戶先定義數(shù)據(jù)模型，然后利用 Hadoop 的分布式特性并行運(yùn)行多個 MapReduce 作業(yè)，用以預(yù)構(gòu)建必要的多維模型（也稱為“MOLAP”）。最后，Kylin 將預(yù)先計算的模型存儲在 HBase 中，供用戶查詢。它還使用 Zookeeper 來協(xié)調(diào)和管理這個過程的不同部分。

作為大數(shù)據(jù)分析引擎，Kylin 集成了 Tableau、MicroStrategy、Excel 等流行的 BI 工具。它還提供了一個 RESTful API，方便與第三方應(yīng)用程序連接。除了 eBay，它還在 OPPO、百度、中國太平洋保險等公司經(jīng)受過實戰(zhàn)考驗，三星和摩根大通也是它的用戶。

一個相對較新的開源應(yīng)用程序性能監(jiān)監(jiān)控（APM）工具，用于在基于容器的環(huán)境中監(jiān)控微服務(wù)。2017 年底，它成為 Apache 基金會的孵化器項目。

Skywalking 通過服務(wù)網(wǎng)格從微服務(wù)中提取指標(biāo)，并利用 Jaeger 等流行工具來跟蹤信息，并可以查詢和分析這些指標(biāo)和信息，還可以使用團(tuán)隊開發(fā)的 UI 進(jìn)行可視化。它還提供了一個可插拔的存儲接口，借助這個接口，可以將信息保存在一些流行的數(shù)據(jù)庫中，比如 Elasticsearch、MySQL 和 TiDB。

盡管這個項目成立還不到兩年，但中國的一些大型公司已經(jīng)在使用它，如華為、小米和貝殼。

除了本土技術(shù)，國外的一些技術(shù)也有了“中國式規(guī)?！钡奈兜馈＞〇|是 Prometheus、Vitesse、Jenkins 和 GitLab 等技術(shù)的用戶，百度是 CockroachDB（另一個受 Spanner 啟發(fā)的開源數(shù)據(jù)庫，類似于 TiDB）的用戶。Alluxio，一個分布式文件系統(tǒng)統(tǒng)一層，可以以內(nèi)存速度運(yùn)行（源自加州大學(xué)伯克利分校 AMPLab 的一個名為 Tachyon 的研究項目），也在百度、中國聯(lián)通和滴滴出行等企業(yè)中得到采用。

中國公司不僅在大規(guī)模采用這些技術(shù)，有時候甚至直接收購它們。開源數(shù)據(jù)流平臺 Apache Flink 由柏林技術(shù)大學(xué)于 2009 年創(chuàng)建，作為 Stratosphere 研究項目的一部分。阿里巴巴最終收購了由 Flink 創(chuàng)始人創(chuàng)辦的 dataArtisan（該公司的目的是商業(yè)化 Flink）。

作為工程師，我們知道沒有什么技術(shù)是絕對的，它們總是存在權(quán)衡。我們總是在吞吐量和延遲、數(shù)據(jù)一致性和響應(yīng)時間、新特性和系統(tǒng)穩(wěn)定性之間做出權(quán)衡。我們很少能魚與熊掌兼得，我們也不相信把自己標(biāo)榜得太高的技術(shù)。

市場的選擇也是如此。在中國互聯(lián)網(wǎng)經(jīng)濟(jì)大環(huán)境中，有一些問題一定要考慮到，特別是信息審查方面的問題。比如，對侵犯知識產(chǎn)權(quán)行為的法律追索仍然不太可靠，有關(guān)企業(yè)使用個人數(shù)據(jù)的監(jiān)管尚處于初級階段。

但如果你是一名開發(fā)者，正在尋找一些穩(wěn)定可靠的技術(shù)（已經(jīng)“面面俱到”的技術(shù)），那么那些已經(jīng)在中國互聯(lián)網(wǎng)環(huán)境中經(jīng)受過實戰(zhàn)考驗的技術(shù)將是安全的選擇。

如果你的團(tuán)隊正在構(gòu)建下一個大項目，尤其是在基礎(chǔ)設(shè)施層面，那么把這個項目交給中國的幾家科技巨頭公司，將會為項目帶來跨越式的發(fā)展。

另外，你們的努力很可能也會為我的祖母帶來更快樂的生活！

英文原文：

https://softwareengineeringdaily.com/2019/02/26/china-scale-the-new-sandbox-to-battle-test-innovative-technology/

作者介紹:

Kevin Xu 是 PingCAP 全球戰(zhàn)略和運(yùn)營總經(jīng)理。他在斯坦福大學(xué)完成計算機(jī)科學(xué)與法律專業(yè)的學(xué)習(xí)。主要關(guān)注分布式系統(tǒng)、云原生技術(shù)、自然語言處理和開源。