摘要：云棲大會北京峰會上，阿里云宣布啟動數(shù)據(jù)庫開源項目。日前，用戶內(nèi)測邀請正式啟動。測試報告樣例阿里云關(guān)系數(shù)據(jù)庫服務(wù)內(nèi)核開發(fā)和運維團隊負責人，活躍的社區(qū)貢獻者丁奇表示，在通用基準測試場景下，版本比官方版本有著的性能提升。

2016 云棲大會·北京峰會上，阿里云宣布啟動 AliSQL 數(shù)據(jù)庫開源項目。日前，用戶內(nèi)測邀請正式啟動。

根據(jù)阿里云數(shù)據(jù)庫團隊的規(guī)劃，今年 10 月，開發(fā)者將可以在阿里云 Code 平臺和 GitHub 網(wǎng)站上下載 AliSQL。

AliSQL

AliSQL 是基于 MySQL 官方版本的一個分支，由阿里云數(shù)據(jù)庫團隊維護，目前也應(yīng)用于阿里巴巴集團業(yè)務(wù)以及阿里云數(shù)據(jù)庫服務(wù)。

該版本在社區(qū)版的基礎(chǔ)上做了大量的性能與功能的優(yōu)化改進。尤其適合電商、云計算以及金融等行業(yè)環(huán)境。

的 AliSQL 版本不僅從其他開源分支比如：Percona，MariaDB，WebScaleSQL 等社區(qū)汲取了精華，也沉淀了阿里巴巴多年在 MySQL 領(lǐng)域的經(jīng)驗和解決方案。

AliSQL 增加更多監(jiān)控指標，并針對電商秒殺、物聯(lián)網(wǎng)大數(shù)據(jù)壓縮、金融數(shù)據(jù)安全等場景提供個性化的解決方案。

測試報告樣例

阿里云關(guān)系數(shù)據(jù)庫服務(wù)內(nèi)核開發(fā)和運維團隊負責人，活躍的MySQL社區(qū)貢獻者丁奇表示，“在通用基準測試場景下，AliSQL版本比MySQL官方版本有著 70% 的性能提升”。

1測試環(huán)境

主機配置

CPU：Intel(R) Xeon(R) CPU E5-2682 v4 @ 2.50GHz

OS kernel：Linux 2.6.32

Memory：512 G

Disk：SSD

2AliSQL實例配置

采用 RDS 配置的 8C-16G 的規(guī)格進行測試。

具體參數(shù)參考 AliSQL-8C-16G.cnf 。

?

3測試腳本

采用 sysbench 標準測試。

測試場景為 update_non_index.lua 。

Sysbench 主要參數(shù)：

max-requests=0

max-time=900

oltp_tables_count=20

oltp_table_size=200000

report-interval=10

num-threads=$count

?

4測試對比和結(jié)果

本次測試共對比了兩個版本：AliSQL 5.6.32 和 Oracle MySQL 5.6.32 。

測試數(shù)據(jù)如下：

5測試結(jié)論

從以上的基準測試數(shù)據(jù)可以看到 AliSQL 版本，對比 Oracle 官方 MySQL 版本，有非常高的吞吐量提升，較高達到 1 倍，接下來我們將陸續(xù)放出更多特點場景的測試。

丁奇談 AliSQL

開源的 AliSQL 又將為開發(fā)者帶來哪些功能？針對于不同行業(yè)，AliSQL 做了哪些工作呢？

InfoQ 專訪丁奇，解讀開發(fā)者最關(guān)心的話題。

InfoQ：AliSQL 是基于 MySQL 官方版本的一個分支，能否簡單介紹下 AliSQL 的歷史？AliSQL 版本在強度和廣度上都經(jīng)歷了哪些考驗？

丁奇：大概在 2009 年，阿里巴巴集團開始大規(guī)模的使用 MySQL 數(shù)據(jù)庫來持久化業(yè)務(wù)數(shù)據(jù)。隨著集團業(yè)務(wù)的高速發(fā)展，官方的 MySQL 版本遇到了不小的挑戰(zhàn)，包括性能、部署、功能、成本等方面。

伴隨著業(yè)務(wù)的驅(qū)動和對源代碼的熟悉，集團開始嘗試在 MySQL 官方的開源版本上進行修改，這就形成了 AliSQL 的雛形。

電商業(yè)務(wù)的高速發(fā)展，對 MySQL 的性能提出了更高的要求。出于節(jié)省成本，AliSQL 持續(xù)進行了性能優(yōu)化，同時，多核 CPU 和 SSD 等新硬件的采用，也反過來促進 AliSQL 能夠盡可能利用硬件的紅利。

雙 11 大促不斷刷新記錄，數(shù)據(jù)庫的穩(wěn)定性也變得越來越重要，AliSQL 開始定制基于限流、線程池、秒殺等功能的 patch，提升 AliSQL 的穩(wěn)定性。

針對小微金融業(yè)務(wù)對數(shù)據(jù)保護的高要求，AliSQL 定制了適合金融業(yè)務(wù)的數(shù)據(jù)保護方案，例如金融云上使用的雙通道日志高可靠方案。

從阿里云 RDS 上線服務(wù)開始，阿里云數(shù)據(jù)庫團隊就遇到了前所未有的挑戰(zhàn)，不同的行業(yè)用戶，不同的使用習慣和要求，AliSQL 也迎來了發(fā)展更為迅速的時刻，影響力也越來越大。

所以，AliSQL 的版本，是伴隨著業(yè)務(wù)的發(fā)展，一起成長起來的，經(jīng)歷過雙 11 大促這樣大壓力的考驗，同時也經(jīng)歷了阿里云各行各業(yè)用戶差異化的需求。可以說是身經(jīng)百戰(zhàn)。

InfoQ：阿里云是開源組織 WebScaleSQL 的第五位成員，與 Facebook、Google、Twitter 和 LinkedIn 團隊共同研發(fā) WebScaleSQL，同時，阿里巴巴還擁有 OceanBase 自研數(shù)據(jù)庫。能否請介紹下 AliSQL、WebScaleSQL、OceanBase 三者的關(guān)系和各自的特點？

丁奇： OceanBase 是 Alibaba 集團自研的分布式數(shù)據(jù)庫，經(jīng)歷了集團業(yè)務(wù)的洗禮，具有通用性，高擴展能力。

WebScaleSQL 是由這五家公司發(fā)起的基于 MySQL 官方的一個分支，旨在解決大家在互聯(lián)網(wǎng)業(yè)務(wù)上遇到的問題，是五個成員公司將各自足夠通用的功能提交到一起的集合，每家公司的研發(fā)同學都可以提交代碼。實際上每個公司自己生產(chǎn)環(huán)境使用的是自己維護的一個分支，因為每個公司都有自己定制化的需求。

AliSQL 同樣基于 MySQL 官方版本，汲取了官方和社區(qū)的技術(shù)紅利，具有很高的性能和穩(wěn)定性，并適應(yīng)不同行業(yè)的特點進行了定制。AliSQL 的改進方向主要集中在安全性、穩(wěn)定性、性能、新功能等方面。

AliSQL 是經(jīng)過幾年的生產(chǎn)環(huán)境、幾萬個用戶實例的實際業(yè)務(wù)錘煉的。

AliSQL 的一些定制化功能都是為了解決 DBA 維護、業(yè)務(wù)使用中碰到的實際問題。比如 5.5 以上的版本由于有 metadata lock，DBA 對表加字段等操作可能導致阻塞查詢，進而導致整庫不可服務(wù)。我們新增 alter ..wait N .. 方法，保證了操作的安全性。再比如通過提供 set rds_reset_connection 這樣的語句，解決了長連接占用資源和短連接性能問題的矛盾。

InfoQ：AliSQL 在相關(guān)報道中提到，“在通用基準測試場景下，AliSQL 版本比 MySQL 官方版本有著 70% 的性能提升。在秒殺場景下，性能提升 100 倍?！蹦芊裨敿氈v解該數(shù)據(jù)是如何得出的？

丁奇： 通用基準的測試，我們是采用 sysbench 進行的測試，也是公開的標準測試方法， AliSQL 在吞吐能力上，比 MySQL 官方大概 70% 的性能提升。

秒殺場景是一個比較特殊的場景，AliSQL 有專門的定制 patch 針對這種場景的優(yōu)化，如果沒有限流和排隊，大并發(fā)的請求下，系統(tǒng)很容易產(chǎn)生雪崩效應(yīng)，導致吞吐量急劇下降，而非線性關(guān)系。所以，秒殺場景下，在不可預(yù)知的業(yè)務(wù)請求量的時候，類似減庫存這樣的場景，性能下跌非常厲害，而 AliSQL 的秒殺解決方案能夠保證這類場景維持高性能。

InfoQ：電商行業(yè)的環(huán)境特點是怎樣的？AliSQL 在電商行業(yè)環(huán)境下的優(yōu)勢有哪些？或者說，為了更好地符合電商行業(yè)的需求，AliSQL 做了哪些性能與功能的優(yōu)化工作？

丁奇： 電商行業(yè)的環(huán)境，其實提供了一個非常綜合的場景，在擴展性、穩(wěn)定性、性能等方面對數(shù)據(jù)庫都提出了非常高的要求，AliSQL 就是順應(yīng)著這樣的要求進行的定制版本。

比如應(yīng)對大量應(yīng)用集群的線程池功能，秒殺場景的排隊功能，以及 SQL 的限流功能。

比如大寫入量備庫延遲，AliSQL 提供的基于表的并行復(fù)制功能，又比如結(jié)構(gòu)化數(shù)據(jù)的壓縮功能等。

InfoQ：電商秒殺場景有什么特點，為數(shù)據(jù)庫帶來的挑戰(zhàn)有哪些？AliSQL 針對該場景優(yōu)化了哪些性能與功能？已經(jīng)應(yīng)用過的實際場景有哪些？實際效果如何？

丁奇： 電商的秒殺場景，其實就是減庫存，對數(shù)據(jù)庫而言，就是對一條記錄的更新，因為事務(wù)的特點，單條記錄的更新必須串行完成，但秒殺的特點，就是在某個時刻，大量的并發(fā)進行減庫存，這就造成了大量的線程因獲取不到鎖而處在死鎖檢測狀態(tài)，消耗了大量的 CPU 資源，最終導致系統(tǒng)無法響應(yīng)，而引起雪崩效應(yīng)。

AliSQL 針對這樣的場景，提供了排隊和限流的功能，經(jīng)過了雙 11 零點時刻高并發(fā)請求的考驗，保持了系統(tǒng)的穩(wěn)定性和持續(xù)吞吐能力。

電商業(yè)務(wù)高峰有兩個對數(shù)據(jù)庫挑戰(zhàn)比較大的場景：

1.超大并發(fā)

MySQL 能夠支持的并發(fā)活躍連接數(shù)是有上限的，理想情況下是大約（CPU 核心數(shù) ×2）個活躍連接數(shù)，當活躍連接數(shù)遠超這個值時，性能會急劇下降，導致整個業(yè)務(wù)不可用。AliSQL 有水位控制，超過一定閾值的活躍連接數(shù)，當我們判斷到當前壓力超過數(shù)據(jù)庫的處理能力時，會主動放棄后到的請求，這樣保證數(shù)據(jù)庫還能保持很高的能夠正常響應(yīng)的吞吐量。

2.秒殺場景

在秒殺場景里面有一個減庫存的問題。大量用戶同時搶購?fù)粋€商品的時候，需要同時更新商品庫存，這時候 InnoDB 的行鎖加上死鎖檢測機制會導致數(shù)據(jù)庫 CPU 短時間內(nèi)被占滿，導致整庫幾乎無法響應(yīng)。

在 AliSQL 我們有針專門針對秒殺的方案，保證在大量線程同時減庫存時仍能保持很高的 TPS。除了阿里自己的秒殺業(yè)務(wù)，這個功能同樣適用于搶紅包這樣的業(yè)務(wù)，已經(jīng)在 2015、2016 年春節(jié)經(jīng)過大量的業(yè)務(wù)驗證。

InfoQ：在個性化方面，AliSQL 針對云計算和金融行業(yè)做了哪些優(yōu)化工作？應(yīng)用過的實際場景有哪些？實際效果如何？AliSQL 在物聯(lián)網(wǎng)大數(shù)據(jù)壓縮、金融數(shù)據(jù)安全等場景又提供了哪些個性化功能？

丁奇： 在云計算的環(huán)境下，用戶的使用場景和方式都千差萬別，為了適應(yīng)不同的環(huán)境，AliSQL 定制了很多個性化的功能，比如，為了保障在線業(yè)務(wù)的平穩(wěn)，針對用戶的分析型的 SQL，AliSQL 提供了資源使用限流、全表掃描 buffer pool 不緩存的特性，用戶可以通過設(shè)置環(huán)境變量或者使用 hint 來方便的使用這些功能，又比如為了加快大表的掃描，提供了邏輯預(yù)讀的功能，這些特性，用戶在不同的場景下可以自由選擇。

除了這些，AliSQL 在公有云上針對不同行業(yè)定制了很多功能。比如：

游戲行業(yè)

我們在 proxy 這一層進行了 AliSQL 的橋接認證，提供防閃斷功能。

物聯(lián)網(wǎng)行業(yè)

AliSQL 集成了 TokuDB 引擎，提供高壓縮比和大吞吐寫能力。

金融行業(yè)

AliSQL 定制了多通道的半同步策略，以及一主兩備的三機房零數(shù)據(jù)丟失的數(shù)據(jù)保護級別。

InfoQ：針對不同的應(yīng)用場景，AliSQL 增加了哪些監(jiān)控指標？

丁奇： AliSQL 增加了很多監(jiān)控指標，以幫助用戶或者 DBA 更了解自己的數(shù)據(jù)庫，比如，AliSQL 針對四個不同的維度的統(tǒng)計：

SQL 維度。增加每個 SQL 執(zhí)行的開銷統(tǒng)計，除了響應(yīng)時間，鎖等待等，還包括邏輯讀，物理讀，臨時空間使用等。

對象維度。增加了每個表的 DML 次數(shù)，索引的使用情況，幫助用戶理解業(yè)務(wù)和索引使用效率。

事務(wù)維度。增加了每個事務(wù)持續(xù)的時間，和操作的對象。幫助用戶定位問題。

線程維度。增加了線程的內(nèi)存使用統(tǒng)計。

InfoQ：阿里巴巴一直在推進開源工作，您認為做好開源工作，公司應(yīng)該從哪些方面出發(fā)？目前，AliSQL的開源計劃是怎樣的？將為開發(fā)者具體怎樣的幫助？

丁奇： 我覺得，公司首先是支持開源的，基于開源的協(xié)議，有著回饋社區(qū)的初衷，并懷著促進社區(qū)發(fā)展的良好愿景。

AliSQL 開源會保持著一個好的節(jié)奏，持續(xù)的高質(zhì)量回饋社區(qū)。具體在9月中旬放出 binary， 10 月份會放出源代碼的第一個穩(wěn)定版本。

開發(fā)者可以自由下載使用，并在平臺上進行反饋或者提出建議，后續(xù) AliSQL 也會定期組織論壇，邀請開發(fā)者參與進行討論。

我們希望 AliSQL 能夠形成一個活躍的社區(qū)，開發(fā)者能夠從中受益，也能夠提出需求和改進建議，促進分支持續(xù)發(fā)展。

軟件開發(fā)技術(shù)群

興趣范圍包括：Java，C/C++，Python，PHP，Ruby，shell等各種語言開發(fā)經(jīng)驗交流，各種框架使用，外包項目機會，學習、培訓、跳槽等交流

QQ群：26931708

Hadoop源代碼研究群

興趣范圍包括：Hadoop源代碼解讀，改進，優(yōu)化，分布式系統(tǒng)場景定制，與Hadoop有關(guān)的各種開源項目，總之就是玩轉(zhuǎn)Hadoop

QQ群：288410967