摘要：摘要來自阿里云團(tuán)隊(duì)的論文面向大規(guī)模海量云數(shù)據(jù)庫(kù)的服務(wù)質(zhì)量實(shí)時(shí)采集與診斷系統(tǒng)被數(shù)據(jù)庫(kù)頂會(huì)收錄。評(píng)委評(píng)價(jià)以下為阿里云入選論文。云數(shù)據(jù)庫(kù)對(duì)客戶業(yè)務(wù)的穩(wěn)定性至關(guān)重要，因此快速發(fā)現(xiàn)云數(shù)據(jù)庫(kù)性能出現(xiàn)異常，及時(shí)定位異常原因是云數(shù)據(jù)庫(kù)廠商的一個(gè)挑戰(zhàn)。

摘要：?來自阿里云RDS團(tuán)隊(duì)的論文“TcpRT: Instrument and Diagnostic Analysis System for Service Quality of Cloud Databases at Massive Scale in Real-time” （TcpRT：面向大規(guī)模海量云數(shù)據(jù)庫(kù)的服務(wù)質(zhì)量實(shí)時(shí)采集與診斷系統(tǒng)）被數(shù)據(jù)庫(kù)頂會(huì)SIGMOD 2018收錄。

ACM SIGMOD數(shù)據(jù)管理國(guó)際會(huì)議是由美國(guó)計(jì)算機(jī)協(xié)會(huì)(ACM) 數(shù)據(jù)管理專業(yè)委員會(huì)(SIGMOD)發(fā)起、在數(shù)據(jù)庫(kù)領(lǐng)域具有最高學(xué)術(shù)地位的國(guó)際性學(xué)術(shù)會(huì)議。

SIGMOD和另外兩大數(shù)據(jù)庫(kù)會(huì)議VLDB、ICDE構(gòu)成了數(shù)據(jù)庫(kù)領(lǐng)域的三個(gè)頂級(jí)會(huì)議。相對(duì)而言，SIGMOD比另外兩個(gè)會(huì)議的含金量更高，被錄取的難度更大。ACM SIGMOD的論文錄取率是很低的，平均錄取率大約僅為15%-17%。

來自阿里云RDS團(tuán)隊(duì)的論文“TcpRT: Instrument and Diagnostic Analysis System for Service Quality of Cloud Databases at Massive Scale in Real-time” （TcpRT：面向大規(guī)模海量云數(shù)據(jù)庫(kù)的服務(wù)質(zhì)量實(shí)時(shí)采集與診斷系統(tǒng)）被數(shù)據(jù)庫(kù)頂會(huì)SIGMOD 2018收錄。

TcpRT論文介紹了RDS天象系統(tǒng)在云數(shù)據(jù)庫(kù)SLA數(shù)據(jù)采集、服務(wù)質(zhì)量指標(biāo)計(jì)算、異常檢測(cè)、故障根因分析領(lǐng)域的創(chuàng)新工作，以及在各類云平臺(tái)上大規(guī)模部署自動(dòng)化服務(wù)的客戶實(shí)踐經(jīng)驗(yàn)。

評(píng)委評(píng)價(jià)

I have plenty of experience with manual anomaly detection. That has wasted much time for me at work, so I liked what you described.

以下為SIGMOD 2018阿里云入選論文。

下載中文版：http://click.aliyun.com/m/100...
下載英文版：http://click.aliyun.com/m/100...

簡(jiǎn)介
隨著企業(yè)上云趨勢(shì)的日益熱化，作為產(chǎn)業(yè)核心組件的數(shù)據(jù)庫(kù)，已成為各大云計(jì)算公司增長(zhǎng)最快的在線服務(wù)業(yè)務(wù)。作為中國(guó)第一大云數(shù)據(jù)庫(kù)廠商，我們RDS團(tuán)隊(duì)致力于為用戶提供穩(wěn)定的云數(shù)據(jù)庫(kù)服務(wù)。從本質(zhì)上看，RDS是一個(gè)多租戶DBaaS平臺(tái)，利用輕量級(jí)KVM、Docker鏡像等資源隔離技術(shù)將用戶所購(gòu)買的數(shù)據(jù)庫(kù)實(shí)例部署在物理機(jī)上，按需分配資源并進(jìn)行自動(dòng)升降級(jí)，實(shí)現(xiàn)一套完全自動(dòng)化的智能運(yùn)維管理。

云數(shù)據(jù)庫(kù)對(duì)客戶業(yè)務(wù)的穩(wěn)定性至關(guān)重要，因此快速發(fā)現(xiàn)云數(shù)據(jù)庫(kù)性能出現(xiàn)異常，及時(shí)定位異常原因是云數(shù)據(jù)庫(kù)廠商的一個(gè)挑戰(zhàn)。TcpRT是阿里云數(shù)據(jù)庫(kù)用來監(jiān)控和診斷數(shù)據(jù)庫(kù)服務(wù)質(zhì)量的一個(gè)基礎(chǔ)設(shè)施。TcpRT從主機(jī)TCP/IP協(xié)議棧的壅塞控制采集trace數(shù)據(jù)，計(jì)算數(shù)據(jù)庫(kù)延遲和網(wǎng)絡(luò)異常，在后臺(tái)流式計(jì)算平臺(tái)進(jìn)行大規(guī)模實(shí)時(shí)數(shù)據(jù)分析和聚合，通過統(tǒng)計(jì)指標(biāo)歷史數(shù)據(jù)的柯西分布發(fā)現(xiàn)異常點(diǎn)，并通過同一臺(tái)主機(jī)、交換機(jī)、proxy下所有實(shí)例一致性趨勢(shì)的比例來計(jì)算不同組件發(fā)生異常的概率。

到目前為止，TcpRT以每秒采集2千萬(wàn)條原始trace數(shù)據(jù)、每天后臺(tái)處理百億吞吐數(shù)據(jù)、秒級(jí)檢測(cè)異常的卓越性能在阿里云持續(xù)穩(wěn)定運(yùn)行三年。

本文貢獻(xiàn)
提出了一種新的對(duì)數(shù)據(jù)庫(kù)服務(wù)質(zhì)量進(jìn)行采集的方法，基于內(nèi)核壅塞模塊實(shí)現(xiàn)，可以非侵入性、低代價(jià)的采集基于停等協(xié)議的關(guān)系數(shù)據(jù)庫(kù)的per connection的延遲、帶寬，分析用戶使用數(shù)據(jù)庫(kù)的模型（短連接和長(zhǎng)連接），并且可以端到端的記錄和量化基礎(chǔ)網(wǎng)絡(luò)服務(wù)質(zhì)量對(duì)數(shù)據(jù)庫(kù)服務(wù)質(zhì)量的影響，包括丟包率、重傳率。
我們開發(fā)了一套對(duì)采集的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗、過濾、聚合、分析的流式計(jì)算系統(tǒng)，系統(tǒng)可以做到水平擴(kuò)展、容錯(cuò)性、實(shí)時(shí)性、Exactly Once，具有和其他大數(shù)據(jù)平臺(tái)例如EMR、MaxCompute進(jìn)行數(shù)據(jù)交換的能力
我們提出了一個(gè)新的算法對(duì)TcpRT數(shù)據(jù)進(jìn)行分析，來發(fā)現(xiàn)數(shù)據(jù)庫(kù)的服務(wù)質(zhì)量有無異常，并且對(duì)異常事件的根因進(jìn)行定位

會(huì)議將于6月10日在美國(guó)休斯敦召開，論文也會(huì)公開發(fā)表，以下是相關(guān)信息。
Title：SIGMOD/PODS "18 International Conference on Management of Data
Houston, TX, USA — June 10 - 15, 2018
Pages：1846
Sponsor： SIGMOD ACM Special Interest Group on Management of Data
Publisher：ACM New York, NY, USA
ISBN：978-1-4503-4703-7
Conference：MODInternational Conference on Management of Data

原文鏈接