摘要：摘要阿里云主要分為離線分析和在線分析兩種功能。演講嘉賓簡(jiǎn)介勛臣，阿里云內(nèi)核團(tuán)隊(duì)技術(shù)專家，目前阿里云專家系統(tǒng)開發(fā)。通過(guò)診斷報(bào)告定位性能下降原因。

摘要：阿里云CloudDBA主要分為離線分析和在線分析兩種功能。幫助用戶節(jié)省成本，定位問題，分析原因并推薦解決方法。CloudDBA可以做到實(shí)時(shí)診斷，離線診斷和SQL優(yōu)化。并且通過(guò)MySQL的參數(shù)調(diào)優(yōu)，檢測(cè)參數(shù)的不合理或者準(zhǔn)備的延遲的情況。

演講嘉賓簡(jiǎn)介：
勛臣，阿里云RDS內(nèi)核團(tuán)隊(duì)技術(shù)專家，目前阿里云CloudDBA專家系統(tǒng)開發(fā)。有著豐富的數(shù)據(jù)庫(kù)開發(fā)管理和優(yōu)化的經(jīng)驗(yàn)。

PPT下載鏈接：http://click.aliyun.com/m/51146/
以下內(nèi)容根據(jù)演講嘉賓視頻分享以及PPT整理而成。

本次的分享主要圍繞以下三個(gè)方面：

一、CloudDBA提供了什么
二、核心能力
三、典型實(shí)踐應(yīng)用

一、CloudDBA提供了什么
CloudDBA主要提供了兩個(gè)功能，一個(gè)是離線分析，另一個(gè)是在線分析。我們知道DBA主要日常工作分為兩塊，一個(gè)是群檢，還有就是做線上的響應(yīng)，比如說(shuō)我的數(shù)據(jù)庫(kù)突然一下應(yīng)用被卡住了，或者數(shù)據(jù)庫(kù)出現(xiàn)性能抖動(dòng)，這些問題都是需要DBA實(shí)時(shí)響應(yīng)的。Oracle包括兩個(gè)報(bào)告，一個(gè)是AWR報(bào)告，還有一個(gè)叫ASH報(bào)告，我們從功能上來(lái)說(shuō)和Oracle有些類似。離線的分析主要是AWR報(bào)告，然后在線響應(yīng)是ACTIVE SESS HISTORY。

CloudDBA在云上是SASS化的一塊，是基于PaaS平臺(tái)的增值服務(wù)。云上的SASS需要去解決性能的問題，問題的診斷，以及提供一些輔助的工具。云上的數(shù)據(jù)庫(kù)跟自建的數(shù)據(jù)庫(kù)有一點(diǎn)不同，如果數(shù)據(jù)庫(kù)上云了之后，PaaS這層的工作云都幫忙解決了。比如，性能監(jiān)控，HA等都已經(jīng)做了。DBA真正要做的是上面這一層，就是怎么讓數(shù)據(jù)庫(kù)運(yùn)行的更好，讓用戶用好數(shù)據(jù)庫(kù)。

不管是云上的還是自建的數(shù)據(jù)庫(kù)，它本身的成本實(shí)際上是看得見的，是很低的。對(duì)做DBA的同學(xué)來(lái)說(shuō)，從準(zhǔn)備到數(shù)據(jù)庫(kù)上線花費(fèi)的精力實(shí)際上是有限的。而真正的難點(diǎn)是如何把數(shù)據(jù)庫(kù)管理好？因?yàn)槲覀優(yōu)樽霎a(chǎn)品的平臺(tái)應(yīng)用提供支撐，如果用戶的使用習(xí)慣不好，很容易將我們的數(shù)據(jù)庫(kù)搞壞掉，整個(gè)業(yè)務(wù)都會(huì)受到影響。所以從下圖可以看到我們的數(shù)據(jù)庫(kù)會(huì)有大量的維護(hù)成本，大概大于80%。當(dāng)然DBA主要是解決應(yīng)用中的一些問題，節(jié)省時(shí)間成本。比如說(shuō)，用戶反饋說(shuō)應(yīng)用卡住了，對(duì)DBA來(lái)說(shuō)需要登錄到數(shù)據(jù)庫(kù)中，到控制臺(tái)看動(dòng)畫，看看到底發(fā)生了什么？這些動(dòng)作實(shí)際上是很重復(fù)，很機(jī)械的、如果有CloudDBA，它會(huì)有自己的一些小的腳本，比如定位問題，很快的可以輸入用戶名密碼，把狀態(tài)抓出來(lái)，基于狀態(tài)做一些判斷。這種方式是可以的，但是還有更好的解決方式，如果作為一個(gè)產(chǎn)品，把這樣的行為產(chǎn)品化和服務(wù)化，交付出來(lái)。在應(yīng)用卡住的時(shí)候，用戶只需要點(diǎn)一個(gè)按鈕，產(chǎn)品就可以把狀態(tài)抓出來(lái)，并且分析出數(shù)據(jù)庫(kù)卡住的點(diǎn)，并給出下一步的解決建議。甚至絕大部分場(chǎng)景，命令都會(huì)給生成出來(lái)，用戶直接復(fù)制執(zhí)行就可以了。

二、核心能力

1.實(shí)時(shí)診斷
我們會(huì)把DBA積累的經(jīng)驗(yàn)產(chǎn)品化，編成程序，錄入到資料庫(kù)中去。將診斷的結(jié)果進(jìn)行輸出。我們?cè)谌粘９ぷ鳟?dāng)中會(huì)經(jīng)常發(fā)現(xiàn)同樣的問題對(duì)不同的DBA來(lái)說(shuō)解決的方式也不同。甚至說(shuō)一位同學(xué)在當(dāng)值班的時(shí)候遇到問題，知道怎么解決了，換另一位同學(xué)指班沒有遇到問題，過(guò)了很長(zhǎng)的時(shí)間再一次發(fā)生時(shí)大家可能都忘了如何解決這個(gè)問題。所以這時(shí)就需要將工作經(jīng)驗(yàn)進(jìn)行沉淀，產(chǎn)品化，服務(wù)化，再把它輸入出來(lái)。我們把解決問題的方法。技巧，經(jīng)驗(yàn)錄入到資料庫(kù)（Knowledge Base）中，它就是一個(gè)診斷程序，經(jīng)過(guò)不斷的錄入經(jīng)驗(yàn)，Knowledge Base會(huì)變得越來(lái)越豐富。結(jié)果格式會(huì)分為現(xiàn)象描述，原因描述和相關(guān)診斷建議。

2.離線診斷
離線診斷是基于狀態(tài)，做深層次的分析，挖掘Top SQL，看哪些SQL執(zhí)行次數(shù)最多，最長(zhǎng)，消耗時(shí)間最長(zhǎng)。另外還有事物分析，看事物是否合理，以及SQL Review。因?yàn)槲覀冏鯠BA，如果沒有一個(gè)很強(qiáng)大的工具去規(guī)范開發(fā)人員行為的話，這個(gè)工具遲早會(huì)被拖垮。在早期的時(shí)候，出一份規(guī)范發(fā)給開發(fā)人員，要求搜索語(yǔ)句只能按照規(guī)范寫，否則會(huì)出事。但是如果沒有一個(gè)工具約束和規(guī)范，每個(gè)開發(fā)團(tuán)隊(duì)都不可能看每一條規(guī)范語(yǔ)句。還有就是死鎖的分析。

3.SQL優(yōu)化
MySQL的優(yōu)化器當(dāng)然沒有Qracle那么優(yōu)秀，我們經(jīng)常會(huì)聽到它的執(zhí)行效果不是很好，表的連接順序不是那么的最優(yōu)。比如表上面有索引，但是索引失效了，大家都知道索引失效的情況是字段不匹配。我們的工具會(huì)幫助我們?cè)谧侄魏竺婕觽€(gè)函數(shù)。比如說(shuō)有一個(gè)交易表，交易表上有一個(gè)字段用時(shí)間去get，因?yàn)槟壳皶r(shí)間都至少精確到秒。很多開發(fā)人員會(huì)把日期函數(shù)直接加在get上面，等于具體某一天就可以了。但是如果用Oracle或者SQL Server3的數(shù)據(jù)庫(kù)是沒有問題的，DBA會(huì)給你加一個(gè)函數(shù)索引。但是如果用的是MySQL，而且是5.7之前的版本是沒有辦法的，真正的寫法是大于等于這一天的開始和小于等于這一天的結(jié)束，應(yīng)該是這一天24小時(shí)的范圍之內(nèi)都可以識(shí)別出來(lái)。還有一個(gè)是計(jì)算代價(jià)的重寫，我們會(huì)到備庫(kù)動(dòng)態(tài)的采樣，比如說(shuō)一個(gè)查詢，上面沒有索引，帶有多個(gè)字段，要建一個(gè)混合索引，那么這個(gè)字段的順序應(yīng)該怎么放？我們會(huì)到備庫(kù)中動(dòng)態(tài)采樣，看這些列上的數(shù)據(jù)分布，然后生成最優(yōu)的字段順序，最優(yōu)的索引。因?yàn)椴豢赡芸磶讉€(gè)字段有的所有索引順序，所以采取動(dòng)態(tài)采樣。這一塊的內(nèi)容可以到阿里云的官網(wǎng)搜，有很多非常詳細(xì)的資料和視頻。

三、最佳實(shí)踐
我們經(jīng)常遇到用戶把規(guī)格升級(jí)，然后進(jìn)行壓測(cè)，發(fā)現(xiàn)升級(jí)規(guī)格后性能反而下降。比如4C32G生級(jí)成了8C62G，發(fā)現(xiàn)吞吐下降。通過(guò)診斷報(bào)告TOP SQL定位性能下降原因。發(fā)現(xiàn)truncate的執(zhí)行時(shí)間變慢了，為什么變慢?因?yàn)楸淼膬?nèi)存變多了，內(nèi)存的張頁(yè)變多了，MySQL truncate之前是要把張頁(yè)落入文件里面去，利用我們的工具可以很快的定位原因語(yǔ)句，下一步應(yīng)該把MySQL的 Max present的參數(shù)調(diào)小，把張塊控制在一定的范圍里面。

另外一個(gè)問題是用戶說(shuō)每隔半小時(shí)就會(huì)出現(xiàn)壓力抖動(dòng)，查明什么原因。因?yàn)橛脩籼岢鲞@個(gè)問題時(shí)，抖動(dòng)發(fā)生的時(shí)間是在前幾天或者過(guò)了幾個(gè)小時(shí)。所以我們會(huì)建議用戶開啟CloudDBA，這樣才方便我們跟蹤，具體的數(shù)據(jù)用戶在自己的的控制臺(tái)就可以看到了。如下圖是通過(guò)TOP SQL得到的診斷報(bào)告，知道哪個(gè)時(shí)間發(fā)生了抖動(dòng)。

連接滿了也分為不同的場(chǎng)景。第一種是出現(xiàn)鎖了，這種是最常見的，這是把鎖會(huì)話KILL掉。第二種就是在業(yè)務(wù)高空的時(shí)候執(zhí)行了ddl的操作，這時(shí)也很好解決，我們都會(huì)幫助用戶定位出來(lái)。還有一種是應(yīng)用程序的連接使用有問題，沒有關(guān)掉。比如Java的JDBC開了之后沒有關(guān)掉，這時(shí)我們也可以識(shí)別出來(lái)。我們會(huì)建議用戶使用連接池，及時(shí)的把連接關(guān)掉。還有一個(gè)，既不是MySQL堆積也不是鎖，也正常使用連接池，這時(shí)就可能是規(guī)格太小，壓力太大。如果不能升級(jí)規(guī)格，那么應(yīng)用程序就要做限流。

連接滿了之后，CloudDBA可以幫助識(shí)別并終止會(huì)話。

CPU達(dá)到100%之后，CloudDBA可以幫忙識(shí)別出來(lái)，同時(shí)進(jìn)行優(yōu)化

除了上述的幾種場(chǎng)景，阿里還做了一些參數(shù)優(yōu)化。MySQL有非常多的參數(shù)，參數(shù)的不合理或者準(zhǔn)備的延遲都可以通過(guò)CloudDBA檢測(cè)出來(lái)。
CloudDBA是一個(gè)動(dòng)態(tài)凈化的產(chǎn)品，我們是在不斷的更新。我們會(huì)和阿里云的工單系統(tǒng)聯(lián)系，他們處理的工單會(huì)扭轉(zhuǎn)到我們這邊，我們會(huì)吸收消化掉一部分，看哪些可以通過(guò)程序集成起來(lái)，RDBA會(huì)嵌在RDS數(shù)據(jù)庫(kù)的控制臺(tái)上面，用戶可以免費(fèi)使用。

原文鏈接