資訊專欄INFORMATION COLUMN
摘要：點(diǎn)擊事務(wù)入口選項(xiàng)可以看到對應(yīng)接口的響應(yīng)時(shí)間正常，代表對應(yīng)接口表現(xiàn)正常，如圖二我們需要繼續(xù)排查事務(wù)部分。因?yàn)橥粋€(gè)事務(wù)調(diào)取到的后端信息都是相同的，所以我們只需要選取其中的一條或幾條最優(yōu)代表性例如響應(yīng)時(shí)間較長的進(jìn)行問題定位即可。
[問題發(fā)現(xiàn)]
使用zabbix軟件監(jiān)控服務(wù)器時(shí)發(fā)現(xiàn)cpu突然異常，在業(yè)務(wù)主機(jī)上使用top命令查看系統(tǒng)的整體運(yùn)行情況，使用top命令后發(fā)現(xiàn)mysqld占用CPU特別高，初步判斷可能是mysqld出現(xiàn)問題，需要排查：
[排查步驟]
Step1:
登錄oneapm ai平臺后可以看到應(yīng)用列表的總覽視圖，在總覽視圖中可以看到所有應(yīng)用的名稱以及相關(guān)指標(biāo)信息，同時(shí)我們還可以根據(jù)應(yīng)用顏色變化來判斷每個(gè)應(yīng)用的指標(biāo)變化情況。本例中在Acmeair應(yīng)用的“用戶體驗(yàn)一覽”選項(xiàng)卡下可以看到它的業(yè)務(wù)在最近一段時(shí)間內(nèi)出現(xiàn)了71次失敗，我們需要點(diǎn)擊此應(yīng)用查看詳情，如圖一：
圖一
Step2：
利用top命令已經(jīng)基本排查出是數(shù)據(jù)庫導(dǎo)致CPU占用過高，我們可以通過查看調(diào)用數(shù)據(jù)庫的節(jié)點(diǎn)發(fā)現(xiàn)問題。
在AI平臺上點(diǎn)擊某個(gè)應(yīng)用進(jìn)入到該應(yīng)用的主頁，進(jìn)入之后可以看到該應(yīng)用的總體拓?fù)鋱D，總覽拓?fù)鋱D會把應(yīng)用中所有Tier、數(shù)據(jù)庫、遠(yuǎn)程服務(wù)與其他應(yīng)用之間的調(diào)用關(guān)系描繪出來，并且顯示他們的性能情況。當(dāng)某個(gè)節(jié)點(diǎn)的顏色為黃色或紅色時(shí)，代表該Tier的健康狀態(tài)是告警或嚴(yán)重。
點(diǎn)擊拓?fù)鋱D右上側(cè)的“數(shù)據(jù)庫-展開”選項(xiàng)，可以看到調(diào)用mysql數(shù)據(jù)庫的節(jié)點(diǎn)，點(diǎn)擊該節(jié)點(diǎn)（例如下圖中的Webapp11節(jié)點(diǎn)），出現(xiàn)的彈框中有總覽、節(jié)點(diǎn)、Web事務(wù)入口、Web事務(wù)、主機(jī)和容器幾個(gè)選項(xiàng)卡?！癢eb事務(wù)入口”可以看到某個(gè)應(yīng)用在應(yīng)用環(huán)境中請求的起始點(diǎn)；而“Web事務(wù)”展示了一些用戶最關(guān)心的的指標(biāo)，從而讓用戶對當(dāng)前查看Web事務(wù)的健康狀況產(chǎn)生總體的了解。
點(diǎn)擊“Web事務(wù)入口”選項(xiàng)可以看到對應(yīng)接口的響應(yīng)時(shí)間正常，代表對應(yīng)接口表現(xiàn)正常，如圖二；我們需要繼續(xù)排查“Web事務(wù)”部分。
圖二
點(diǎn)擊“Web事務(wù)”選項(xiàng)，可以給出該節(jié)點(diǎn)中所有Web事務(wù)的響應(yīng)時(shí)間及調(diào)用次數(shù)，點(diǎn)擊“響應(yīng)時(shí)間”可以將響應(yīng)時(shí)間從高往低排序，從而確認(rèn)緩慢的“Web事務(wù)”，如圖三。本例中，點(diǎn)擊響應(yīng)時(shí)間最長的Web事務(wù)查看詳情。
圖三
Step3：
點(diǎn)擊響應(yīng)時(shí)間最長的一個(gè)Web事務(wù)后，左上角“總覽”下“Web事務(wù)”的標(biāo)簽會顯示出該Web事務(wù)的平均響應(yīng)時(shí)間，點(diǎn)擊某一響應(yīng)時(shí)間較長的時(shí)間點(diǎn)，可以向下鉆取到所選時(shí)間段，精準(zhǔn)定位到問題時(shí)間點(diǎn)。同時(shí)在Web事務(wù)的下方可以看到該時(shí)間段內(nèi)的最慢組件，如圖四。
在本例中下鉆到具體時(shí)間點(diǎn)后，可以在“總覽”界面的“最慢組件”下看到是一個(gè)select語句比較耗時(shí)，再次佐證了我們的想法。
圖四
Step4：
Trace是對這段時(shí)間內(nèi)該用戶緩慢或錯(cuò)誤請求的詳細(xì)追蹤。
鉆取到問題時(shí)間段后，我們查看該時(shí)間范圍內(nèi)的Trace列表，如圖五。因?yàn)橥粋€(gè)Web事務(wù)調(diào)取到的后端信息都是相同的，所以我們只需要選取其中的一條或幾條最優(yōu)代表性（例如響應(yīng)時(shí)間較長）的Trace進(jìn)行問題定位即可。
在本例中我們按響應(yīng)時(shí)間進(jìn)行排序降序排列后，選擇第一條進(jìn)行Trace詳情查看。
圖五
點(diǎn)擊所選Trace之后，在Trace概要中可以看到該Trace中的最慢組件，如圖六。例如圖六中我們可以在Trace的總覽頁面發(fā)現(xiàn)customer/select語句耗時(shí)較長。
圖六
彈框中同樣還可以查看該Trace中的堆棧調(diào)用詳情。點(diǎn)擊“詳情”選項(xiàng)卡，如圖七，可以看到該sql語句對接口的影響，從而進(jìn)行代碼的優(yōu)化。在本例中，我們可以看到SQL語句的耗時(shí)百分比較高，可以看出該SQL語句對接口影響較大。
圖七
點(diǎn)擊該SQL語句 附加信息欄中的圖標(biāo)，可以查看到耗時(shí)較長的的sql語句詳情。我們也可以彈框左上角中的“SQL”選型卡，在彈框中也可以看到語句詳情、該語句的響應(yīng)時(shí)間及調(diào)用次數(shù)，如圖八、圖九：
圖八
圖九
至此，發(fā)現(xiàn)問題原因以及影響接口已全部排查出來！
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/75659.html
摘要：而阿里云自研的秒級監(jiān)控系統(tǒng)已經(jīng)可以做到秒點(diǎn)的真秒級粒度，全量指標(biāo)采集無一疏漏甚至對曾經(jīng)沒有出現(xiàn)過的指標(biāo)進(jìn)行自動(dòng)采集，實(shí)時(shí)數(shù)據(jù)展示。最后，秒級監(jiān)控已經(jīng)在阿里云控制臺開放，云的用戶可以自主進(jìn)行監(jiān)控開啟，體驗(yàn)秒級監(jiān)控帶來的高清體驗(yàn)。 在我們平時(shí)的數(shù)據(jù)庫使用當(dāng)中，監(jiān)控系統(tǒng)，作為排查故障，告警故障的重要輔助系統(tǒng)，對dba、運(yùn)維、業(yè)務(wù)開發(fā)同學(xué)進(jìn)行問題診斷、排查、分析有著重要的作用。并且一個(gè)監(jiān)控系統(tǒng)...
摘要：而阿里云自研的秒級監(jiān)控系統(tǒng)已經(jīng)可以做到秒點(diǎn)的真秒級粒度，全量指標(biāo)采集無一疏漏甚至對曾經(jīng)沒有出現(xiàn)過的指標(biāo)進(jìn)行自動(dòng)采集，實(shí)時(shí)數(shù)據(jù)展示。最后，秒級監(jiān)控已經(jīng)在阿里云控制臺開放，云的用戶可以自主進(jìn)行監(jiān)控開啟，體驗(yàn)秒級監(jiān)控帶來的高清體驗(yàn)。 在我們平時(shí)的數(shù)據(jù)庫使用當(dāng)中，監(jiān)控系統(tǒng)，作為排查故障，告警故障的重要輔助系統(tǒng)，對dba、運(yùn)維、業(yè)務(wù)開發(fā)同學(xué)進(jìn)行問題診斷、排查、分析有著重要的作用。并且一個(gè)監(jiān)控系統(tǒng)...
摘要：而阿里云自研的秒級監(jiān)控系統(tǒng)已經(jīng)可以做到秒點(diǎn)的真秒級粒度，全量指標(biāo)采集無一疏漏甚至對曾經(jīng)沒有出現(xiàn)過的指標(biāo)進(jìn)行自動(dòng)采集，實(shí)時(shí)數(shù)據(jù)展示。最后，秒級監(jiān)控已經(jīng)在阿里云控制臺開放，云的用戶可以自主進(jìn)行監(jiān)控開啟，體驗(yàn)秒級監(jiān)控帶來的高清體驗(yàn)。 在我們平時(shí)的數(shù)據(jù)庫使用當(dāng)中，監(jiān)控系統(tǒng)，作為排查故障，告警故障的重要輔助系統(tǒng)，對dba、運(yùn)維、業(yè)務(wù)開發(fā)同學(xué)進(jìn)行問題診斷、排查、分析有著重要的作用。并且一個(gè)監(jiān)控系統(tǒng)...
閱讀 3675·2021-09-07 09:59
閱讀 731·2019-08-29 15:12
閱讀 819·2019-08-29 11:14
閱讀 1325·2019-08-26 13:27
閱讀 2680·2019-08-26 10:38
閱讀 3149·2019-08-23 18:07
閱讀 1286·2019-08-23 14:40
閱讀 1936·2019-08-23 12:38
