資訊專欄INFORMATION COLUMN
摘要：例如，判斷機器的延時是否正常，部分是否正常。通常，我們對于異常的數(shù)據(jù)，要及時的報警，以盡快的處理。算法的迅猛發(fā)展，給異常日志挖掘提供了新的方向。然后檢測目標數(shù)據(jù)是否落在了正態(tài)分布的邊緣位置，如果落在了邊緣位置，則認為是一個異常數(shù)據(jù)。
提取異常日志是個大難題
面對海量的日志(TB乃至PB級別），如何從日志中挖掘出異常信息對于大部分的開發(fā)者而言是一個大難題。例如，判斷機器的延時是否正常，部分request是否正常。通常，我們對于異常的數(shù)據(jù)，要及時的報警，以盡快的處理。
通常我們是怎么搞得呢？ 在以前，依賴于開發(fā)者的經(jīng)驗，來根據(jù)某些特定的特征，判斷是否達到了閾值，例如根據(jù)延時是否達到了某個特定的值，或者http 響應碼5xx的比例達到了某個閾值。這個閾值，依賴于資深的開發(fā)者的豐富的經(jīng)驗。
AI dev/opsAI算法的迅猛發(fā)展，給異常日志挖掘提供了新的方向。大名鼎鼎的AI領域專家吳恩達(Andrew NG)，在他所教授的Machine Learning課程中提供了一種Abnormal Detection算法。算法通過訓練數(shù)據(jù)集，獲得一個正態(tài)分布。然后檢測目標數(shù)據(jù)是否落在了正態(tài)分布的邊緣位置，如果落在了邊緣位置，則認為是一個異常數(shù)據(jù)。
算法步驟：
確定要訓練的feature，可以是單個指標，比如latency，也可以是復合指標，例如CPU/NetFlow
在訓練數(shù)據(jù)集上，求得均值μ和方差σ^2
對新數(shù)據(jù)求方程P(x)＝
接下來，我們介紹如何在SQL中使用該算法來檢測異常。
日志服務提供的異常檢測算法以延時為例，我們來看哪些延時是異常的。 延時的分布一般是這樣的：
不滿足正太的需求，要把上述圖形轉化成正太分布，對latency 求對數(shù)：log(latency)
值μ和方差σ^2:
stddev即標準差
variance即方差
avg_ln即ln(latency)的均值
avglatency即latency的均值
提取異常數(shù)據(jù)
| select latency where pow(e(), - pow((ln(latency) - 8.223) ,2)/2/0.3975) /sqrt(2*pi()) / 0.53 < 0.01 order by latency desc
把方差標準差和均值帶入公式，使用where篩選出來小于0.01的結果，即異常值?？梢钥吹?，獲得的結果，明顯大于軍latency的均值。
文章版權歸作者所有，未經(jīng)允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉載請注明本文地址：http://systransis.cn/yun/19716.html
摘要：摘要智能監(jiān)控是智能運維的子領域，詳細分析。我和我的團隊在阿里內(nèi)部的分工是橫向去看阿里巴巴業(yè)務指標的監(jiān)控，我們就以這個話題展開。分享分為五個環(huán)節(jié)，從阿里巴巴不同的業(yè)態(tài)，特別是新的業(yè)態(tài)帶來的挑戰(zhàn)講起。 摘要：?智能監(jiān)控是智能運維的子領域，詳細分析。 showImg(https://segmentfault.com/img/remote/1460000017348788); 作者簡介 王肇...
摘要：數(shù)據(jù)出來后，阿里云還要在全球范圍內(nèi)調(diào)度流量，一絲一毫的不準確都可能導致很嚴重的后果，所以對于數(shù)據(jù)的準確性要求很高。阿里云更多的是做實時數(shù)據(jù)分析。 想要實現(xiàn)優(yōu)質高速的互聯(lián)網(wǎng)視頻服務，一定離不開高質量的內(nèi)容分發(fā)網(wǎng)絡服務，就是我們常說的CDN，在10月13日云棲大會視頻多媒體分論壇上，阿里云高級技術專家空見為大家講解了CDN服務過程中，數(shù)據(jù)處理、安全監(jiān)測、日志分析、智能分析是如何為CDN賦能...
摘要：數(shù)據(jù)出來后，阿里云還要在全球范圍內(nèi)調(diào)度流量，一絲一毫的不準確都可能導致很嚴重的后果，所以對于數(shù)據(jù)的準確性要求很高。阿里云更多的是做實時數(shù)據(jù)分析。 想要實現(xiàn)優(yōu)質高速的互聯(lián)網(wǎng)視頻服務，一定離不開高質量的內(nèi)容分發(fā)網(wǎng)絡服務，就是我們常說的CDN，在10月13日云棲大會視頻多媒體分論壇上，阿里云高級技術專家空見為大家講解了CDN服務過程中，數(shù)據(jù)處理、安全監(jiān)測、日志分析、智能分析是如何為CDN賦能...
摘要：導讀閱讀本文需要有足夠的時間，筆者會由淺到深帶你一步一步了解一個資深架構師所要掌握的各類知識點，你也可以按照文章中所列的知識體系對比自身，對自己進行查漏補缺，覺得本文對你有幫助的話，可以點贊關注一下。目錄一基礎篇二進階篇三高級篇四架構篇五擴 導讀：閱讀本文需要有足夠的時間，筆者會由淺到深帶你一步一步了解一個資深架構師所要掌握的各類知識點，你也可以按照文章中所列的知識體系對比自身，對自己...
閱讀 1351·2023-04-25 23:47
閱讀 929·2021-11-23 09:51
閱讀 4480·2021-09-26 10:17
閱讀 3729·2021-09-10 11:19
閱讀 3268·2021-09-06 15:10
閱讀 3556·2019-08-30 12:49
閱讀 2436·2019-08-29 13:20
閱讀 1743·2019-08-28 18:14
