資訊專欄INFORMATION COLUMN
異常檢測
離群點(diǎn)是在給定數(shù)據(jù)集中，與其他數(shù)據(jù)集顯著不同的點(diǎn)。異常檢測是找出數(shù)據(jù)中離群點(diǎn)（和大多數(shù)數(shù)據(jù)點(diǎn)顯著不同的數(shù)據(jù)點(diǎn)）的過程。
孤立森林
孤立森林（Isolation Forest）算法是西瓜書作者周志華老師的團(tuán)隊(duì)研究開發(fā)的算法，一般用于結(jié)構(gòu)化數(shù)據(jù)的異常檢測。
圖片來源于網(wǎng)絡(luò)
從統(tǒng)計(jì)學(xué)來看，在數(shù)據(jù)空間里，若一個(gè)區(qū)域內(nèi)只有分布稀疏的點(diǎn)，表示數(shù)據(jù)點(diǎn)落在此區(qū)域的概率很低，因此可以認(rèn)為這些區(qū)域的點(diǎn)是異常的。
也就是說，孤立森林算法的理論基礎(chǔ)有兩點(diǎn)：
異常點(diǎn)的特征值與正常點(diǎn)的差異很大。
項(xiàng)目實(shí)現(xiàn)
綜上所述，結(jié)合日常工作中的指標(biāo)周期性的告警信息，通過算法編程，實(shí)現(xiàn)對指標(biāo)的異常分析。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/129435.html
摘要：告警當(dāng)一個(gè)問題通過告警系統(tǒng)將消息以短信電話郵件等方式告知給用戶時(shí)，我們稱之為一條告警。圖統(tǒng)一告警系統(tǒng)結(jié)構(gòu)圖告警收斂對于告警平臺每天會產(chǎn)生數(shù)以萬計(jì)的告警，這些告警對于運(yùn)維或開發(fā)人員都需要去分析甄別優(yōu)先級并處理故障。 一、背景一套監(jiān)控系統(tǒng)檢測和告警是密不可分的，檢測用來發(fā)現(xiàn)異常，告警用來將問題信息發(fā)送給相應(yīng)的人。v...
摘要：隨著人工智能時(shí)代的到來，攜程生產(chǎn)環(huán)境運(yùn)維進(jìn)入了新的運(yùn)維時(shí)代。本文選取了幾種典型的運(yùn)維場景對在攜程的踐行展開了介紹，首先讓我們從概念認(rèn)識下。針對應(yīng)用異常指標(biāo)檢測這種場景，抽取一定的樣本統(tǒng)計(jì)，在基于專家經(jīng)驗(yàn)標(biāo)注下的準(zhǔn)確率可達(dá)到以上，召回率接近。 作者簡介徐新龍，攜程技術(shù)保障中心應(yīng)用管理團(tuán)隊(duì)高級工程師，負(fù)責(zé)多個(gè)AIOps項(xiàng)目的設(shè)計(jì)與研發(fā)。信號處理專業(yè)碩士畢業(yè)，對人工智能、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)及數(shù)學(xué)有...
摘要：至少可以提幾點(diǎn)不應(yīng)該做的事情不應(yīng)該用采集的難度決定你使用什么指標(biāo)去告警。 告警的本質(zhì) 沒有多少系統(tǒng)的告警是設(shè)計(jì)得當(dāng)?shù)?。良好的告警設(shè)計(jì)是一項(xiàng)非常困難的工作。如何知道你收到的告警是糟糕的？多少次你收到了告警之后，立即就關(guān)掉了的？是不是成天被這些然而并沒有什么卵用的東西給淹沒？最常見的告警設(shè)置：cpu使用率超過90%，然后告警。這種設(shè)置在大部分場合下是沒有辦法提供高質(zhì)量的告警的。 高質(zhì)量...
摘要：近十年監(jiān)控系統(tǒng)開發(fā)經(jīng)驗(yàn)，具有構(gòu)建基于大數(shù)據(jù)平臺的海量高可用分布式監(jiān)控系統(tǒng)研發(fā)經(jīng)驗(yàn)。監(jiān)控多維數(shù)據(jù)特點(diǎn)監(jiān)控的核心是對監(jiān)控對象的指標(biāo)采集處理檢測和分析。通過單一對象的指標(biāo)反映的狀態(tài)已不能滿足業(yè)務(wù)監(jiān)控需求。 吳樹生：騰訊高級工程師，負(fù)責(zé)SNG大數(shù)據(jù)監(jiān)控平臺建設(shè)。近十年監(jiān)控系統(tǒng)開發(fā)經(jīng)驗(yàn)，具有構(gòu)建基于大數(shù)據(jù)平臺的海量高可用分布式監(jiān)控系統(tǒng)研發(fā)經(jīng)驗(yàn)。前言在2015年構(gòu)建多維監(jiān)控平臺時(shí)用kmeans做了異常點(diǎn)...
摘要：近十年監(jiān)控系統(tǒng)開發(fā)經(jīng)驗(yàn)，具有構(gòu)建基于大數(shù)據(jù)平臺的海量高可用分布式監(jiān)控系統(tǒng)研發(fā)經(jīng)驗(yàn)。的哈勃多維監(jiān)控平臺在完成大數(shù)據(jù)架構(gòu)改造后，嘗試引入能力，多維根因分析是其中一試點(diǎn)，用于摸索的應(yīng)用經(jīng)驗(yàn)。 作者丨吳樹生：騰訊高級工程師，負(fù)責(zé)SNG大數(shù)據(jù)監(jiān)控平臺建設(shè)。近十年監(jiān)控系統(tǒng)開發(fā)經(jīng)驗(yàn)，具有構(gòu)建基于大數(shù)據(jù)平臺的海量高可用分布式監(jiān)控系統(tǒng)研發(fā)經(jīng)驗(yàn)。 導(dǎo)語：監(jiān)控?cái)?shù)據(jù)多維化后，帶來新的應(yīng)用場景。SNG的哈勃多...
摘要：安全態(tài)勢可視化系統(tǒng)的目的是生成網(wǎng)絡(luò)安全綜合態(tài)勢圖，以多視圖多角度多尺度的方式與用戶進(jìn)行交互。可以看到，黑客攻擊是無處不在，無時(shí)不有的，世界互聯(lián)網(wǎng)的安全態(tài)勢并不如我們印象中那么隱蔽和少見。 導(dǎo)語 網(wǎng)絡(luò)態(tài)勢可視化技術(shù)作為一項(xiàng)新技術(shù)，是網(wǎng)絡(luò)安全態(tài)勢感知與可視化技術(shù)的結(jié)合，將網(wǎng)絡(luò)中蘊(yùn)涵的態(tài)勢狀況通過可視化圖形方式展示給用戶，并借助于人在圖形圖像方面強(qiáng)大的處理能力，實(shí)現(xiàn)對網(wǎng)絡(luò)異常行為的分析和檢測...
閱讀 1356·2023-01-11 13:20
閱讀 1707·2023-01-11 13:20
閱讀 1215·2023-01-11 13:20
閱讀 1906·2023-01-11 13:20
閱讀 4165·2023-01-11 13:20
閱讀 2757·2023-01-11 13:20
閱讀 1402·2023-01-11 13:20
閱讀 3671·2023-01-11 13:20
