點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。?！ 

近年來，隨著國家大數(shù)據(jù)發(fā)展戰(zhàn)略加快實(shí)施，大數(shù)據(jù)技術(shù)創(chuàng)新與應(yīng)用日趨活躍，網(wǎng)絡(luò)安全問題迫在眉睫。

同時(shí)基于“要全面加強(qiáng)網(wǎng)絡(luò)安全檢查，摸清家底，認(rèn)清風(fēng)險(xiǎn)，找出漏洞，通報(bào)結(jié)果，督促整改”的要求，急需加快對(duì)相關(guān)業(yè)務(wù)系統(tǒng)登錄和訪問用戶信息及操作敏感數(shù)據(jù)日志進(jìn)行行為分析預(yù)警。

由此，客戶對(duì)現(xiàn)場運(yùn)維團(tuán)隊(duì)提出要求具備接入業(yè)務(wù)系統(tǒng)的各類用戶行為日志進(jìn)行分析的能力。

具體包括以下方面：

• 集中采集安全軟硬件設(shè)備（WAF、IPS、IDS、DDOS、DLP、基線、弱口令、防火墻、交換機(jī)、主機(jī)、數(shù)據(jù)庫、及中間件）等日志，對(duì)采集到的數(shù)據(jù)實(shí)施清洗和過濾、標(biāo)準(zhǔn)化、關(guān)聯(lián)補(bǔ)齊、添加標(biāo)簽等處理。

• 按照管控要求，對(duì)各類日志進(jìn)行相應(yīng)的審計(jì)。

• 對(duì)用戶行為進(jìn)行各類分析，包括行為分析、網(wǎng)絡(luò)攻擊分析、系統(tǒng)安全分析、應(yīng)用攻擊分析。

 

實(shí)現(xiàn)思路分析

根據(jù)上述的能力建設(shè)要求，我們分析所需要建設(shè)的平臺(tái)要具備的能力可以歸納為：

• 日志采集

• 日志存儲(chǔ)

• 日志檢索

• 日志分析

這里可以看到能力圍繞的目標(biāo)都是日志，完全可以看做是一個(gè)日志管理平臺(tái)。但是，目前基于ELK架構(gòu)的開源日志管理解決方案，是在基于日志采集入庫之后再進(jìn)行分析，存在較大的時(shí)延性，對(duì)于客戶所提出的要對(duì)潛在攻擊或異常用戶行為的即時(shí)預(yù)警能力方面力所不逮。

因此我們考慮在傳統(tǒng)日志管理平臺(tái)建設(shè)的基礎(chǔ)上，加入實(shí)時(shí)計(jì)算的能力，以此來實(shí)現(xiàn)對(duì)異常事件的快速感知和告警輸出。另外，針對(duì)行為分析所需的場景，我們也增加了一些對(duì)應(yīng)的數(shù)據(jù)處理和邏輯判斷能力。

平臺(tái)主要建設(shè)了以下幾個(gè)方面的能力

1. 實(shí)現(xiàn)多類型數(shù)據(jù)的集成融合

由于平臺(tái)本身并不是安全設(shè)備平臺(tái)，同時(shí)企業(yè)內(nèi)部已經(jīng)部署了各類安全設(shè)備，并可以支持吐出各類日志信息。因此，平臺(tái)要能直接對(duì)接其他平臺(tái)的日志輸出。但是對(duì)于其他平臺(tái)不具備的原始日志數(shù)據(jù)分析能力，我們也需要平臺(tái)自身也要有采集各類數(shù)據(jù)的能力。

根據(jù)調(diào)研各類安全設(shè)備、主機(jī)、中間件、業(yè)務(wù)應(yīng)用的日志存儲(chǔ)和接口情況，確定本平臺(tái)需要具備的對(duì)接能力包括：

• 日志文件的采集；

• syslog采集；

• 接口調(diào)用采集；

• jdbc采集；

• kafka管道采集這幾類。

其中比較特殊的是文件采集和jdbc采集。有個(gè)安全平臺(tái)的日志會(huì)將多類不同的日志吐到同一個(gè)syslog中，不利于后續(xù)做分析，因此我們考慮在接收該日志時(shí)根據(jù)每條日志中標(biāo)識(shí)的類型進(jìn)行分解，分類存放到多個(gè)文件中去，用python可以很容易實(shí)現(xiàn)。

另一個(gè)難點(diǎn)是有些業(yè)務(wù)系統(tǒng)對(duì)于用戶的行為存放在日志表中，是使用一個(gè)字段存放了一個(gè)json字符串，包含多個(gè)關(guān)鍵信息，因此需要對(duì)采集到的字段做二次分詞解析，來實(shí)現(xiàn)對(duì)關(guān)鍵信息的提取。這個(gè)功能我們考慮在日志分詞的功能上進(jìn)行擴(kuò)展實(shí)現(xiàn)。

綜合以上分析，除了開源架構(gòu)所具備的日志采集能力外，需要擴(kuò)展的功能如下：

• 通過jdbc采集接入數(shù)據(jù)庫表數(shù)據(jù)后的二次分詞

  各業(yè)務(wù)系統(tǒng)存儲(chǔ)到數(shù)據(jù)表中的用戶行為日志數(shù)據(jù)，存在存儲(chǔ)格式不一致的現(xiàn)象，且改造難度較大，無法適用統(tǒng)一日志存儲(chǔ)的規(guī)范要求，部分日志存在單個(gè)字段中處存放json串格式存儲(chǔ)多個(gè)關(guān)鍵數(shù)據(jù)的情況。

  因此需要在實(shí)現(xiàn)jdbc方式對(duì)這類用戶行為數(shù)據(jù)進(jìn)行采集后，使用二次分詞的方式對(duì)單個(gè)字段進(jìn)行進(jìn)一步分詞處理，分解出關(guān)鍵信息用于審計(jì)、檢索、分析等需求。

• 采集第三方系統(tǒng)吐出到kafka-topic的數(shù)據(jù)

  支持對(duì)接第三方系統(tǒng)吐出到kafka-topic的數(shù)據(jù)，并實(shí)現(xiàn)對(duì)原始數(shù)據(jù)的數(shù)據(jù)過濾、數(shù)據(jù)加工、關(guān)鍵字分詞提取、指標(biāo)化數(shù)據(jù)分析及告警的處理流程，并將原始數(shù)據(jù)按需要進(jìn)行分類存儲(chǔ)，支持審計(jì)、檢索等前端訪問的需求。

• 實(shí)現(xiàn)多路實(shí)時(shí)數(shù)據(jù)的關(guān)聯(lián)并輸出

  實(shí)現(xiàn)對(duì)各類網(wǎng)絡(luò)設(shè)備流量日志數(shù)據(jù)、主機(jī)操作日志、業(yè)務(wù)系統(tǒng)登錄日志、操作日志數(shù)據(jù)等不同數(shù)據(jù)源類型的日志數(shù)據(jù)的關(guān)聯(lián)。通過建立關(guān)鍵字段邏輯關(guān)聯(lián)，達(dá)到獲取單個(gè)用戶全行為操作數(shù)據(jù)匯聚的目的。

• 實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)與維表數(shù)據(jù)的關(guān)聯(lián)并輸出新數(shù)據(jù)

  實(shí)現(xiàn)根據(jù)對(duì)各類日志數(shù)據(jù)中的關(guān)鍵字提取，與一些數(shù)據(jù)庫維表數(shù)據(jù)建立實(shí)時(shí)關(guān)聯(lián)檢索，獲取數(shù)據(jù)庫維表數(shù)據(jù)的關(guān)鍵信息附加到日志數(shù)據(jù)的需求。該功能需要滿足海量數(shù)據(jù)條件下的關(guān)鍵維表數(shù)據(jù)附加加工操作的性能要求，避免出現(xiàn)大幅度的數(shù)據(jù)處理延時(shí)或積壓。

2. 統(tǒng)一的用戶行為數(shù)據(jù)生命周期管理和訪問

根據(jù)需要將原始日志在線保存1年，離線保存2年。由于日志量大，傳統(tǒng)的原始日志全部存放到ES庫的方案存在檢索效率低，資源占用大的風(fēng)險(xiǎn)，因此我們考慮以ES+HBASE的復(fù)合存儲(chǔ)架構(gòu)來對(duì)原始日志數(shù)據(jù)進(jìn)行保存。

原始日志的檢索和審計(jì)功能在ELK的開源方案里是具備的，但因?yàn)槲覀兊拇鎯?chǔ)架構(gòu)發(fā)生了變化，所以會(huì)需要針對(duì)該存儲(chǔ)架構(gòu)進(jìn)行適配建設(shè)。

針對(duì)存儲(chǔ)架構(gòu)的配合改造主要包括以下方面：

• 數(shù)據(jù)采集過程改造

  通過客戶端采集到的日志文件、syslog日志、第三方接口數(shù)據(jù)、Kafka等消息管道數(shù)據(jù)，得到的用戶行為原始數(shù)據(jù)，為每條原始數(shù)據(jù)創(chuàng)建唯一索引編碼，通過唯一索引編碼可映射對(duì)原始數(shù)據(jù)的檢索。

• 構(gòu)建索引數(shù)據(jù)改造

  不同的數(shù)據(jù)類型，在實(shí)時(shí)計(jì)算模塊中將審計(jì)字段、業(yè)務(wù)檢索字段、唯一索引編碼提取，生成索引數(shù)據(jù)，使用該數(shù)據(jù)作為數(shù)據(jù)審計(jì)或檢索的關(guān)鍵信息。

• 索引數(shù)據(jù)存儲(chǔ)及適配改造

  索引數(shù)據(jù)存儲(chǔ)到ES庫，按日建索引，構(gòu)建并支撐存儲(chǔ)1年。超過1年以上的數(shù)據(jù)，按月導(dǎo)出備份文件，存儲(chǔ)2年。

• 原始數(shù)據(jù)存儲(chǔ)及檢索適配改造

  原始數(shù)據(jù)分詞處理后的半格式化數(shù)據(jù)在ES庫中保留14天（可根據(jù)業(yè)務(wù)需要及存儲(chǔ)資源自定義），用于實(shí)時(shí)查看、近期問題分析、上下文檢索等分析需求。

• 審計(jì)及檢索配合改造

  以唯一索引編碼為key，半格式化數(shù)據(jù)為value，將數(shù)據(jù)存儲(chǔ)到HBASE庫中保存1年，支持通過唯一索引編碼進(jìn)行快速查找。

3. 實(shí)時(shí)數(shù)據(jù)處理及分析計(jì)算過程可配置化和可視化

我們將數(shù)據(jù)的處理和計(jì)算需求歸納為格式化、聚合計(jì)算、以及規(guī)則計(jì)算。要在平臺(tái)中提供可視化的處理配置能力，通過數(shù)據(jù)處理流程的配置實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)處理執(zhí)行。并在后臺(tái)提供計(jì)算組件的方式提供不同的計(jì)算能力。數(shù)據(jù)處理中提供對(duì)過程數(shù)據(jù)的可觀測性，對(duì)各組件運(yùn)行狀態(tài)、數(shù)據(jù)流量等關(guān)鍵信息進(jìn)行展現(xiàn)。

圖片來源于網(wǎng)絡(luò)

根據(jù)上述要求，我們考慮在開源架構(gòu)基礎(chǔ)上，增加實(shí)時(shí)計(jì)算框架，實(shí)現(xiàn)以下類型的數(shù)據(jù)加工處理規(guī)則或邏輯判斷規(guī)則：

• 數(shù)據(jù)處理類

  日志類數(shù)據(jù)分詞

  結(jié)構(gòu)化數(shù)據(jù)的二次加工、屬性項(xiàng)新增、數(shù)值轉(zhuǎn)換等

  非結(jié)構(gòu)化數(shù)據(jù)提取生成結(jié)構(gòu)化數(shù)據(jù)

• 指標(biāo)計(jì)算類

  簡單指標(biāo)計(jì)算（最值計(jì)算、均值計(jì)算、分類統(tǒng)計(jì)等）

  復(fù)合指標(biāo)計(jì)算（對(duì)已生成指標(biāo)或告警的二次統(tǒng)計(jì)計(jì)算）

  關(guān)聯(lián)指標(biāo)計(jì)算（實(shí)現(xiàn)對(duì)兩個(gè)或兩個(gè)以上指標(biāo)做關(guān)聯(lián)生成新的指標(biāo)）

  加工指標(biāo)計(jì)算（對(duì)指標(biāo)的二次加工，如數(shù)值轉(zhuǎn)換，key值轉(zhuǎn)換，key值新增等）

• 判斷規(guī)則類

  閾值規(guī)則（固定閾值比對(duì)判斷）

  同比環(huán)比規(guī)則（與歷史同期數(shù)據(jù)或時(shí)序前列數(shù)據(jù)的比對(duì)判斷）

  動(dòng)態(tài)基線比對(duì)規(guī)則（以歷史數(shù)據(jù)根據(jù)配置規(guī)則生成動(dòng)態(tài)基線）

  指標(biāo)未生成規(guī)則（有基線數(shù)據(jù)，無實(shí)時(shí)數(shù)據(jù)時(shí)產(chǎn)生）

  規(guī)則清單包括以下統(tǒng)計(jì)計(jì)算規(guī)則和邏輯判斷規(guī)則

4. 用戶行為分析指標(biāo)數(shù)據(jù)與資產(chǎn)關(guān)聯(lián)

針對(duì)主機(jī)、網(wǎng)絡(luò)設(shè)備、安全設(shè)備等日志分析得到的的各類關(guān)鍵指標(biāo)或告警數(shù)據(jù)，由于目前只包含IP等物理關(guān)鍵信息，而管理側(cè)需要進(jìn)一步到CMDB等管理系統(tǒng)中去查找該IP的歸屬業(yè)務(wù)系統(tǒng)或歸屬管理責(zé)任人。

這一動(dòng)作在實(shí)際工作中非常影響對(duì)安全攻擊事件的處置效率。

因此需要以實(shí)時(shí)計(jì)算能力支撐對(duì)數(shù)據(jù)的格式化，并建立和CMDB資產(chǎn)的關(guān)聯(lián)。這樣可以大大提升各類數(shù)據(jù)之間的關(guān)聯(lián)能力，為數(shù)據(jù)分析應(yīng)用打下良好基礎(chǔ)。自動(dòng)能根據(jù)管理需要關(guān)聯(lián)得到對(duì)應(yīng)的歸屬系統(tǒng)（歸屬責(zé)任人）信息并隨指標(biāo)或告警一起輸出，減輕管理人員的二次核查信息工作量，提升事件處置效率。

5. 建立用戶日常行為基線及異常預(yù)警

針對(duì)用戶行為的分析，不只是基于簡單的閾值判斷，不同的用戶有不同的操作習(xí)慣或行為需求，因此還需要根據(jù)實(shí)際用戶的行為習(xí)慣建立操作基線，并以動(dòng)態(tài)基線的形式來實(shí)現(xiàn)對(duì)異常的捕獲和預(yù)警能力。

• 應(yīng)用動(dòng)態(tài)基線實(shí)現(xiàn)更精準(zhǔn)的異常檢測優(yōu)化

  根據(jù)不同時(shí)間段正常值建立動(dòng)態(tài)基線，然后根據(jù)被測時(shí)刻歷史數(shù)據(jù)的統(tǒng)計(jì)值與動(dòng)態(tài)基線值的偏離程度建立動(dòng)態(tài)臨界線，當(dāng)某一時(shí)間段的值超過了臨界線，判定此時(shí)段為值異常時(shí)段。

  實(shí)際進(jìn)行動(dòng)態(tài)基線異常監(jiān)測時(shí)，對(duì)于一些行為操作數(shù)據(jù)量正常，但會(huì)高于固定臨界值而被誤判為異常的場景，使用以動(dòng)態(tài)基線為基礎(chǔ)的動(dòng)態(tài)臨界機(jī)制，即時(shí)所造成的正常值增加仍然會(huì)低于動(dòng)態(tài)的臨界值。而只有與流量基線明顯偏離的時(shí)段才會(huì)被視為異常值。

• 面向單個(gè)用戶建立日常行為操作范圍基準(zhǔn)

  通過對(duì)各類日志的關(guān)鍵信息提取，實(shí)現(xiàn)對(duì)單個(gè)用戶登錄到內(nèi)網(wǎng)后的所有操作行為的匯聚及分析，包括用戶的VPN登錄日志、4A登錄日志、網(wǎng)絡(luò)設(shè)備的流量日志、主機(jī)登錄日志、主機(jī)操作日志、數(shù)據(jù)庫登錄日志、數(shù)據(jù)庫操作日志、中間件登錄日志、中間件操作日志、業(yè)務(wù)系統(tǒng)登錄日志、業(yè)務(wù)系統(tǒng)操作日志等，將這些日志數(shù)據(jù)分別提取用戶關(guān)鍵信息、目標(biāo)關(guān)鍵信息、場景關(guān)鍵信息，并以單個(gè)用戶為分析目標(biāo)，建立其日常行為基準(zhǔn)，對(duì)存在超出基準(zhǔn)行為之外的異常動(dòng)作進(jìn)行預(yù)警和干預(yù)。

6. 前臺(tái)的靈活配置數(shù)據(jù)展現(xiàn)能力

平臺(tái)在構(gòu)建用戶行為分析場景時(shí)要支持以零代碼方式實(shí)現(xiàn)的?；诂F(xiàn)場運(yùn)維人員大多具備SQL能力這個(gè)現(xiàn)狀，我們將分析場景的構(gòu)建能力定位為只要懂sql就能構(gòu)建場景這個(gè)目標(biāo)。

分析結(jié)果數(shù)據(jù)展現(xiàn)場景只需要配置sql腳本或參數(shù)配置，平臺(tái)要支持對(duì)各類可視化組件的拖拉拽方式布局，并以拓?fù)鋱D、報(bào)表頁面、分析頁面形式展現(xiàn)，通過零代碼開發(fā)生成場景功能頁面及實(shí)現(xiàn)各界面組件間的聯(lián)動(dòng)、跳轉(zhuǎn)、下鉆等功能。

用戶行為分析的對(duì)象是各類設(shè)備的日志數(shù)據(jù)。

除了對(duì)于運(yùn)維人員來說習(xí)以為常的主機(jī)、數(shù)據(jù)庫、中間件、網(wǎng)絡(luò)設(shè)備等日志外，在企業(yè)的IT環(huán)境中有大量用于各種用途的安全設(shè)備，對(duì)于平時(shí)接觸較少的同學(xué)來說可能名字都比較陌生。這些安全設(shè)備主要以安全類攻擊和防護(hù)能力為主，但是對(duì)于用戶行為的分析能力偏弱，特別是對(duì)于某些場景涉及多類日志的綜合分析的情況，單一設(shè)備平臺(tái)往往難以具備相關(guān)能力，必須通過將這些設(shè)備的數(shù)據(jù)統(tǒng)一收集并進(jìn)行關(guān)聯(lián)分析后得出更有價(jià)值的分析結(jié)果。

我們?cè)谧铋_始也一頭霧水，經(jīng)過多次和安全相關(guān)部門的客戶或廠商接觸溝通后，才有了一些了解，由于需要對(duì)這些安全設(shè)備平臺(tái)進(jìn)行日志采集，必須要對(duì)其有所了解，在此將網(wǎng)上收集到的一些信息整理供大家參考：

1. 動(dòng)態(tài)應(yīng)用防護(hù)系統(tǒng)

動(dòng)態(tài)安全以動(dòng)態(tài)防護(hù)技術(shù)為核心，可對(duì)企業(yè)內(nèi)、外網(wǎng)的應(yīng)用提供主動(dòng)防護(hù)，不僅可以防護(hù)傳統(tǒng)攻擊行為，還可以有效防御傳統(tǒng)防護(hù)手段乏力的自動(dòng)化攻擊。

對(duì)企業(yè)內(nèi)、外網(wǎng)的應(yīng)用提供主動(dòng)防護(hù)，不僅可以防護(hù)傳統(tǒng)攻擊行為，還可以有效防御傳統(tǒng)防護(hù)手段乏力的自動(dòng)化攻擊。

通過動(dòng)態(tài)封裝、動(dòng)態(tài)驗(yàn)證、動(dòng)態(tài)混淆、動(dòng)態(tài)令牌等創(chuàng)新技術(shù)實(shí)現(xiàn)了從用戶端到服務(wù)器端的全方位“主動(dòng)防護(hù)”，為各類 Web、HTML5提供強(qiáng)大的安全保護(hù)。讓攻擊者無從下手，從而大幅提升攻擊的難度。

主要功能：

• 網(wǎng)站漏洞隱藏

  使漏洞掃描攻擊無法獲取漏洞信息，使漏洞利用工具無法執(zhí)行，在網(wǎng)站未打補(bǔ)丁和補(bǔ)丁空窗期提供有效安全保護(hù)；

• 網(wǎng)站代碼隱藏

  對(duì)網(wǎng)站底層的代碼進(jìn)行封裝，使攻擊者無法分析網(wǎng)站應(yīng)用的源代碼；

• 傳統(tǒng)應(yīng)用安全威脅防護(hù)

  有效防止SQL注入、越權(quán)訪問、跨站攻擊、網(wǎng)頁后門等攻擊行為；

• 自動(dòng)化攻擊防護(hù)

  有效防護(hù)攻擊者利用自動(dòng)化攻擊腳本或工具對(duì)應(yīng)用發(fā)起的攻擊行為；

• 模擬合法操作攻擊防護(hù)

  可有效應(yīng)對(duì)攻擊者利用工具、合法身份，模擬正常人工訪問的攻擊行為；

• 數(shù)據(jù)防泄露

  防止惡意人員使用工具或腳本程序通過前臺(tái)應(yīng)用批量獲取數(shù)據(jù)的攻擊行為。

2. DLP（數(shù)據(jù)安全防泄密系統(tǒng)）

數(shù)據(jù)泄漏防護(hù)是通過一定的技術(shù)或管理手段，防止企業(yè)組織的指 定數(shù)據(jù)或信息資產(chǎn)以違反安全策略規(guī)定的形式被有意或意外流出。數(shù)據(jù)防泄露產(chǎn)品（Data Leak Protection或Data leakage prevention）

1）數(shù)據(jù)防泄露系統(tǒng)-管理平臺(tái)

是基于Web界面的綜合管理平臺(tái)，可配置基于用戶角色的訪問控制和系統(tǒng)管理選項(xiàng)。用戶通過管理平臺(tái)可依據(jù)內(nèi)置策略模板，統(tǒng)一制定數(shù)據(jù)防泄露策略，并集中下發(fā)到各安全模塊，從而對(duì)客戶敏感數(shù)據(jù)進(jìn)行全方位的保護(hù)。管理平臺(tái)可視化地呈現(xiàn)敏感數(shù)據(jù)分布狀況和安全態(tài)勢，可生成泄露事件日志和報(bào)表，幫助用戶進(jìn)行審核、審計(jì)和補(bǔ)救操作。

2）數(shù)據(jù)防泄露系統(tǒng)-終端保護(hù)

終端保護(hù)客戶端掃描并發(fā)現(xiàn)電腦上的敏感信息分布和不當(dāng)存儲(chǔ)，監(jiān)控對(duì)敏感信息的使用并進(jìn)行實(shí)時(shí)保護(hù)（如復(fù)制敏感信息到U盤等可移動(dòng)存儲(chǔ)上，通過QQ、微信、個(gè)人郵箱外發(fā)敏感信息等，或者將其發(fā)至網(wǎng)盤、BBS等公共互聯(lián)網(wǎng)），排除數(shù)據(jù)從終端泄露的風(fēng)險(xiǎn)。

3）數(shù)據(jù)防泄露系統(tǒng)-郵件保護(hù)

郵件保護(hù)監(jiān)控和掃描員工外發(fā)的電子郵件，包括信封、主題、正文和附件，對(duì)發(fā)現(xiàn)含有敏感信息的郵件進(jìn)行隔離保護(hù)，交由相關(guān)人員審批，并根據(jù)審批結(jié)果對(duì)郵件進(jìn)行放行或者阻止，實(shí)現(xiàn)對(duì)通過企業(yè)郵箱泄露敏感信息的精確控制。

4）數(shù)據(jù)防泄露系統(tǒng)-網(wǎng)絡(luò)監(jiān)控

網(wǎng)絡(luò)監(jiān)控通過鏡像旁路方式監(jiān)控捕獲來自多種網(wǎng)絡(luò)通道的外發(fā)數(shù)據(jù)，在確保不對(duì)網(wǎng)絡(luò)環(huán)境造成任何影響的情況下，發(fā)現(xiàn)并記錄經(jīng)由網(wǎng)絡(luò)外發(fā)的敏感數(shù)據(jù)泄露事件，幫助客戶分析事件發(fā)生原因，追蹤到相應(yīng)責(zé)任人，采取補(bǔ)救措施以消除影響，挽回?fù)p失并避免安全事故的再次發(fā)生。

5）數(shù)據(jù)防泄露系統(tǒng)-網(wǎng)絡(luò)保護(hù)

網(wǎng)絡(luò)保護(hù)幫助用戶監(jiān)控、阻止和保護(hù)敏感數(shù)據(jù)通過Web通道外泄。網(wǎng)絡(luò)保護(hù)同時(shí)支持HTTP、HTTPS和SMTP協(xié)議，對(duì)網(wǎng)絡(luò)數(shù)據(jù)流量實(shí)時(shí)進(jìn)行內(nèi)容恢復(fù)和掃描，從而實(shí)現(xiàn)對(duì)通過Web方式泄露的敏感信息進(jìn)行監(jiān)控和阻斷并上傳日志通知用戶。

6）數(shù)據(jù)防泄露系統(tǒng)-數(shù)據(jù)發(fā)現(xiàn)

數(shù)據(jù)發(fā)現(xiàn)亦叫網(wǎng)絡(luò)數(shù)據(jù)發(fā)現(xiàn)，通過掃描網(wǎng)絡(luò)上的FTP服務(wù)器、文件服務(wù)器和郵件服務(wù)器中的數(shù)據(jù)，使用戶掌握敏感信息在網(wǎng)絡(luò)存儲(chǔ)設(shè)備上分布和不當(dāng)存儲(chǔ)，發(fā)現(xiàn)敏感信息泄露的潛在風(fēng)險(xiǎn)。

7）數(shù)據(jù)防泄露系統(tǒng)-應(yīng)用系統(tǒng)保護(hù)

應(yīng)用系統(tǒng)保護(hù)幫助用戶監(jiān)控、阻止和保護(hù)通過web應(yīng)用系統(tǒng)下載或上傳敏感信息。應(yīng)用系統(tǒng)保護(hù)支持HTTP和HTTPS協(xié)議，對(duì)訪問web應(yīng)用系統(tǒng)的流量實(shí)時(shí)進(jìn)行內(nèi)容恢復(fù)和掃描，從而實(shí)現(xiàn)對(duì)上傳到web應(yīng)用系統(tǒng)和從web應(yīng)用系統(tǒng)下載的敏感信息進(jìn)行監(jiān)控和阻斷并上傳日志通知用戶。

3. WAF（WEB應(yīng)用防護(hù)系統(tǒng)）

Web應(yīng)用防護(hù)系統(tǒng)（也稱為：網(wǎng)站應(yīng)用級(jí)入侵防御系統(tǒng)。英文：Web Application Firewall，簡稱：WAF）。利用國際上公認(rèn)的一種說法： 

企業(yè)等用戶一般采用防火墻作為安全保障體系的第一道防線。但是在現(xiàn)實(shí)中，Web服務(wù)器和應(yīng)用存在各種各樣的安全問題，并隨著黑客技術(shù)的進(jìn)步也變得更加難以預(yù)防，因?yàn)檫@些問題是普通防火墻難以檢測和阻斷的，由此產(chǎn)生了WAF（Web應(yīng)用防護(hù)系統(tǒng)）。

Web應(yīng)用防護(hù)系統(tǒng)（Web Application Firewall, 簡稱：WAF）代表了一類新興的信息安全技術(shù)，用以解決諸如防火墻一類傳統(tǒng)設(shè)備束手無策的Web應(yīng)用安全問題。與傳統(tǒng)防火墻不同，WAF工作在應(yīng)用層，因此對(duì)Web應(yīng)用防護(hù)具有先天的技術(shù)優(yōu)勢?；趯?duì)Web應(yīng)用業(yè)務(wù)和邏輯的深刻理解，WAF對(duì)來自Web應(yīng)用程序客戶端的各類請(qǐng)求進(jìn)行內(nèi)容檢測和驗(yàn)證，確保其安全性與合法性，對(duì)非法的請(qǐng)求予以實(shí)時(shí)阻斷，從而對(duì)各類網(wǎng)站站點(diǎn)進(jìn)行有效防護(hù)。

4. DDOS防御系統(tǒng)

防御DDOS是一個(gè)系統(tǒng)工程，DDOS攻擊是分布、協(xié)奏更為廣泛的大規(guī)模攻擊陣勢，當(dāng)然其破壞能力也是前所不及的。這也使得DDOS的防范工作變得更加困難。

想僅僅依靠某種系統(tǒng)或高防防流量攻擊服務(wù)器防住DDOS是不現(xiàn)實(shí)的，可以肯定的是，完全杜絕DDOS是不可能的，但通過適當(dāng)?shù)拇胧┑钟?9.9%的DDOS攻擊是可以做到的，基于攻擊和防御都有成本開銷的緣故，若通過適當(dāng)?shù)霓k法增強(qiáng)了抵御DDOS的能力，也就意味著加大了攻擊者的攻擊成本，那么絕大多數(shù)攻擊者將無法繼續(xù)下去而放棄，也就相當(dāng)于成功的抵御了DDOS攻擊。

近年來隨著網(wǎng)絡(luò)的不斷普及，流量攻擊在互聯(lián)網(wǎng)上的大肆泛濫，DDOS攻擊的危害性不斷升級(jí)，面對(duì)各種潛在不可預(yù)知的攻擊，越來越多的企業(yè)顯的不知所措和力不從心。單一的高防防流量攻擊服務(wù)器就像一個(gè)大功率的防火墻一樣能解決的問題是有限的，而集群式的高防防流量攻擊技術(shù)，也不是一般企業(yè)所能掌握和使用的。

怎么樣可以確保在遭受DDOS攻擊的條件下，服務(wù)器系統(tǒng)能夠正常運(yùn)行呢或是減輕DDOS攻擊的危害性？

對(duì)于企業(yè)來講，這個(gè)系統(tǒng)工程往往要投入大量的網(wǎng)絡(luò)設(shè)備、購買大的網(wǎng)絡(luò)帶寬，而且還需要把網(wǎng)站做相應(yīng)的修改，還要配備相關(guān)人員去維護(hù)，這個(gè)工程完成后，能不能夠抵擋住外部攻擊可能還是未知數(shù)。

防御DDOS攻擊應(yīng)綜合考慮到基于BGP的流量清洗技術(shù)的多層面、多角度、多結(jié)構(gòu)的多元立體系安全防護(hù)體系的構(gòu)建和從主動(dòng)防御、安全應(yīng)急、安全管理、物理安全、數(shù)據(jù)容災(zāi)幾大體系入手，從而整合“高防服務(wù)器”“高防智能DNS”“高防服務(wù)器集群”“集群式防火墻架構(gòu)”“網(wǎng)絡(luò)監(jiān)控系統(tǒng)”“高防智能路由體系”，從而實(shí)現(xiàn)智能的、完善的、快速響應(yīng)機(jī)制的“一線式”安全防護(hù)架構(gòu)。

1）攻擊方法

• SYN/ACK Flood攻擊

  這種攻擊方法是經(jīng)典最有效的DDOS方法，可通殺各種系統(tǒng)的網(wǎng)絡(luò)服務(wù)，主要是通過向受害主機(jī)發(fā)送大量偽造源IP和源端口的SYN或ACK 包，導(dǎo)致主機(jī)的緩存資源被耗盡或忙于發(fā)送回應(yīng)包而造成拒絕服務(wù)，由于源都是偽造的故追蹤起來比較困難，缺點(diǎn)是實(shí)施起來有一定難度，需要高帶寬的僵尸主機(jī)支持。

  少量的這種攻擊會(huì)導(dǎo)致主機(jī)服務(wù)器無法訪問，但卻可以Ping的通，在服務(wù)器上用Netstat -na命令會(huì)觀察到存在大量的SYN_RECEIVED狀態(tài)。

  大量的這種攻擊會(huì)導(dǎo)致Ping失敗、TCP/IP棧失效，并會(huì)出現(xiàn)系統(tǒng)凝固現(xiàn)象，即不響應(yīng)鍵盤和鼠標(biāo)。普通防火墻大多無法抵御此種攻擊。

• TCP全連接攻擊

  這種攻擊是為了繞過常規(guī)防火墻的檢查而設(shè)計(jì)的。

  一般情況下，常規(guī)防火墻大多具備過濾TearDrop、Land等DOS攻擊的能力，但對(duì)于正常的TCP連接是放過的，殊不知很多網(wǎng)絡(luò)服務(wù)程序（如：IIS、Apache等Web服務(wù)器）能接受的TCP連接數(shù)是有限的，一旦有大量的TCP連接，即便是正常的，也會(huì)導(dǎo)致網(wǎng)站訪問非常緩慢甚至無法訪問，TCP全連接攻擊就是通過許多僵尸主機(jī)不斷地與受害服務(wù)器建立大量的TCP連接，直到服務(wù)器的內(nèi)存等資源被耗盡而被拖跨，從而造成拒絕服務(wù)。

  這種攻擊的特點(diǎn)是可繞過一般防火墻的防護(hù)而達(dá)到攻擊目的，缺點(diǎn)是需要找很多僵尸主機(jī)，并且由于僵尸主機(jī)的IP是暴露的，因此容易被追蹤。

• 刷Script腳本攻擊

  這種攻擊主要是針對(duì)存在ASP、JSP、PHP、CGI等腳本程序，并調(diào)用MSSQLServer、 MySQLServer、Oracle等數(shù)據(jù)庫的網(wǎng)站系統(tǒng)而設(shè)計(jì)的，特征是和服務(wù)器建立正常的TCP連接，并不斷的向腳本程序提交查詢、列表等大量耗費(fèi)數(shù)據(jù)庫資源的調(diào)用，典型的以小博大的攻擊方法。

  一般來說，提交一個(gè)GET或POST指令對(duì)客戶端的耗費(fèi)和帶寬的占用是幾乎可以忽略的，而服務(wù)器為處理此請(qǐng)求卻可能要從上萬條記錄中去查出某個(gè)記錄，這種處理過程對(duì)資源的耗費(fèi)是很大的，常見的數(shù)據(jù)庫服務(wù)器很少能支持?jǐn)?shù)百個(gè)查詢指令同時(shí)執(zhí)行，而這對(duì)于客戶端來說卻是輕而易舉的。

  因此攻擊者只需通過Proxy代理向主機(jī)服務(wù)器大量遞交查詢指令，只需數(shù)分鐘就會(huì)把服務(wù)器資源消耗掉而導(dǎo)致拒絕服務(wù)。常見的現(xiàn)象就是網(wǎng)站慢 如蝸牛、ASP程序失效、PHP連接數(shù)據(jù)庫失敗、數(shù)據(jù)庫主程序占用CPU偏高。

  這種攻擊的特點(diǎn)是可以完全繞過普通的防火墻防護(hù)，輕松找一些Proxy代理 就可實(shí)施攻擊，缺點(diǎn)是對(duì)付只有靜態(tài)頁面的網(wǎng)站效果會(huì)大打折扣，并且有些Proxy會(huì)暴露攻擊者的IP地址。

2）防御方案

• 異常流量的清洗過濾

  通過DDOS硬件防火墻對(duì)異常流量的清洗過濾，通過數(shù)據(jù)包的規(guī)則過濾、數(shù)據(jù)流指紋檢測過濾、及數(shù)據(jù)包內(nèi)容定制過濾等頂尖技術(shù)能準(zhǔn)確判斷外來訪問流量是否正常，進(jìn)一步將異常流量禁止過濾。單臺(tái)負(fù)載每秒可防御800-927萬個(gè)syn攻擊包。

• 分布式集群防御

  這是網(wǎng)絡(luò)安全界防御大規(guī)模DDOS攻擊的最有效辦法。

  分布式集群防御的特點(diǎn)是在每個(gè)節(jié)點(diǎn)服務(wù)器配置多個(gè)IP地址，并且每個(gè)節(jié)點(diǎn)能承受不低于10G的DDOS攻擊，如一個(gè)節(jié)點(diǎn)受攻擊無法提供服務(wù)，系統(tǒng)將會(huì)根據(jù)優(yōu)先級(jí)設(shè)置自動(dòng)切換另一個(gè)節(jié)點(diǎn)，并將攻擊者的數(shù)據(jù)包全部返回發(fā)送點(diǎn)，使攻擊源成為癱瘓狀態(tài)，從更為深度的安全防護(hù)角度去影響企業(yè)的安全執(zhí)行決策。

• 高防智能DNS解析

  高智能DNS解析系統(tǒng)與DDOS防御系統(tǒng)的完美結(jié)合，為企業(yè)提供對(duì)抗新興安全威脅的超級(jí)檢測功能。

  它顛覆了傳統(tǒng)一個(gè)域名對(duì)應(yīng)一個(gè)鏡像的做法，智能根據(jù)用戶的上網(wǎng)路線將DNS解析請(qǐng)求解析到用戶所屬網(wǎng)絡(luò)的服務(wù)器。同時(shí)智能DNS解析系統(tǒng)還有宕機(jī)檢測功能，隨時(shí)可將癱瘓的服務(wù)器IP智能更換成正常服務(wù)器IP，為企業(yè)的網(wǎng)絡(luò)保持一個(gè)永不宕機(jī)的服務(wù)狀態(tài)。

在建設(shè)了上述的的功能后，我們需要圍繞客戶提出的場景需求來通過日志采集、數(shù)據(jù)加工、數(shù)據(jù)統(tǒng)計(jì)、規(guī)則判斷等實(shí)施工作來完成對(duì)用戶行為的分析及異常預(yù)警。

下面我們梳理了幾個(gè)對(duì)主機(jī)日志進(jìn)行分析，并基于平臺(tái)能力實(shí)現(xiàn)的用戶行為分析場景作為平臺(tái)能力的應(yīng)用示例。

1. 賬號(hào)登錄異常

• 登錄時(shí)間異常

  某重要資產(chǎn)或業(yè)務(wù)系統(tǒng)發(fā)現(xiàn)在夜間或非工作時(shí)間存在賬號(hào)短時(shí)間登錄行為，登錄結(jié)果為成功，并且該行為持續(xù)時(shí)間較長；

• 登錄地點(diǎn)異常

  某重要資產(chǎn)或業(yè)務(wù)系統(tǒng)發(fā)現(xiàn)大量非合法區(qū)域的IP登錄行為，登錄結(jié)果為成功；

  在防火墻上這些IP的訪問動(dòng)作為允許，并且來自不同區(qū)域；

• 登錄賬號(hào)異常

  某重要資產(chǎn)或業(yè)務(wù)1天內(nèi)有多個(gè)賬號(hào)登錄（正常業(yè)務(wù)除外）并且登錄結(jié)果是失??；

  檢查新登錄的賬號(hào)是否在黑名單中，如果在名單中則觸發(fā)黑名單告警；

  非正常工作時(shí)間登陸、操作。

1）需求分析

• 由于在其他場景中有針對(duì)業(yè)務(wù)系統(tǒng)的，所以與客戶溝通，該場景的需求主要面向主機(jī)設(shè)備。

• 短時(shí)間的登錄成功次數(shù)限定，暫定為10分鐘內(nèi)5次，后續(xù)建立動(dòng)態(tài)基線后，以基線數(shù)據(jù)為準(zhǔn)。即當(dāng)某個(gè)賬號(hào)在10分鐘內(nèi)登錄成功大于5次即產(chǎn)生告警。

• 合法登錄時(shí)間為每天的08:00-20:00，由于工作外時(shí)間登錄較為常見，所以該限定條件只做記錄，不做告警輸出。

• 一天內(nèi)多個(gè)賬號(hào)登錄失敗的條件限定為20個(gè)，即一天內(nèi)超過20個(gè)用戶登錄失敗即產(chǎn)生告警。

• 非合法區(qū)域的登錄成功，判定條件限定為1個(gè)，即存在來源于非合法區(qū)域的登錄成功，即需產(chǎn)生告警。

• 關(guān)聯(lián)賬戶黑名單列表，當(dāng)出現(xiàn)黑名單賬戶登錄時(shí)即告警。

2）依賴原始日志

• 主機(jī)登錄日志（需要分詞字段：登錄用戶、登錄時(shí)間、來源IP、目標(biāo)IP、操作結(jié)果）

3）依賴維度數(shù)據(jù)

• 合法訪問區(qū)域IP清單

• 賬號(hào)黑名單

4）輸出分析指標(biāo)

• 單賬號(hào)登錄次數(shù)統(tǒng)計(jì)（簡單指標(biāo)計(jì)算）

  分組字段：賬號(hào)名、目標(biāo)IP

  過濾條件：登錄結(jié)果字段為“成功”

  統(tǒng)計(jì)周期：10分鐘

  計(jì)算規(guī)則：統(tǒng)計(jì)數(shù)量

  告警條件：值大于5

• 非合法時(shí)間段登錄記錄清單（簡單指標(biāo)計(jì)算）

  分組字段：賬號(hào)名、目標(biāo)IP

  過濾條件：登錄時(shí)間字段在08:00-20:00范圍外

  統(tǒng)計(jì)周期：30分鐘

  計(jì)算規(guī)則：獲取字段值（登錄時(shí)間字段）

  告警條件：無

• 登錄失敗記錄清單（簡單指標(biāo)計(jì)算）

  分組字段：賬號(hào)名、目標(biāo)IP

  過濾條件：登錄結(jié)果字段為“失敗”

  統(tǒng)計(jì)周期：30分鐘

  計(jì)算規(guī)則：獲取字段值（登錄時(shí)間字段）

  告警條件：無

• 登錄失敗賬號(hào)數(shù)統(tǒng)計(jì)（批量計(jì)算：登錄失敗記錄清單數(shù)據(jù)表SQL去重統(tǒng)計(jì)）

  分組字段：賬號(hào)名、目標(biāo)IP

  過濾條件：無

  統(tǒng)計(jì)周期：當(dāng)天

  執(zhí)行周期：30分鐘

  告警條件：大于20

• 非合法區(qū)域登錄（簡單指標(biāo)計(jì)算，指標(biāo)加工計(jì)算）

  分組字段：賬號(hào)名、目標(biāo)IP

  過濾條件：登錄結(jié)果字段為“成功”

  統(tǒng)計(jì)周期：10分鐘

  計(jì)算規(guī)則：獲取源IP字段

  指標(biāo)加工：關(guān)聯(lián)合法區(qū)域IP清單，增加“合法”標(biāo)記

  告警條件：指標(biāo)加工后無“合法”標(biāo)記

• 黑名單賬號(hào)登錄（簡單指標(biāo)計(jì)算，指標(biāo)加工計(jì)算）

  分組字段：賬號(hào)名、目標(biāo)IP

  過濾條件：無

  統(tǒng)計(jì)周期：10分鐘

  計(jì)算規(guī)則：獲取字段值（登錄時(shí)間字段）

  指標(biāo)加工：關(guān)聯(lián)黑名單賬戶清單，增加“黑名單”標(biāo)記

  告警條件：指標(biāo)加工后有“黑名單”標(biāo)記

2. 賬戶提權(quán)

發(fā)現(xiàn)普通賬戶的權(quán)限被升級(jí)為管理員權(quán)限。

1）需求分析

• 在主機(jī)上執(zhí)行“sodu”相關(guān)操作命令；

• 對(duì)于寫到shell腳本中的sodu命令實(shí)現(xiàn)的提權(quán)操作，將通過對(duì)主機(jī)上所有shell腳本的掃描來發(fā)現(xiàn)，不在此場景中實(shí)現(xiàn)。

2）依賴原始日志

• 主機(jī)操作日志。（需要分詞字段：操作用戶、操作時(shí)間、來源IP、目標(biāo)IP、命令執(zhí)行路徑、執(zhí)行命令）

3）依賴維度數(shù)據(jù)

• 無

4）輸出分析指標(biāo)

• 賬號(hào)提權(quán)操作記錄（簡單指標(biāo)計(jì)算）

  分組字段：操作用戶、來源IP、目標(biāo)IP、命令執(zhí)行路徑、執(zhí)行命令

  過濾條件：執(zhí)行命令中包含“sudo”相關(guān)命令

  統(tǒng)計(jì)周期：30分鐘

  計(jì)算規(guī)則：獲取操作時(shí)間

  告警條件：無條件，該類記錄均需告警

3. 異常賬號(hào)登錄

• 沉默賬號(hào)登錄成功

• 離職員工賬號(hào)登錄成功

1）需求分析

• 由于在其他場景中有針對(duì)業(yè)務(wù)系統(tǒng)的，所以與客戶溝通，該場景的需求主要面向主機(jī)設(shè)備。

• 維護(hù)一個(gè)賬號(hào)最新登錄時(shí)間記錄表作為維表，每日根據(jù)“單賬號(hào)登錄次數(shù)統(tǒng)計(jì)”指標(biāo)數(shù)據(jù)做去重后更新。

• 維護(hù)一個(gè)離職員工賬號(hào)表作為維表（手工維護(hù)或從相關(guān)系統(tǒng)同步）

• 將登錄成功賬號(hào)與賬號(hào)最新登錄時(shí)間記錄維表關(guān)聯(lián)，關(guān)聯(lián)條件為查詢2個(gè)月內(nèi)有登錄記錄的賬號(hào)，如不能關(guān)聯(lián)到數(shù)據(jù)，則產(chǎn)生沉默賬號(hào)登錄告警。

• 將登錄成功賬號(hào)與離職員工賬號(hào)維表關(guān)聯(lián)，當(dāng)關(guān)聯(lián)到離職員工賬號(hào)時(shí)產(chǎn)生離職員工賬號(hào)登錄告警。

2）依賴原始日志

• 主機(jī)登錄日志。（需要分詞字段：登錄用戶、登錄時(shí)間、來源IP、目標(biāo)IP、操作結(jié)果）

3）依賴維度數(shù)據(jù)

• 賬號(hào)最新登錄時(shí)間記錄維表

• 離職員工賬號(hào)維表

4）輸出分析指標(biāo)

• 沉默賬號(hào)登錄記錄（簡單指標(biāo)計(jì)算，指標(biāo)加工計(jì)算）

  分組字段：登錄用戶、來源IP、目標(biāo)IP

  過濾條件：登錄操作結(jié)果為“成功”

  統(tǒng)計(jì)周期：30分鐘

  計(jì)算規(guī)則：獲取登錄時(shí)間

  指標(biāo)加工：關(guān)聯(lián)賬號(hào)最新登錄時(shí)間記錄維表，獲取兩個(gè)月內(nèi)有登錄記錄的賬號(hào)，添加“非沉默賬號(hào)”標(biāo)識(shí)

  告警條件：對(duì)無“非沉默賬號(hào)”標(biāo)識(shí)的記錄告警

• 離職員工賬號(hào)登錄記錄（簡單指標(biāo)計(jì)算，指標(biāo)加工計(jì)算）

  分組字段：登錄用戶、來源IP、目標(biāo)IP

  過濾條件：登錄操作結(jié)果為“成功”

  統(tǒng)計(jì)周期：30分鐘

  計(jì)算規(guī)則：獲取登錄時(shí)間

  指標(biāo)加工：關(guān)聯(lián)離職員工賬號(hào)維表，添加“離職賬號(hào)”標(biāo)識(shí)

  告警條件：對(duì)有“離職賬號(hào)”標(biāo)識(shí)的記錄告警

END