摘要：網(wǎng)易易盾企業(yè)安全高級解決方案工程師高洪亮安全開發(fā)者峰會是國內(nèi)開發(fā)者與安全人才的年度盛事，受眾包括開發(fā)者安全人員及高端技術(shù)從業(yè)人員。

由中國最早的安全人員交流學(xué)習(xí)社區(qū)看雪學(xué)院主辦、CSDN協(xié)辦的安全開發(fā)者峰會（SDC），于2019年7月20日在北京國家會議中心舉行。

網(wǎng)易易盾企業(yè)安全高級解決方案工程師高洪亮
安全開發(fā)者峰會（SDC）是國內(nèi)開發(fā)者與安全人才的年度盛事，受眾包括開發(fā)者、安全人員及高端技術(shù)從業(yè)人員。作為開發(fā)與安全領(lǐng)域內(nèi)，最具影響力的互聯(lián)網(wǎng)安全合作交流盛會之一，安全開發(fā)者峰會始終致力于建立一個多領(lǐng)域、多維度的高端安全交流平臺，推動互聯(lián)網(wǎng)安全行業(yè)的快速成長與廣泛合作。

在本屆安全開發(fā)者峰會（SDC），網(wǎng)易易盾企業(yè)安全高級解決方案工程師高洪亮也受邀出席本次會議并進行了演講。他分享了當(dāng)下企業(yè)安全的各種痛點后，詳細(xì)地講述了在UGC內(nèi)容爆發(fā)增長以及國家監(jiān)管越來越完善和嚴(yán)格的背景下，如何解決企業(yè)面臨的內(nèi)容安全問題。

以下是本次演講的實錄：

各位嘉賓下午好，我是網(wǎng)易易盾的解決方案工程師高洪亮，今天和大家分享的主題是《漫談企業(yè)安全的痛點問題》。

首先和大家分享一下我對企業(yè)安全的一些認(rèn)知。企業(yè)安全是一個特別大的概念，做好企業(yè)安全的最終目標(biāo)是保障企業(yè)正常發(fā)展，而企業(yè)安全整個體系由不同的模塊組成，任何一部分沒有做好，都會影響企業(yè)的發(fā)展，這種影響可能是企業(yè)的營收利潤，可能是是企業(yè)的聲譽，甚至可能是企業(yè)的存亡。

一、安全漫談

因為工作崗位的原因，日常工作中有較多的用戶交流的工作。經(jīng)常接觸的幾個部門，像安全部門、運營部門、審核部門、開發(fā)部門等。每個部門關(guān)注的點不同，網(wǎng)絡(luò)安全的事情基本都由安全部門負(fù)責(zé)，市場營銷策略效果保障的事情由運營部門負(fù)責(zé)，審核部門負(fù)責(zé)內(nèi)容質(zhì)量和內(nèi)容違規(guī)的事情，開發(fā)部門會涉及到安全平臺的統(tǒng)一開發(fā)建設(shè)。各個部門的工作重要性，也與公司的業(yè)務(wù)有直接的關(guān)系，但是不管哪個部門的工作出問題，企業(yè)都會受到影響。

舉個直觀的例子，對于一個游戲公司來說，可能會遭受到DDOS攻擊影響業(yè)務(wù)的穩(wěn)定運行，可能會有數(shù)據(jù)泄露問題影響企業(yè)的聲譽，可能會有內(nèi)容違規(guī)的問題，會讓整個游戲下架、整改，最常見的還是外掛問題，直接的后果就是用戶流失以及收入的損失。

這里我把企業(yè)的一些典型的安全問題羅列一下，如下圖：

內(nèi)容安全事件，比如出現(xiàn)各種黃賭毒的信息。在剛過去的6月份，網(wǎng)信辦針對語音進行嚴(yán)查，下架了一大批的應(yīng)用?，F(xiàn)在行業(yè)內(nèi)主要的解決方案是將業(yè)務(wù)相關(guān)的文本、圖片、 視頻、音頻對接到機器審核平臺，目前主要是第三方的服務(wù)商SaaS檢測平臺，或是企業(yè)自建的檢測平臺，主要用來提高效率和降低審核時間，同時結(jié)合人工審核來保障效果，降低漏判和誤判率。

在游戲破解方面，大家有興趣的可以搜一下淘寶店鋪，輸入關(guān)鍵詞游戲破解，會有非常多的店鋪和游戲可以選擇。游戲破解的除了去掉游戲里面正常的收費，還會增加一些比較{{BANNED}}的功能，比如加倍攻擊等等來吸引玩家。有的店鋪按照會員制度收費，月付150元，已經(jīng)超過了很多原版游戲的單用戶收入，對于原版游戲來說是非常致命的。

如何解決呢？拿移動端游戲舉例，針對破解的問題可以采用加固的方式防止被逆向破解，外掛的問題可以通過游戲反外掛技術(shù)對模擬器、多開器、云真機、模擬點擊等進行檢查，并且結(jié)合運營手段，增強對外掛的威懾力。

薅羊毛的威脅，18年末的時候星巴克做的一次新人注冊送咖啡券活動。當(dāng)時的用戶驗證做的比較簡單，填寫比較少的信息就可以拿到咖啡券，上線一天半的時間，被羊毛黨刷走了差不多400W張券，按照中杯價格估值，大概有1000W人民幣左右。 在羊毛黨這個圈子中，分分鐘幾十萬可能是件稀疏平常的事。對于羊毛黨的防護，以威脅情報庫為支撐，比如手機號、IP、郵箱號這些信息的黑名單，再通過收集活動過程中的用戶的相關(guān)信息進行數(shù)據(jù)分析和行為分析。在這個黑灰產(chǎn)行業(yè)里，利益驅(qū)動力非常強大，對抗很激烈。

數(shù)據(jù)泄露的事情比較有意思的地方在于，大約60％以上的數(shù)據(jù)泄露都有內(nèi)鬼的原因。最近剛發(fā)生的某招聘網(wǎng)站泄露16W份簡歷信息，就是內(nèi)外勾結(jié)典型事件。 50元一份簡歷，被非法賣給商販后，在淘寶上1-2元一份的價格賣出。所以數(shù)據(jù)防泄漏，不僅僅是使用一些數(shù)據(jù)防泄漏的產(chǎn)品就可以解決，還需要完善制度，注意權(quán)限劃分，加強審計活動，對內(nèi)部人員進行安全意識培訓(xùn)，增加法制意識。

DDoS攻擊也算是最古老但是最有效的一種網(wǎng)絡(luò)攻擊方式了，得益于網(wǎng)絡(luò)通信和互聯(lián)網(wǎng)技術(shù)的發(fā)展，DDoS攻擊愈演愈烈。 比如現(xiàn)在的物聯(lián)網(wǎng)設(shè)備，很多都可以用來進行DDos攻 擊。 對于用戶來說很難解決攻擊源，只能被動防護。在國內(nèi)，現(xiàn)在動輒幾十GB的攻擊已經(jīng)非常常見了。通常都是夾雜著流量和CC混合型攻擊，本地化部署防護設(shè)備很難應(yīng)對，大多采用云清洗的方式來解決。我們可以看到國內(nèi)的很多安全廠商，從硬件開始轉(zhuǎn)型到云服務(wù)，也是安全服務(wù)云化的一個趨勢。

以上是我對企業(yè)的痛點問題進行簡要的分析，因為今天的分享時間有限，所以在本次分享上，還是做一些聚焦，和各位嘉賓分享一下，在這個UGC內(nèi)容爆發(fā)增長，國家監(jiān)管力度日漸增強的背景下，如何解決企業(yè)面臨的內(nèi)容安全問題。

二、內(nèi)容安全治理現(xiàn)狀

先說一下內(nèi)容安全現(xiàn)狀。從三個角度來看，首先是監(jiān)管角度幾個特點:監(jiān)管部門的覆蓋度廣、法律法規(guī)越來越完善、有針對性的專項整治。

部分法律法規(guī)，更多的法律法規(guī)可參考：史上最全的內(nèi)容安全法律法規(guī)盤點

這里主要重點談?wù)労竺娴膬蓚€特點。當(dāng)下法規(guī)越來越完善，大家可以看下上圖，這是我列出的部分規(guī)范要求。

這塊想強調(diào)一下責(zé)任主體的問題，這里面主體一個是用戶，一個是平臺。拿一個場景來舉例，一個用戶在內(nèi)容平臺發(fā)表了色情廣告信息。用戶這種行為是違法的，內(nèi)容平臺如果發(fā)布了這個內(nèi)容也是違法的?？陀^來說應(yīng)該對于兩者都進行處罰，但是實際情況來看，對于用戶追責(zé)成本非常之高，所以在各類的內(nèi)容違規(guī)事件上，我們可以看到的大多是對平臺的處理。

并且從2017年6月1日開始，正式實行了網(wǎng)絡(luò)安全法，監(jiān)管部門執(zhí)法更加有依據(jù)了。再拿一個場景舉例: 一個惡意用戶，通過網(wǎng)絡(luò)攻擊的方式篡改網(wǎng)站，發(fā)帶有色情信息的內(nèi)容，那運營平臺不光是違反了內(nèi)容發(fā)布的要求，同時根據(jù)網(wǎng)絡(luò)安全法，運營方?jīng)]有落實好信息系統(tǒng)保護的工作，將會依據(jù)網(wǎng)絡(luò)安全法給予一定的處罰。

監(jiān)管的第三個特點: 有針對性的專項整治，以網(wǎng)信辦的檢查來說，從2018年12月份，到今年6月份，先后發(fā)起的內(nèi)容治理活動就有四次。

18年12月份進行的是針對APP的專項檢測，主要是涉黃涉毒、違規(guī)游戲、不良學(xué)習(xí)等應(yīng)用進行檢查，下架了3萬款應(yīng)用；

19月1月份，對教育類APP進行專項整治，查實了“作業(yè)狗”、“口袋老師”等20多款A(yù)PP 非法傳播淫穢色情內(nèi)容，進行下架處理；

19年1月份-6月份，進行的為期半年的“全網(wǎng)整改行動”；

19年6月份進行了語音專項整治活動；

從上可以看出，國家對于建設(shè)綠色網(wǎng)絡(luò)空間環(huán)境決心和力度。

即使是在這么強的監(jiān)管力度之下，違規(guī)內(nèi)容還是層出不窮的。違規(guī)內(nèi)容的特點:覆蓋場景多、數(shù)據(jù)變種多、對抗性強。

覆蓋場景已經(jīng)到了無孔不入的地步。 新聞內(nèi)容、用戶評論、用戶頭像、昵稱、看網(wǎng)劇彈幕，沒有任何一個有內(nèi)容發(fā)布的場景可以躲得過違規(guī)內(nèi)容的騷擾；

在各種場景里，出現(xiàn)的違規(guī)數(shù)據(jù)種類和變種也非常之多。從最初的文本敏感詞，到現(xiàn)在的字體拆分、特殊符號混淆、以及圖片內(nèi)嵌入違規(guī)內(nèi)容等多種形式，最近一兩年在語音方面又多了一個ASMR的內(nèi)容類型，會夾雜著很多色情內(nèi)容。

對抗性強體現(xiàn)在違規(guī)內(nèi)容的發(fā)布上有一定的組織性和對抗性，以內(nèi)容形式的變換和賬號的變化來對抗檢測或運營策略。這個部分會在后面的縱深防御體積建設(shè)的必要性進行詳細(xì)說明。

在這個背景下，做好內(nèi)容安全其實是一個比較困難的問題。對管理者來說，最終要看的一般包含兩個指標(biāo)的檢測效果，以及對業(yè)務(wù)的影響度。這里面檢測效果一般看正確率、召回率。業(yè)務(wù)的影響主要是看檢測的用時，盡量不要影響用戶體驗。比如在IM聊天中檢測，如果一條文本檢測時間超過1s，就屬于對用戶體驗造成嚴(yán)重影響。

那么要實現(xiàn)這些目標(biāo)，從0到1自建檢測系統(tǒng)，存在比較多的難點。首先是成本的投入，最主要的的兩種成本:人力成本和設(shè)備成本。 人力成本方面，當(dāng)下的互聯(lián)網(wǎng)招人成本還是很高的，光是一個成熟的算法專家，年薪一般要50W上下。而且整個體系需要的不僅是算法人員，還有相關(guān)的運營和審核人員。光是是在人力方面投入，就會達(dá)到數(shù)百萬的級別。 在設(shè)備方面，現(xiàn)在圖像處理所需要用到的GPU節(jié)點是比較大的開銷。比如一塊英偉達(dá)的P40顯卡，是在16年上市的，現(xiàn)在要5W左右一個，一個P40能夠做的圖片檢測，并發(fā)在30QPS左右。此外還需要有GPU節(jié)點來做模型訓(xùn)練，也是比較高的開銷。

除了考慮成本，還有數(shù)據(jù)積累和審核經(jīng)驗的壁壘。拿圖片訓(xùn)練來說，一個檢測模型，需要的樣本數(shù)據(jù)需要在幾萬甚至大幾十萬。沒有一定的時間和渠道是做不到這種樣本數(shù)據(jù)積累的。

另外審核人員的經(jīng)驗和審核流程及制度，也是效果的重要保障，人員的審核經(jīng)驗，決定了主觀上的審核效果和審核效率，完善的流程和制度是對效果客觀上的保障。人員的經(jīng)驗要靠不斷的學(xué)習(xí)和培訓(xùn)，流程和制度需要時間去制定和完善，這都需要有一個過程。

三、內(nèi)容安全體系建設(shè)艱難性

接下來這部分我來介紹下建設(shè)檢測團隊和技術(shù)體系。首先是團隊的建設(shè)，這里我拿易盾的團隊來舉例——整個大的團隊細(xì)分成幾個小的團隊，算法團隊、系統(tǒng)開發(fā)團隊、運營團隊、人工審核團隊：

核心技術(shù)由算法團隊來實現(xiàn)，團隊內(nèi)又細(xì)分為不同的小組，比如做文本機器學(xué)習(xí)的小組，圖片機器學(xué)習(xí)的小組;

系統(tǒng)開發(fā)團隊負(fù)責(zé)業(yè)務(wù)平臺的搭建;

運營團隊負(fù)責(zé)直接和業(yè)務(wù)部門對接，明確檢測標(biāo)準(zhǔn)需求，并實時的調(diào)整一些檢測策略來進行效果調(diào)優(yōu);

審核團隊人員最多，目前也是以輪班輪崗的工作模型完成全天候的審核工作。

接下來是檢測標(biāo)準(zhǔn)的制定。制定檢測標(biāo)準(zhǔn)，要考慮兩個原則，一個是全面性原則，一個是可落地性原則。從全面性來講，需要考慮是兩個主體，一個是國家，一個是運營平臺。 對于國家來說，色情、暴恐、違禁品這些都屬于違禁內(nèi)容，會有相關(guān)的法律及法規(guī)條禁止出現(xiàn)的，這些標(biāo)準(zhǔn)基本上是所有內(nèi)容平臺要做到的檢測。對于運營平臺來說，比如針對謾罵、灌水、競品廣告信息這些內(nèi)容，是不希望出現(xiàn)的。

這里強調(diào)一個實時性，從要求提出到標(biāo)準(zhǔn)的落實，需要盡快完成，以減少檢測的真空期。

從可落地性來看，需要做到數(shù)據(jù)可收集和模型可訓(xùn)練這兩點。數(shù)據(jù)可收集是對于人來說，標(biāo)準(zhǔn)可以是描述性的，但是數(shù)據(jù)收集和打標(biāo)簽必須是細(xì)化的。比如上圖中列出的標(biāo)準(zhǔn)，是描述了性行為的范疇和概念，落實到數(shù)據(jù)打標(biāo)簽就需要更為細(xì)節(jié)，比如對漏臀圖片需要進一步說明，根據(jù)拍攝的角度是否有漏點，以及是否是兒童照片等因素，分到不同類別的說明。最終會被標(biāo)記為色情、低俗、性感或是正常的照片。

制定標(biāo)準(zhǔn)之后，依據(jù)場景檢測需要應(yīng)用不同的標(biāo)準(zhǔn)。 性感圖片在新聞內(nèi)容中發(fā)布沒有什么問題，但是在兒童教育IM中出現(xiàn)就不太正常了。

然后我們再來看系統(tǒng)平臺的開發(fā)建設(shè)，最重要的三個平臺如下:

檢測平臺（服務(wù)的核心），預(yù)置了已經(jīng)訓(xùn)練好的各類模型。

人工審核平臺（效果及能力補充，提高效率），里面的功能包括數(shù)據(jù)的抽檢、審核快捷操作等功能。

模型訓(xùn)練平臺（效果保障），主要由GPU集群組成，

三個平臺，再加上業(yè)務(wù)系統(tǒng)的關(guān)系：業(yè)務(wù)系統(tǒng)與檢測系統(tǒng)對接，對于文本和 圖片類的檢測結(jié)果可以實時反饋。 需要人工審核部分的數(shù)據(jù)，由檢測平臺和審核平臺對接，最終由審核平臺將結(jié)果返回給業(yè)務(wù)系統(tǒng)。機器訓(xùn)練平臺，主要是基于各個渠道的badcase，進行模型訓(xùn)練調(diào)優(yōu)，最終輸入訓(xùn)練結(jié)果供檢測平臺使用。這樣這幾個平臺形成一個閉環(huán)，達(dá)到業(yè)務(wù)可快速接入，效果可持續(xù)調(diào)優(yōu)的目標(biāo)。

以上的三個部分，團隊、標(biāo)準(zhǔn)、平臺，形成了比較完善的檢測系統(tǒng)?？梢詰?yīng)對常規(guī)的內(nèi)容檢測需求。

但接下來我要講的是，內(nèi)容治理不光是對內(nèi)容進行處理，還需要有一個縱深的檢測防御體系。

這是因為有個客觀事實——大多數(shù)的違規(guī)內(nèi)容是非正常用戶發(fā)布的，內(nèi)容治理是企業(yè)和黑灰產(chǎn)的直接較量，只做內(nèi)容檢測手段過于單一，或落入疲于應(yīng)對的局面。

四、縱深防御體系在內(nèi)容安全治理上的必要性

為什么說內(nèi)容治理是企業(yè)和黑灰產(chǎn)的直接較量，我們先來看一個黑灰產(chǎn)的業(yè)務(wù)流程:從角色上看，有發(fā)單人，有業(yè)務(wù)分包，有內(nèi)容平臺。

發(fā)單人有幾種，比如各種黃賭毒的網(wǎng)站，為了吸引流量需要發(fā)布網(wǎng)站相關(guān)信息，也會有人處于惡意競爭的目的在同行業(yè)平臺發(fā)布違規(guī)內(nèi)容。發(fā)單人會找到業(yè)務(wù)分包的角色來實現(xiàn)違規(guī)內(nèi)容發(fā)布，這個業(yè)務(wù)分包就會涉及到非常多的角色，有專門寫自動化工具的人員，有倒賣賬號的人員，有執(zhí)行內(nèi)容發(fā)布的平臺比如各種群控平臺，最終發(fā)單人實現(xiàn)在各大平臺灌水式發(fā)布。

現(xiàn)在的黑灰產(chǎn)是非常成熟的，各個環(huán)節(jié)分工不同，有專門的手機卡商、賬號商人、打碼平臺，各種云控平臺等等。

大家知道現(xiàn)在的手機卡都是實名制的，所以手機卡商是如何實現(xiàn)大批量申請卡的，有一種操作方式——注冊公司，就可以用公司的名義來申請到大批量的物聯(lián)網(wǎng)卡。這些物聯(lián)網(wǎng)卡沒有語音功能，但是可以接發(fā)短信，就可以用來注冊和登陸賬號。 所以當(dāng)你回?fù)芤粋€注冊號碼的手機號，語音提示:你所撥打的號碼未開通語音功能的時候，大概率就是一張物聯(lián)網(wǎng)卡 了。

這里面的利益驅(qū)動力非常之強，舉個例子，一個新號價值幾元，但是通過不定期發(fā)表正常內(nèi)容等手段，所謂的養(yǎng)號，最終可以價值幾十元甚至百元。

在各大內(nèi)容平臺進行發(fā)布，現(xiàn)在的對抗尤其的激烈，拿微博舉例，大家可以觀察到，以往的色情賬號會直接在各個熱點事件下發(fā)表色情言論，比如色情網(wǎng)站，或者加聯(lián)系方式。這種比較容易被檢測和封號，現(xiàn)在已經(jīng)轉(zhuǎn)變?yōu)橘~號頭像會換成比較性感，但不屬于色情的圖片，發(fā)表的內(nèi)容多是正常的評論，但是個人頭像里都是色情引流的信息，以此來增強對抗性。

在這種強對抗的背景下，僅做內(nèi)容檢測手段過于單一，縱深防護是內(nèi)容治理的關(guān)鍵。不僅僅在于發(fā)表內(nèi)容的檢測，還需要從源頭進行整治。 需要建立一個縱深的的防御體系，從賬號注冊、到賬號登陸，再到用戶行為，最終再到發(fā)表內(nèi)容，進行全方位的檢測，才能達(dá)到更好的效果。也就是從內(nèi)容檢測延伸到用戶行為檢測，具有用戶畫像的能力，才能更好的對抗黑灰產(chǎn)的攻擊。

上面是黑灰產(chǎn)會涉及到的環(huán)節(jié)，以及在各個環(huán)節(jié)我們要解決的問題和對應(yīng)技術(shù)。 在注冊階段，會有批量注冊、虛假注冊的問題，可以考慮用驗證碼、號碼認(rèn)證、實人認(rèn)證來解決。在登陸階段，會有批量登陸，暴力破解的問題，可以用驗證碼和反作弊的技術(shù)手段。然后對發(fā)布行為和發(fā)布內(nèi)容進行檢測，比如對同一個賬號在短時間內(nèi)發(fā)表大量相似內(nèi)容的行為進行處理。

這里提到的技術(shù)手段，拿驗證碼和反作弊簡單說明一下。先說下驗證碼，主要用來做人機識別，目的是提高攻擊者的攻擊成本。早期的驗證碼比如字符型的驗證碼是非常容易被破解，使用OCR的識別技術(shù)，就能很輕松就把圖片中的字符識別出來。目前大多采用的驗證碼，還是智能型驗證碼，是對用戶的一些行為信息和設(shè)備信息進行分析來判斷的。現(xiàn)在比較主流比如拼圖滑動式的驗證碼，文字點選的驗證碼，增強了對抗能力。

反作弊這里會用到的技術(shù)，比如IP畫像，會檢測用戶的IP地理位置，是不是代理IP等等；對設(shè)備環(huán)境的檢測，會檢測設(shè)備是不是模擬器，是否有root或者越獄；對用戶行為的分析，根據(jù)各個維度之間的信息，通過規(guī)則設(shè)定正常的行為基線，一般多用于注冊、登陸、和關(guān)鍵業(yè)務(wù)操作的事件入口，比如發(fā)帖操作。

以上是關(guān)于檢測體系和縱深防護體系以及對應(yīng)的技術(shù)手段，也是我今天分享的主要內(nèi)容。最后介紹下我們的部門和安全能力：網(wǎng)易易盾是國內(nèi)領(lǐng)先的內(nèi)容安全&業(yè)務(wù)安全服務(wù)商，依靠網(wǎng)易20多年豐富的安全經(jīng)驗以及云計算、人工智能方面的積累，面向數(shù)字化業(yè)務(wù)提供內(nèi)容安全、業(yè)務(wù)安全、移動安全和網(wǎng)絡(luò)安全服務(wù)，保障客戶業(yè)務(wù)合規(guī)、穩(wěn)健和安全運營，使客戶可以免受黑灰產(chǎn)組織非法侵害，專注創(chuàng)新發(fā)展。

繼傳統(tǒng)網(wǎng)絡(luò)安全之后，和特定場景高度融合的業(yè)務(wù)安全，正逐步成為數(shù)字企業(yè)發(fā)展的重要生命線?；诰W(wǎng)易豐富的安全經(jīng)驗，采用人工智能和大數(shù)據(jù)技術(shù)，易盾智能業(yè)務(wù)風(fēng)控引擎全面整合反不良信息、驗證碼&反作弊、應(yīng)用加固、反游戲外掛、高防抗D等安全模塊，全面驅(qū)動業(yè)務(wù)安全，為越來越多的企業(yè)系統(tǒng)高效地降低內(nèi)容及業(yè)務(wù)風(fēng)險。

網(wǎng)易易盾服務(wù)的客戶
目前，易盾已擁有20多萬注冊開發(fā)者、數(shù)千家付費客戶，其中不乏知乎、OPPO、ViVO、攜程、一直播、小咖秀、挖財、唯品會、滴滴、英雄互娛等知名企業(yè)。未來，易盾還將不斷提升技術(shù)、產(chǎn)品和服務(wù)體驗，為廣大客戶帶來更佳的綜合效益。

安全路上任重道遠(yuǎn)，期望和各方攜手前行，謝謝。