摘要：阿里安全一直以來致力于用技術(shù)解決社會問題。為了增加對抗驗(yàn)證碼的識別難度，又不影響正常用戶的體驗(yàn)，算法專家們又在圖像區(qū)域和生成方式上進(jìn)行了組合擴(kuò)展，最終生成的對抗樣驗(yàn)證碼有效抵御了黑灰產(chǎn)的批量破解，成為阿里業(yè)務(wù)安全的一道銅墻鐵壁。

我們知道，AI 技術(shù)將在很長一段時間占據(jù)互聯(lián)網(wǎng)技術(shù)時代的風(fēng)口。但是，有代碼的地方就有缺陷，提到技術(shù)很難不講安全，那么AI會不會碰到安全問題呢？

試想一下，未來的某個早晨，當(dāng)你像往常一樣打開無人駕駛的汽車車門，報出目的地，然后坐在后座上舒舒服服地瀏覽推送給你的各種新聞，汽車突然失控，在本該停止的紅燈前飛馳而過撞向了正在過馬路的行人，那將是怎樣一場災(zāi)難。

人工智能技術(shù)給生活帶來便利的同時，其自身的安全問題（AI安全）也不容忽視，AI安全問題可以歸納為內(nèi)外2方面原因：

自身缺陷導(dǎo)致的模型出錯：例如，模型結(jié)構(gòu)本身存在缺陷、或者訓(xùn)練數(shù)據(jù)和真實(shí)場景數(shù)據(jù)之間的偏差，都可能導(dǎo)致模型預(yù)測錯誤。

外部攻擊導(dǎo)致的模型風(fēng)險：例如，來自外部的對抗樣本攻擊可誘使算法識別出現(xiàn)誤判漏判，輸出錯誤結(jié)果。

本文，我們會針對第2點(diǎn)的對抗樣本技術(shù)結(jié)合其在阿里巴巴安全領(lǐng)域中的實(shí)際應(yīng)用給大家做展開介紹。

對抗樣本由 ChristianSzegedy[1]等人提出，他們發(fā)現(xiàn)通過深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的模型，在輸入與輸出之間的映射往往不是線性的。這樣就存在一個問題: 在輸入數(shù)據(jù)中通過故意添加肉眼不易察覺的細(xì)微擾動，可以生成對抗樣本，導(dǎo)致AI模型以高置信度給出一個錯誤的輸出。如下圖所示：

目前的對抗樣本根據(jù)是否需要指定攻擊的類目可以分為無目標(biāo)攻擊(non-targeted attack)和目標(biāo)攻擊(targeted attack)。前者不指定具體類目，只要讓AI識別錯誤即可。后者不僅需要使AI識別錯誤，還需要使AI識別到指定的類別。

生成對抗樣本，最直接的方法是在給定擾動量的范圍內(nèi)修改樣本，使得修改后的樣本在AI模型上的損失函數(shù)最大化（非定向攻擊）或最小化（定向攻擊），這樣就可以把生成對抗樣本的問題歸納為空間搜索的優(yōu)化問題。基于不同的優(yōu)化算法，學(xué)術(shù)界提出了很多對抗樣本生成算法，有興趣的朋友可以自行檢索，此處不具體展開。

對抗樣本技術(shù)提出后引發(fā)了學(xué)術(shù)界和工業(yè)界對于深度學(xué)習(xí)模型在安全方面的廣泛關(guān)注，成為目前深度學(xué)習(xí)領(lǐng)域最火熱的研究課題之一，新的對抗攻擊方法不斷涌現(xiàn)，應(yīng)用場景從圖像分類擴(kuò)展到目標(biāo)檢測等。

阿里安全一直以來致力于用技術(shù)解決社會問題。為了保障整個生態(tài)圈中7億多消費(fèi)者和千萬商家的信息安全，AI技術(shù)很早就被應(yīng)用到了阿里安全體系建設(shè)中。安全領(lǐng)域一個重要的特點(diǎn)就是存在很強(qiáng)的對抗性，日常防控中，黑灰產(chǎn)會嘗試使用各種對抗樣本攻擊我們部署的AI防控大壩。對此，一方面，阿里安全圖靈實(shí)驗(yàn)室的算法專家們提出了若干種提升模型安全性能的方法，強(qiáng)化自身堡壘；另一方面，算法專家們也會以戰(zhàn)養(yǎng)戰(zhàn)，開展針對對抗樣本的攻防研究，利用對抗技術(shù)去防御攻擊者的模型。下面我們結(jié)合實(shí)際業(yè)務(wù)，介紹兩種對抗樣本的應(yīng)用場景：

1.人臉識別

人臉識別技術(shù)已經(jīng)在生活的各個場景普遍應(yīng)用，手機(jī)解鎖要靠臉、移動支付要靠臉，機(jī)場安檢要靠臉……一臉走天下的時代逐漸到來。

然而，Bose 和 Aarabi[2]發(fā)現(xiàn)通過在原始圖像中加入人眼不可區(qū)分的微量干擾對人臉識別算法進(jìn)行攻擊后，能夠使人臉無法被檢測算法定位到。如下圖所示，左列為原始圖像，檢測算法可以準(zhǔn)確定位，右列為對抗樣本，已經(jīng)成功繞開了人臉檢測算法，而在我們?nèi)庋劭磥韮煞鶊D畫基本沒有差別。

更進(jìn)一步，采用對抗樣本攻擊人臉識別系統(tǒng)，還可以使算法把人臉識別成指定的錯誤類別[3]。下圖第一列為目標(biāo)類別，第2和第4列為原始樣本，對其加入干擾生成的對抗樣本在第3和第5列，它們均被算法錯誤識別為第一列目標(biāo)類別。

2.對抗驗(yàn)證碼

如同網(wǎng)絡(luò)通信的基礎(chǔ)安全設(shè)施——防火墻，互聯(lián)網(wǎng)業(yè)務(wù)安全也有其基礎(chǔ)安全設(shè)施——圖片驗(yàn)證碼和短信驗(yàn)證碼?；ヂ?lián)網(wǎng)業(yè)務(wù)廣泛使用圖形驗(yàn)證碼用于區(qū)分人類和機(jī)器的操作行為，使用短信驗(yàn)證碼過濾黑灰產(chǎn)批量賬號及提供二次校驗(yàn)功能。現(xiàn)在隨著深度學(xué)習(xí)的門檻越來越低，黑灰產(chǎn)會利用深度學(xué)習(xí)技術(shù)構(gòu)建模型自動識別驗(yàn)證碼，突破算法模型設(shè)置的人機(jī)識別防線。下圖的文本驗(yàn)證碼基本都可以被AI模型輕松識別。

針對文本驗(yàn)證碼面臨的挑戰(zhàn)，阿里安全圖靈實(shí)驗(yàn)室的算法專家們將原始驗(yàn)證碼替換成增加擾動后的對抗驗(yàn)證碼。為了增加對抗驗(yàn)證碼的識別難度，又不影響正常用戶的體驗(yàn)，算法專家們又在圖像區(qū)域和生成方式上進(jìn)行了組合擴(kuò)展，最終生成的對抗樣驗(yàn)證碼有效抵御了黑灰產(chǎn)的批量破解，成為阿里業(yè)務(wù)安全的一道銅墻鐵壁。采用該組合擴(kuò)展生成的對抗驗(yàn)證碼如下圖所示：

針對點(diǎn)擊式的圖文驗(yàn)證與行為輔助驗(yàn)證碼，阿里安全圖靈實(shí)驗(yàn)室的算法專家們首先在驗(yàn)證碼中結(jié)合了NLP的問答技術(shù)，再將全部問答轉(zhuǎn)換成圖片，最后利用對抗技術(shù)生成對抗問答圖片。使用商業(yè)的OCR引擎進(jìn)行對此類對抗問答圖片樣本進(jìn)行識別測試，和原始樣本的識別率相比，對抗樣本的識別率大幅降低，且并沒有對用戶的體驗(yàn)帶來很大的影響，由此可見AI結(jié)合安全能為業(yè)務(wù)帶來巨大的價值。

閱讀原文

本文來自云棲社區(qū)合作伙伴“?阿里技術(shù)”，如需轉(zhuǎn)載請聯(lián)系原作者。