摘要：相反深度學(xué)習(xí)的對抗樣本是由于模型的線性特征。所以通過對抗訓(xùn)練能夠提高深度學(xué)習(xí)的對于對抗樣本的抗干擾能力。此外，指出，人類并不會像現(xiàn)代機器學(xué)習(xí)算法那樣被對抗樣本所影響。

2006 年，Geoffrey Hinton 提出了深度學(xué)習(xí)。受益于大數(shù)據(jù)的出現(xiàn)和大規(guī)模計算能力的提升，深度學(xué)習(xí)已然成為最活躍的計算機研究領(lǐng)域之一。深度學(xué)習(xí)的多層非線性結(jié)構(gòu)使其具備強大的特征表達(dá)能力和對復(fù)雜任務(wù)的建模能力。最近幾年，深度學(xué)習(xí)的發(fā)展也帶動了一系列的研究。尤其是在圖像識別領(lǐng)域，在一些標(biāo)準(zhǔn)測試集上的試驗表明，深度模型的識別能力已經(jīng)可以達(dá)到人類的水平。但是，人們還是會產(chǎn)生一個疑問，對于一個非正常的輸入，深度模型是否依然能夠產(chǎn)生滿意的結(jié)果。的確，最近有研究者開始關(guān)注深度模型抗干擾能力的研究，也就是關(guān)于深度學(xué)習(xí)對抗樣本的問題。對于這一新的問題，本文對它進行一個簡單的介紹。文章由黃立威、張?zhí)炖渍怼?/p>

什么是深度學(xué)習(xí)對抗樣本

Christian Szegedy等人在ICLR2014發(fā)表的論文中，他們提出了對抗樣本（Adversarial examples）的概念，即在數(shù)據(jù)集中通過故意添加細(xì)微的干擾所形成的輸入樣本，受干擾之后的輸入導(dǎo)致模型以高置信度給出一個錯誤的輸出。在他們的論文中，他們發(fā)現(xiàn)包括卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）在內(nèi)的深度學(xué)習(xí)模型對于對抗樣本都具有極高的脆弱性。他們的研究提到，很多情況下，在訓(xùn)練集的不同子集上訓(xùn)練得到的具有不同結(jié)構(gòu)的模型都會對相同的對抗樣本實現(xiàn)誤分，這意味著對抗樣本成為了訓(xùn)練算法的一個盲點。Anh Nguyen等人在CVPR2015上發(fā)表的論文中，他們發(fā)現(xiàn)面對一些人類完全無法識別的樣本（論文中稱為Fooling Examples），可是深度學(xué)習(xí)模型會以高置信度將它們進行分類。這些研究的提出，迅速抓住了公眾的注意力，有人將其當(dāng)做是深度學(xué)習(xí)的深度缺陷，可是kdnuggets上的一篇文章(Deep Learning’s Deep Flaws)’s Deep Flaws指出，事實上深度學(xué)習(xí)對于對抗樣本的脆弱性并不是深度學(xué)習(xí)所獨有的，在很多的機器學(xué)習(xí)模型中普遍存在，因此進一步研究有利于抵抗對抗樣本的算法實際上有利于整個機器學(xué)習(xí)領(lǐng)域的進步。

深度學(xué)習(xí)對于對抗樣本表現(xiàn)的脆弱性產(chǎn)生的原因

是什么原因造成了深度學(xué)習(xí)對于對抗樣本表現(xiàn)出脆弱性。一個推斷性的解釋是深度神經(jīng)網(wǎng)絡(luò)的高度非線性特征，以及純粹的監(jiān)督學(xué)習(xí)模型中不充分的模型平均和不充分的正則化所導(dǎo)致的過擬合。Ian Goodfellow 在ICLR2015年的論文中，通過在一個線性模型加入對抗干擾，發(fā)現(xiàn)只要線性模型的輸入擁有足夠的維度（事實上大部分情況下，模型輸入的維度都比較大，因為維度過小的輸入會導(dǎo)致模型的準(zhǔn)確率過低），線性模型也對對抗樣本表現(xiàn)出明顯的脆弱性，這也駁斥了關(guān)于對抗樣本是因為模型的高度非線性的解釋。相反深度學(xué)習(xí)的對抗樣本是由于模型的線性特征。

深度學(xué)習(xí)對抗樣本泛化的原因

很多的時候，兩個模型即使有不同的結(jié)構(gòu)并在不同的訓(xùn)練集上被訓(xùn)練，一種模型的對抗樣本在另一個模型中也同樣會被誤分，甚至它們還會將對抗樣本誤分為相同的類。這是因為對抗樣本與模型的權(quán)值向量高度吻合，同時為了訓(xùn)練執(zhí)行相同的任務(wù)，不同的模型學(xué)習(xí)了相似的函數(shù)。這種泛化特征意味著如果有人希望對模型進行惡意攻擊，攻擊者根本不必訪問需要攻擊的目標(biāo)模型，就可以通過訓(xùn)練自己的模型來產(chǎn)生對抗樣本，然后將這些對抗樣本部署到他們需要攻擊的模型中。

深度學(xué)習(xí)的對抗訓(xùn)練

所謂深度學(xué)習(xí)對抗訓(xùn)練，就是通過在對抗樣本上訓(xùn)練模型。既然深度學(xué)習(xí)的對抗樣本是由于模型的線性特征所導(dǎo)致，那就可以設(shè)計一種快速的方法來產(chǎn)生對抗樣本進行對抗訓(xùn)練。Szegedy等人的研究認(rèn)為對抗樣本可以通過使用標(biāo)準(zhǔn)正則化技術(shù)解決，可是Goodfellow等人使用常見的正則化方法，如dropout, 預(yù)訓(xùn)練和模型平均進行測試，并沒能顯著地提高深度模型對于對抗樣本的抗干擾能力。根據(jù)神經(jīng)網(wǎng)絡(luò)的Universal Approximation Theory，至少擁有一個隱層的神經(jīng)網(wǎng)絡(luò)只要擁有足夠的隱層單元，就可以任意逼近任何一個非線性函數(shù)，這是淺層模型所不具備的。因此，對于解決對抗樣本問題，Goodfellow等人認(rèn)為深度學(xué)習(xí)至少有希望的，而淺層模型卻不太可能。Goodfellow等人通過利用對抗樣本訓(xùn)練，對抗樣本上的誤分率被大大降低。同時他們發(fā)現(xiàn)選擇原始模型產(chǎn)生的對抗樣本作為訓(xùn)練數(shù)據(jù)可以訓(xùn)練得到具有更高抵抗力的模型。此外，他們還發(fā)現(xiàn)，對于誤分的對抗樣本，對抗訓(xùn)練得到的模型的置信度依然很高。所以通過對抗訓(xùn)練能夠提高深度學(xué)習(xí)的對于對抗樣本的抗干擾能力。

幾個深度學(xué)習(xí)對抗樣本的事實

對于深度學(xué)習(xí)對抗樣本，Ian Goodfellow認(rèn)為目前存在一些誤解，為了對這些誤解進行進一步澄清，Kdnuggets網(wǎng)站的編輯邀請Goodfellow撰文Deep Learning Adversarial Examples – Clarifying Misconceptions。文章指出對抗樣本在實際當(dāng)中是經(jīng)?？赡艹霈F(xiàn)的，而且在小的數(shù)據(jù)當(dāng)中也能夠經(jīng)常被發(fā)現(xiàn)，例如試圖騙過垃圾郵件檢測系統(tǒng)的垃圾郵件。Goodfellow還指出識別一個對抗樣本，然后拒它進行分類并不是一個較佳的選擇，通過有效的算法，能夠克服數(shù)據(jù)干擾，正確識別對抗樣本中的信息才是最終目的。此外，Goodfellow指出，人類并不會像現(xiàn)代機器學(xué)習(xí)算法那樣被對抗樣本所影響。如果我們的大腦會和機器學(xué)習(xí)模型一樣犯同樣的錯誤，那么由于對抗樣本的在不同模型上的泛化屬性，機器學(xué)習(xí)模型的對抗樣本將會使我們產(chǎn)生視覺錯亂。

總之，對抗樣本是一個非常難的問題，研究如何克服它們可以幫助避免潛在的安全問題，并且?guī)椭鷻C器學(xué)習(xí)算法提高解決問題的準(zhǔn)確性。某種意義上來說，設(shè)計一個易于訓(xùn)練的線性模型和設(shè)計一個能夠抵御對抗干擾的非線性模型之間存在根本的矛盾，從長遠(yuǎn)來看，設(shè)計更強大的優(yōu)化方法以訓(xùn)練更加非線性的模型是未來需要努力的方向。