摘要：我們可以讓它相信，下面黑色的圖像是一張紙巾，而熊貓則會(huì)被識(shí)別為一只禿鷲現(xiàn)在，這個(gè)結(jié)果對(duì)我來說并不吃驚，因?yàn)闄C(jī)器學(xué)習(xí)是我的工作，而且我知道機(jī)器學(xué)習(xí)習(xí)慣產(chǎn)生奇怪的結(jié)果。

神奇的神經(jīng)網(wǎng)絡(luò)

當(dāng)我打開Google Photos并從我的照片中搜索“skyline”時(shí)，它找到了我在八月拍攝的這張紐約地平線的照片，而我之前并未對(duì)它做過任何標(biāo)記。

當(dāng)我搜索‘cathedral’，Google的神經(jīng)網(wǎng)絡(luò)會(huì)找到我曾看到的大教堂和教堂。這似乎很神奇。

當(dāng)然，神經(jīng)網(wǎng)絡(luò)并不神奇，一點(diǎn)都不！最近我閱讀了一篇論文，“Explaining and Harnessing Adversarial Examples（對(duì)抗樣本的解釋和利用）”，進(jìn)一步削弱了我對(duì)神經(jīng)網(wǎng)絡(luò)的神秘感。

這篇論文介紹了如何欺騙神經(jīng)網(wǎng)絡(luò)，讓其犯下非常驚人的錯(cuò)誤。通過利用比你想象更簡(jiǎn)單（更線性！）的網(wǎng)絡(luò)事實(shí)來做到這一點(diǎn)。我們會(huì)使用一個(gè)線性函數(shù)來逼近這個(gè)網(wǎng)絡(luò)！

重點(diǎn)是要理解，這并不能解釋神經(jīng)網(wǎng)絡(luò)犯下的所有（或是大多數(shù)）類型的錯(cuò)誤！有很多可能會(huì)犯的錯(cuò)誤！但它確實(shí)在一些特定類型的錯(cuò)誤上給了我們一些靈感，這非常好。

在閱讀這篇論文之前，我對(duì)神經(jīng)網(wǎng)絡(luò)的了解有以下三點(diǎn)：

它在圖片分類中表現(xiàn)得很出色（當(dāng)我搜索“baby”時(shí)，它會(huì)找到我朋友可愛的孩子照片）

大家都在網(wǎng)上談?wù)摗吧疃取鄙窠?jīng)網(wǎng)絡(luò)

它們是由多層簡(jiǎn)單的函數(shù)（通常是sigmoid）構(gòu)成，其結(jié)構(gòu)如下圖所示：

錯(cuò)誤

我對(duì)神經(jīng)網(wǎng)絡(luò)了解的第四點(diǎn)（也是最后一點(diǎn)）是：它們有時(shí)會(huì)犯很可笑的錯(cuò)誤。劇透一下本文后面的結(jié)果：這是兩張圖片，文章會(huì)展示神經(jīng)網(wǎng)絡(luò)是如何對(duì)其進(jìn)行分類的。我們可以讓它相信，下面黑色的圖像是一張紙巾，而熊貓則會(huì)被識(shí)別為一只禿鷲！

現(xiàn)在，這個(gè)結(jié)果對(duì)我來說并不吃驚，因?yàn)闄C(jī)器學(xué)習(xí)是我的工作，而且我知道機(jī)器學(xué)習(xí)習(xí)慣產(chǎn)生奇怪的結(jié)果。但如果要解決這個(gè)超級(jí)奇怪的錯(cuò)誤，我們就需要理解其背后的原理！我們要學(xué)習(xí)一些與神經(jīng)網(wǎng)絡(luò)有關(guān)的知識(shí)，然后我會(huì)教你如何讓神經(jīng)網(wǎng)絡(luò)認(rèn)為熊貓就是一只禿鷲。

做第一個(gè)預(yù)測(cè)

我們首先加載一個(gè)神經(jīng)網(wǎng)絡(luò)，然后做一些預(yù)測(cè)，最后再打破這些預(yù)測(cè)。這聽起來真棒。但首先我需要在電腦上得到一個(gè)神經(jīng)網(wǎng)絡(luò)。

我在電腦上安裝了Caffe，這是一個(gè)神經(jīng)網(wǎng)絡(luò)軟件，是Berkeley Vision and Learning Center (BVLC) 社區(qū)貢獻(xiàn)者開發(fā)的。我選擇它是因?yàn)樗俏业谝粋€(gè)可以找到的軟件，而且我可以下載一個(gè)預(yù)先訓(xùn)練好的網(wǎng)絡(luò)。你也可以嘗試下Theano或者Tensorflow。Caffe有非常清晰的安裝說明，這意味著在我正式使用它進(jìn)行工作前，僅僅只需花6個(gè)小時(shí)來熟悉。

如果你想要安裝Caffe，可以參考我寫的程序，它會(huì)讓你節(jié)省更多的時(shí)間。只需去the neural-networks-are-weird repo這個(gè)倉(cāng)庫(kù)，然后按照說明運(yùn)行即可。警告：它會(huì)下載大約1.5G的數(shù)據(jù)，并且需要編譯一大堆的東西。下面是構(gòu)建它的命令（僅僅3行?。阋部梢栽趥}(cāng)庫(kù)下的README文件中找到。

git clone https://github.com/jvns/neural-nets-are-weird

cd neural-nets-are-weird

docker build -t neural-nets-fun:caffe .

docker run -i -p 9990:8888 -v $PWD:/neural-nets -t neural-nets-fun:caffe /bin/bash -c "export PYTHONPATH=/opt/caffe/python && cd /neural-nets && ipython notebook --no-browser --ip 0.0.0.0"

這會(huì)啟動(dòng)你電腦中的IPython notebook服務(wù)，然后你便可以用Python做神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)了。它需要在本地9990端口中運(yùn)行。如果你不想照著做，完全沒關(guān)系。我在這篇文章中也包含了實(shí)驗(yàn)圖片。

一旦我們有了IPtyon notebook并運(yùn)行后，我們就可以開始運(yùn)行代碼并做預(yù)測(cè)了！在這里，我會(huì)貼一些美觀的圖片和少量的代碼片段，但完整的代碼和詳細(xì)細(xì)節(jié)可以在這里查看。

我們將使用一個(gè)名叫GoogLeNet的神經(jīng)網(wǎng)絡(luò)，它在LSVRC 2014 多個(gè)競(jìng)賽中勝出。正確分類是在耗費(fèi)94%時(shí)間的前5大網(wǎng)絡(luò)猜測(cè)中。這是我讀過的那篇論文的網(wǎng)絡(luò)。（如果你想要一個(gè)很好的閱讀，你可以閱讀一下人類不能比GoogLeNet做得更好這篇文章。神經(jīng)網(wǎng)絡(luò)真的很神奇。）

首先，讓我們使用網(wǎng)絡(luò)對(duì)一只可愛的kitten進(jìn)行分類：

下面是對(duì)kitten進(jìn)行分類的代碼：

image = "/tmp/kitten.png"

# preprocess the kitten and resize it to 224x224 pixels

net.blobs["data"].data[...] = transformer.preprocess("data", caffe.io.load_image(image))

# make a prediction from the kitten pixels

out = net.forward()

# extract the most likely prediction

print("Predicted class is #{}.".format(out["prob"][0].argmax()))

就這些！僅僅只需3行代碼。同樣，我可以對(duì)一只可愛的小狗進(jìn)行分類！

原來這只狗不是柯基犬，只是顏色非常相似。這個(gè)網(wǎng)絡(luò)對(duì)狗的了解果真比我還多。

一個(gè)錯(cuò)誤是什么樣的（以女王為例）

做這項(xiàng)工作時(shí)最有趣的事情是，我發(fā)現(xiàn)了神經(jīng)網(wǎng)絡(luò)認(rèn)為英國(guó)女王戴在她的頭上。

所以，現(xiàn)在我們看到網(wǎng)絡(luò)做了一件正確的事，同時(shí)我們也看到它在不經(jīng)意間犯了一個(gè)可愛的錯(cuò)誤（女王戴的是浴帽）?，F(xiàn)在...我們讓它故意去犯錯(cuò)誤，并進(jìn)入它的核心。

故意犯錯(cuò)誤

在真正理解其工作原理之前，我們需要做一些數(shù)學(xué)變換，首先讓我們看看它對(duì)黑色屏幕的一些描述。

這張純黑色圖像被認(rèn)為是天鵝絨的概率是27%，被認(rèn)為是紙巾的概率為4%。還有一些其它類別的概率沒有列出來，這些概率之和為100%。

我想弄清楚如何讓神經(jīng)網(wǎng)絡(luò)更有信心認(rèn)為這是一個(gè)紙巾。

要做到這一點(diǎn)，我們需要計(jì)算神經(jīng)網(wǎng)絡(luò)的梯度。也就是神經(jīng)網(wǎng)絡(luò)的導(dǎo)數(shù)。你可以將這看作是一個(gè)方向，讓圖像在這個(gè)方向上看起來更像一張紙巾。

要計(jì)算梯度，我們首先需要選擇一個(gè)預(yù)期的結(jié)果來移動(dòng)方向，并設(shè)置輸出概率列表，0表示任何方向，1表示紙巾的方向。反向傳播算法是一種計(jì)算梯度的算法。我原以為它很神秘，但事實(shí)上它只是一個(gè)實(shí)現(xiàn)鏈?zhǔn)椒▌t的算法。

下面是我編寫的代碼，實(shí)際上非常簡(jiǎn)單！反向傳播是一種最基本的神經(jīng)網(wǎng)絡(luò)運(yùn)算，因此在庫(kù)中很容易獲得。

def compute_gradient(image, intended_outcome):

? ? # Put the image into the network and make the prediction

? ? predict(image)

? ? # Get an empty set of probabilities

? ? probs = np.zeros_like(net.blobs["prob"].data)

? ? # Set the probability for our intended outcome to 1

? ? probs[0][intended_outcome] = 1

? ? # Do backpropagation to calculate the gradient for that outcome

? ? # and the image we put in

? ? gradient = net.backward(prob=probs)

? ? return gradient["data"].copy()

這基本上告訴了我們，什么樣的神經(jīng)網(wǎng)絡(luò)會(huì)在這一點(diǎn)上尋找。因?yàn)槲覀兲幚淼乃袞|西都可以表示為一個(gè)圖像，下面這個(gè)是compute_gradient(black, paper_towel_label)的輸出，縮放到可見比例。

現(xiàn)在，我們可以從我們的黑色屏幕添加或減去一個(gè)非常明亮的部分，使神經(jīng)網(wǎng)絡(luò)認(rèn)為我們的圖像或多或少像一張紙巾。由于我們添加的圖像太亮（像素值小于1 / 256），所以差異完全看不到。下面是這個(gè)結(jié)果：

現(xiàn)在，神經(jīng)網(wǎng)絡(luò)以16%的概率肯定我們的黑色屏幕是一張紙巾，而不是4%！真靈巧。但是，我們可以做的更好。我們可以采取走十個(gè)小步來構(gòu)成一個(gè)有點(diǎn)像紙巾的每一步，而不是在紙巾的方向直接走一步。你可以在下面看到隨時(shí)間變化的概率。你會(huì)注意到概率值與之前的不同，因?yàn)槲覀兊牟介L(zhǎng)大小不同（0.1，而不是0.9）。

最后的結(jié)果：

下面是構(gòu)成這張圖像的像素值！他們都從0開始，而且你可以看到，我們已經(jīng)轉(zhuǎn)換了它們，使其認(rèn)為該圖像就是紙巾。

我們還可以用50乘以這個(gè)圖像從而獲得一個(gè)更好的圖像感知。

對(duì)我來說，這看起來并不像一塊紙巾，但對(duì)你可能就像。我猜測(cè)圖像的所有漩渦都戲弄了神經(jīng)網(wǎng)絡(luò)使其認(rèn)為這是一張紙巾。這牽扯到基本的概念證明和一些數(shù)學(xué)原理。馬上我們就要接觸更多的數(shù)學(xué)知識(shí)了，但首先我們來玩點(diǎn)有趣的。

玩轉(zhuǎn)神經(jīng)網(wǎng)絡(luò)

一旦我理解了這個(gè)，它就會(huì)變得非常有趣。我們可以換一只貓變成浴巾：

一個(gè)垃圾桶可以變成一個(gè)水壺/雞尾酒調(diào)酒器：

一只熊貓可以變成禿鷲。

這張圖表明，在將熊貓認(rèn)為是禿鷹的100步內(nèi)，其概率曲線轉(zhuǎn)變地很迅速。

你可以查看代碼，讓這些工作在 IPython notebook中運(yùn)行。真的很有趣。

現(xiàn)在，是時(shí)候多一點(diǎn)數(shù)學(xué)原理了。

如何工作：邏輯回歸

首先，讓我們討論一種最簡(jiǎn)單的圖像分類方法——邏輯回歸。什么是邏輯回歸？下面我來試著解釋下。

假設(shè)你有一個(gè)線性函數(shù)，用于分類一張圖像是否是浣熊。那么我們?nèi)绾问褂镁€性函數(shù)呢？現(xiàn)在假設(shè)你的圖像只有5個(gè)像素（x1,x2,x3,x4,x5），取值均在0和255之間。我們的線性函數(shù)都有一個(gè)權(quán)重，比如取值為（23, - 3,9,2, 5），然后對(duì)圖像進(jìn)行分類，我們會(huì)將得到像素和權(quán)重的內(nèi)積：

result=23x1?3x2+9x3+2x4?5x5

假設(shè)現(xiàn)在的結(jié)果是794。那么794到底意味著它是浣熊或者不是呢？794是概率嗎？794當(dāng)然不是概率。概率是一個(gè)0到1之間的數(shù)。我們的結(jié)果在?∞到∞之間。人們將一個(gè)取值在?∞到∞之間的數(shù)轉(zhuǎn)為一個(gè)概率值的一般方法是使用一個(gè)叫做logistic的函數(shù)：S(t)=1/(1+e^(-t))

此函數(shù)的圖形如下所示：

S(794)的結(jié)果基本為1，所以如果我們從浣熊的權(quán)重得到794，那么我們就肯定它100%是個(gè)浣熊。在這個(gè)模型中——我們先使用線性函數(shù)變換數(shù)據(jù)，然后應(yīng)用邏輯函數(shù)得到一個(gè)概率值，這就是邏輯回歸，而且這是一種非常簡(jiǎn)單流行的機(jī)器學(xué)習(xí)技術(shù)。

機(jī)器學(xué)習(xí)中的“學(xué)習(xí)”主要是在給定的訓(xùn)練集下，如何決定正確的權(quán)重（比如（23, - 3,9,2, 5）），這樣我們得到的概率值才能盡可能的好。通常訓(xùn)練集越大越好。

現(xiàn)在我們理解了什么是邏輯回歸，接下來讓我們討論下如何打破它吧！

打破邏輯回歸

這有一篇華麗的博文，Andrej Karpathy發(fā)表的Breaking Linear Classifiers on ImageNet，解釋了如何完美地打破一個(gè)簡(jiǎn)單線性模型（不是邏輯回歸，而是線性模型）。后面我們將使用同樣的原理來打破神經(jīng)網(wǎng)絡(luò)。

這有一個(gè)例子（來自Karpathy的文章），一些區(qū)分不同食物，鮮花以及動(dòng)物的線性分類器，可視化為下圖。

你可以看到“Granny Smith”分類器基本上是問“是綠色么？”（并不是以最壞的方式來找出?。?，而“menu”分類器發(fā)現(xiàn)菜單通常是白色。Karpathy 對(duì)其解釋的非常清楚：

例如，蘋果是綠色的，所以線性分類器在所有的空間位置中，綠色通道上呈現(xiàn)正權(quán)值，藍(lán)色和紅色通道上呈現(xiàn)負(fù)權(quán)值。因此，它有效地計(jì)算了中間是綠色成分的量。

所以，如果我想要讓Granny Smith分類器認(rèn)為我是一個(gè)蘋果，我需要做的是：

找出圖中哪一個(gè)像素點(diǎn)最關(guān)心綠色

給關(guān)心綠色的像素點(diǎn)著色

證明！

所以現(xiàn)在我們知道如何去欺騙一個(gè)線性分類器。但是神經(jīng)網(wǎng)絡(luò)并不是線性的，它是高度非線性的！為什么會(huì)相關(guān)呢？

如何工作：神經(jīng)網(wǎng)絡(luò)

在這我必須誠(chéng)實(shí)一點(diǎn)：我不是神經(jīng)網(wǎng)絡(luò)專家，我對(duì)神經(jīng)網(wǎng)絡(luò)的解釋并不會(huì)很出色。Michael Nielsen寫了一本叫做《Neural Networks and Deep Learning》的書，寫的很好。另外，Christopher Olah的博客也不錯(cuò)。

我所知道的神經(jīng)網(wǎng)絡(luò)是：它們是函數(shù)。你輸入一張圖像，你會(huì)得到一個(gè)概率列表，對(duì)每個(gè)類都有一個(gè)概率。這些是你在這篇文章中看到的圖像的數(shù)字。（它是一只狗嗎？不。淋浴帽？也不是。一個(gè)太陽能電池？YES?。。?/p>

因此，一個(gè)神經(jīng)網(wǎng)絡(luò)，就像1000個(gè)函數(shù)（每個(gè)概率對(duì)應(yīng)一個(gè)）。但1000個(gè)函數(shù)對(duì)于推理來說非常復(fù)雜。因此，做神經(jīng)網(wǎng)絡(luò)的人，他們把這1000個(gè)概率組合并為一個(gè)單一的“得分”，并稱之為“損失函數(shù)”。

每個(gè)圖像的損失函數(shù)取決于圖像實(shí)際正確的輸出。假設(shè)我有一張鴕鳥的圖片，并且神經(jīng)網(wǎng)絡(luò)有一個(gè)輸出概率Pj，其中j=1...1000，但對(duì)于每只鴕鳥我想要得到的是概率yj。那么損失函數(shù)為：

假設(shè)與“鴕鳥”對(duì)應(yīng)的標(biāo)簽值是700，那么y700=1，其它的yj就為0，L=-logp700。

在這里，重點(diǎn)是要理解神經(jīng)網(wǎng)絡(luò)給你的是一個(gè)函數(shù)，當(dāng)你輸入一張圖像（熊貓），你會(huì)得到損失函數(shù)的最終值（一個(gè)數(shù)，如2）。因?yàn)樗且粋€(gè)單值函數(shù)，所以我們將該函數(shù)的導(dǎo)數(shù)（或梯度）賦值給另一張圖像。然后，你就可以使用這個(gè)圖像來欺騙神經(jīng)網(wǎng)絡(luò)，也就是用我們?cè)谶@篇文章前面討論的方法！

打破神經(jīng)網(wǎng)絡(luò)

下面是關(guān)于如何打破一個(gè)線性函數(shù)/邏輯回歸與神經(jīng)網(wǎng)絡(luò)的關(guān)系！也就是你一直在等待的數(shù)學(xué)原理！思考下我們的圖像（可愛的熊貓），損失函數(shù)看起來像：

其中，梯度grad等于?L(x)。因?yàn)檫@是微積分。為了讓損失函數(shù)的變化的更多，我們要較大化移動(dòng)的delta和梯度grad兩者的點(diǎn)積。讓我們通過compute_gradient()函數(shù)計(jì)算梯度，并把它畫成一個(gè)圖片：

直覺告訴我們需要做的是創(chuàng)建一個(gè)delta，它重點(diǎn)強(qiáng)調(diào)神經(jīng)網(wǎng)絡(luò)認(rèn)為重要的圖像像素。現(xiàn)在，假設(shè)grad為(?0.01,?0.01,0.01,0.02,0.03).

我們可以取delta=(?1,?1,1,1,1)，那么grad?delta的值為0.08.。讓我們嘗試一下！在代碼中，就是delta = np.sign(grad)。當(dāng)我們通過這個(gè)數(shù)量移動(dòng)時(shí)，果然–現(xiàn)在熊貓變成黃鼠狼了。

但是，這是為什么呢？讓我們來思考下?lián)p失函數(shù)。我們開始看到的結(jié)果顯示，它是熊貓的概率為99.57%。?log(0.9957)=0.0018。非常?。∫虼?，添加一個(gè)delta倍會(huì)增加我們的損失函數(shù)（使它不像熊貓），而減去一個(gè)delta倍會(huì)減少我們的損失函數(shù)（使它更像熊貓）。但事實(shí)正好相反！我對(duì)這一點(diǎn)還是很困惑。

你欺騙不了狗

現(xiàn)在我們了解了數(shù)學(xué)原理，一個(gè)簡(jiǎn)短的描述。我還嘗試去欺騙網(wǎng)絡(luò)，讓它識(shí)別先前那只可愛的小狗：

但對(duì)于狗，網(wǎng)絡(luò)會(huì)強(qiáng)烈地抵抗將其歸類為除狗之外的東西！我花了一些時(shí)間試圖讓它相信那只狗是一個(gè)網(wǎng)球，但是它仍然是一只狗。是其它種類的狗！但仍然還是一只狗。

我在一個(gè)會(huì)議上遇到了Jeff Dean（他在谷歌做神經(jīng)網(wǎng)絡(luò)工作），并向他請(qǐng)教了這一點(diǎn)。他告訴我，這個(gè)網(wǎng)絡(luò)在訓(xùn)練集中有一堆狗，比熊貓多。所以他假設(shè)是要訓(xùn)練更好的網(wǎng)絡(luò)來識(shí)別狗。似乎有道理！

我認(rèn)為這非常酷，這讓我覺得訓(xùn)練更較精確的網(wǎng)絡(luò)更有希望。

關(guān)于這個(gè)話題還有另一件更有趣的事情–當(dāng)我試圖讓網(wǎng)絡(luò)認(rèn)為熊貓是一只禿鷲時(shí)，它在中間花了一點(diǎn)時(shí)間去思考它是否是鴕鳥。當(dāng)我問Jeff Dean關(guān)于熊貓和狗這個(gè)問題時(shí)，他隨口提到了“熊貓鴕鳥空間”，而我并沒有提到讓網(wǎng)絡(luò)認(rèn)為熊貓是禿鷲時(shí)曾思考過它是否是鴕鳥。這真的很酷，他用數(shù)據(jù)和這些網(wǎng)絡(luò)花足夠的時(shí)間一下子就清楚地知道鴕鳥和熊貓以某種關(guān)系緊密地結(jié)合在一起。

更少的神秘感

當(dāng)我開始做這件事的時(shí)候，我?guī)缀醪恢朗裁词巧窠?jīng)網(wǎng)絡(luò)。現(xiàn)在我可以使它認(rèn)為熊貓是一只禿鷹，并看到它是如何聰明的分類狗，我一點(diǎn)點(diǎn)的了解他們。我不再認(rèn)為谷歌正在做的很神奇了，但對(duì)于神經(jīng)網(wǎng)絡(luò)我仍然很疑惑。有很多需要學(xué)習(xí)！使用這種方式去欺騙它們，會(huì)消除一些神秘感，并且現(xiàn)在對(duì)它們的了解更多了。

相信你也可以的！這個(gè)程序的所有代碼都在（neural-networks-are-weird）這個(gè)倉(cāng)庫(kù)中。它使用的是Docker，所以你可以輕易地安裝，而且你不需要一個(gè)GPU或是新電腦。這些代碼都是在我這臺(tái)用了3年的老GPU筆記本上運(yùn)行的。

想要了解更多，請(qǐng)閱讀原論文：Explaining and Harnessing Adversarial Examples。論文內(nèi)容簡(jiǎn)短，寫得很好，會(huì)告訴你更多本文沒提及到的內(nèi)容，包括如何使用這個(gè)技巧建立更好的神經(jīng)網(wǎng)絡(luò)！

最后，感謝Mathieu Guay-Paquet, Kamal Marhubi以及其他在編寫這篇文章幫助過我的人！

譯者簡(jiǎn)介：劉帝偉，中南大學(xué)軟件學(xué)院在讀研究生，關(guān)注機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘及生物信息領(lǐng)域。