摘要：在較低水平的神經(jīng)元中，一個(gè)多樣性術(shù)語可以揭示一個(gè)特征所代表的不同方面簡(jiǎn)單優(yōu)化用多樣性進(jìn)行的優(yōu)化揭示了四個(gè)不同的彎曲的方面。注意勺子的紋理和顏色與狗的皮毛相似，從而足以讓神經(jīng)元激活。下面，一個(gè)神經(jīng)元對(duì)兩種類型的動(dòng)物臉部以及車做出響應(yīng)。

邊緣（層 conv2d0）

紋理（層 mixed3a）

模式（層 mixed4a）

部分（層 mixed4b & mixed4c）

目標(biāo)（層 mixed4d & mixed4e）

特征可視化使我們能夠看到在ImageNet數(shù)據(jù)集上訓(xùn)練的GoogLeNet是如何構(gòu)建對(duì)多層圖像的理解的。所有信道的可視化可以在appendix上查到（https://distill.pub/2017/feature-visualization/appendix/）。

現(xiàn)如今，人們?cè)絹碓揭庾R(shí)到，神經(jīng)網(wǎng)絡(luò)對(duì)于人類來說應(yīng)該是具有可解釋性的。針對(duì)這些問題，神經(jīng)網(wǎng)絡(luò)的可解釋性領(lǐng)域已經(jīng)形成，并隨著發(fā)展的成熟，兩大研究思路已經(jīng)開始走向融合：特征可視化和屬性。

?

特征可視化通過生成樣本來回答有關(guān)網(wǎng)絡(luò)或部分網(wǎng)絡(luò)所正在尋找什么的問題。

屬性（attribution）研究的是一個(gè)樣本中的哪一部分負(fù)責(zé)以特定的方式所激活的網(wǎng)絡(luò)。

（注：作為一個(gè)新興的領(lǐng)域，神經(jīng)網(wǎng)絡(luò)的互操作性還沒有標(biāo)準(zhǔn)化的術(shù)語。屬性（attribution）在文獻(xiàn)中已經(jīng)有許多不同的名稱—包括“特征可視化”—但近期的工作似乎更傾向“屬性”和“顯著圖（saliency maps）”）

本文重點(diǎn)介紹特征可視化。雖然特征可視化是一個(gè)強(qiáng)大的工具，但實(shí)際上它的工作涉及到許多細(xì)節(jié)。在本文中，我們將研究主要問題并探討解決這些問題的常用方法。我們發(fā)現(xiàn)，非常簡(jiǎn)單的方法可以產(chǎn)生高質(zhì)量的可視化效果。而在這個(gè)過程中，我們將引入一些技巧，以探索在神經(jīng)元反應(yīng)中的變體，它們是如何相互作用，以及該如何改進(jìn)優(yōu)化過程的。

通過優(yōu)化進(jìn)行特征可視化

一般而言，神經(jīng)網(wǎng)絡(luò)在輸入方面是可微的。如果我們想要找出哪種輸入會(huì)導(dǎo)致某種行為——無論是內(nèi)部神經(jīng)元還是最終輸出行為——我們都可以使用導(dǎo)數(shù)來迭代地調(diào)整輸入以實(shí)現(xiàn)該目標(biāo)。

從隨機(jī)噪聲開始，我們優(yōu)化一個(gè)圖像以激活一個(gè)特定的神經(jīng)元。

雖然從概念上看很簡(jiǎn)單，但在優(yōu)化工作方面還存在著微妙的挑戰(zhàn)。我們將對(duì)其進(jìn)行探索，并挖掘它們的幾種常見方法。

優(yōu)化目標(biāo)

我們想要什么樣的樣本？這是處理樣本的核心問題，無論我們是通過搜索數(shù)據(jù)集來查找樣本還是優(yōu)化圖像以從頭開始創(chuàng)建?？梢哉f，我們?cè)谒阉鞣矫嬗泻芏喾N選擇：

不同的優(yōu)化目標(biāo)顯示網(wǎng)絡(luò)的不同部分正在尋找。

n：層索引

x,y：空間位置

z：信道索引

K：類指數(shù)

神經(jīng)元

layern[x,y,z]

信道

layern[:,:,z]

?

層/ DeepDream

layern[:,:,:]2

類對(duì)數(shù)

pre_softmax[k]

?

類概率

softmax[k]

如果我們想了解單個(gè)特征，我們可以搜索那些具有高值的樣本——無論是位于某個(gè)單一位置還是整個(gè)信道的神經(jīng)元。我們使用信道目標(biāo)來創(chuàng)建本文中的大部分圖像。

如果我們想要將層作為一個(gè)整體來了解，我們可以使用DeepDream目標(biāo)，搜索層以發(fā)現(xiàn)有用的圖像。

如果我們想從一個(gè)分類器中創(chuàng)建輸出類的樣本，我們有兩個(gè)選擇——在softmax之前優(yōu)化類對(duì)數(shù)，或者在softmax之后優(yōu)化類概率。我們可以把這些對(duì)數(shù)視作每個(gè)類證據(jù)，把概率作為每個(gè)給定證據(jù)的類的似然值。不幸的是，用來增加softmax函數(shù)給予類概率的最簡(jiǎn)單的方法往往使替代方案不太可能實(shí)現(xiàn)，而不是使有用的類成為可能。根據(jù)我們的經(jīng)驗(yàn)，優(yōu)化前softmax對(duì)數(shù)會(huì)生成具有更好視覺質(zhì)量的圖像。

我們提到的目標(biāo)僅僅涉及的是可能存在的目標(biāo)的表面，還有更多的可以去嘗試。特別值得注意的是在風(fēng)格遷移中所使用的目標(biāo)，它可以告訴我們關(guān)于網(wǎng)絡(luò)所能理解的風(fēng)格和內(nèi)容的種類，以及基于優(yōu)化的模型倒置中所使用的目標(biāo)，而這有助于我們理解模型所保存和丟棄的信息。我們所涉及的不過是一些簡(jiǎn)單的知識(shí)，要探索的空間還很大。

為什么通過優(yōu)化進(jìn)行可視化

優(yōu)化可以為我們提供一個(gè)樣本輸入，從而產(chǎn)生期望行為。但為什么要如此大費(fèi)周章呢？難道我們不能通過數(shù)據(jù)集查找可以產(chǎn)生期望行為的樣本嗎？

事實(shí)證明，優(yōu)化方法可以成為理解模型真正在尋找什么的強(qiáng)大方法，因?yàn)樗鼘旬a(chǎn)生行為的事物與那些僅與事件相關(guān)的事物區(qū)分開來。例如，考慮以下使用數(shù)據(jù)集樣本和優(yōu)化進(jìn)行可視化的神經(jīng)元：

優(yōu)化還具有靈活性的優(yōu)勢(shì)。例如，如果我們想研究神經(jīng)元是如何共同地來表征信息的，我們可以很容易地去問一個(gè)特定的樣本將需要變得如何不同，從而可以激活一個(gè)附加的神經(jīng)元。這種靈活性還可以幫助可視化網(wǎng)絡(luò)訓(xùn)練中的特征演變。如果我們僅限于理解數(shù)據(jù)集中固定樣本的模型，那么像這些類似的主題將更變得難以探索。

另一方面，通過優(yōu)化對(duì)特征進(jìn)行可視化也是一個(gè)巨大的挑戰(zhàn)。在下面的章節(jié)中，我們將研究獲得多樣化可視化的技術(shù)，從而了解神經(jīng)元是如何相互作用的。

多樣性

我們的樣本是否向我們展示了全貌？當(dāng)我們通過優(yōu)化來創(chuàng)建樣本時(shí)，這一點(diǎn)是需要非常注意的。真正的樣本可以僅向我們展示一個(gè)特征所代表的“小平面（facet）”來誤導(dǎo)我們。

數(shù)據(jù)集樣本在這里有很大的優(yōu)勢(shì)。通過查看數(shù)據(jù)集，我們可以找到不同的樣本。它不只是為我們激活了一個(gè)神經(jīng)元：我們可以看到整個(gè)激活范圍，從而看看到底是什么激活了神經(jīng)元的不同區(qū)段。

相比之下，優(yōu)化通常只能給我們一個(gè)非常正向的樣本，當(dāng)然，如果我們有創(chuàng)造力的話，那么即使是一個(gè)非常負(fù)向的樣本也是可以的。有沒有什么方法可以使我們獲得這種多樣性？

通過優(yōu)化實(shí)現(xiàn)多樣性

網(wǎng)絡(luò)的一個(gè)給定特征可以對(duì)廣泛的輸入作出響應(yīng)。例如，在類等級(jí)上，經(jīng)過訓(xùn)練的識(shí)別狗的分類器應(yīng)該能夠識(shí)別它們的臉部特寫以及更寬的輪廓圖像——盡管這些圖像具有完全不同的視覺外觀。Wei等人的早期研究試圖通過在整個(gè)訓(xùn)練集上記錄激活來展示這種“內(nèi)部類（intra-class）”多樣性，對(duì)它們進(jìn)行聚類并對(duì)集群中心進(jìn)行優(yōu)化，從而揭示出所學(xué)習(xí)類的不同方面。

Nguyen、Yosinski及其合作者所采用的另一種方法是在數(shù)據(jù)集中搜索不同的樣本，并將其作為優(yōu)化過程的起始點(diǎn)。這個(gè)想法是，在特征的不同方面進(jìn)行優(yōu)化，從而從優(yōu)化中得到的樣本將能夠?qū)@些方面進(jìn)行演示。在最近的研究中，他們把可視化類和生成式模型結(jié)合起來，即可以對(duì)不同的樣本進(jìn)行采樣。他們的第一種方法的成功是有局限性的，而生成式模型的方法運(yùn)行地很好。

我們發(fā)現(xiàn)，實(shí)現(xiàn)多樣性有一個(gè)非常簡(jiǎn)單的方法：在一個(gè)目標(biāo)上增加一個(gè)“多樣性術(shù)語”，這個(gè)目標(biāo)就是推動(dòng)多個(gè)樣本彼此互不相同。多樣性術(shù)語可以采取多種形式。現(xiàn)如今，我們對(duì)它們的好處還不太了解。一種可能是，對(duì)不同樣本的余弦相似度進(jìn)行懲罰。另一種方法是使用風(fēng)格遷移中的思想，迫使該特征以不同的風(fēng)格得以顯示。

在較低水平的神經(jīng)元中，一個(gè)多樣性術(shù)語可以揭示一個(gè)特征所代表的不同方面：

?

簡(jiǎn)單優(yōu)化

用多樣性進(jìn)行的優(yōu)化揭示了四個(gè)不同的、彎曲的方面。

?

數(shù)據(jù)集樣本

不同的特征可視化使得我們能夠更較精確地確定是什么激活了神經(jīng)元，以及我們可以做出的程度，并且通過查看數(shù)據(jù)集樣本，做出有關(guān)哪些輸入將激活神經(jīng)元的預(yù)測(cè)。

例如，讓我們來看看這個(gè)簡(jiǎn)單的優(yōu)化結(jié)果。

?

只是獨(dú)立地看一下，我們可能會(huì)推斷出在狗頭頂部的這個(gè)神經(jīng)元被激活，因?yàn)閮?yōu)化顯示了眼睛和只有向下彎曲的邊緣。然而，從多樣性的優(yōu)化來看，我們看到了不包括眼睛的優(yōu)化結(jié)果，以及一個(gè)包含向上彎曲邊緣的優(yōu)化結(jié)果。因此，我們不得不擴(kuò)大我們對(duì)這個(gè)神經(jīng)元激活的期望，主要是關(guān)于毛皮紋理。根據(jù)數(shù)據(jù)集樣本來檢查這個(gè)假設(shè)，結(jié)果顯示，這是大致正確的。 注意勺子的紋理和顏色與狗的皮毛相似，從而足以讓神經(jīng)元激活。

簡(jiǎn)單優(yōu)化

用多樣性進(jìn)行的優(yōu)化

數(shù)據(jù)集樣本

在更高水平的神經(jīng)元中，多樣性的影響可能更加顯著，其中，它可以向我們展示能夠刺激神經(jīng)元的不同類型的物體。例如，一個(gè)神經(jīng)元能夠?qū)Σ煌愋偷那蜃龀鲰憫?yīng)，即使它們具有各種各樣的外觀。

簡(jiǎn)單優(yōu)化

多樣性優(yōu)化揭示了多種類型的球

?

數(shù)據(jù)集樣本

不過，這個(gè)更為簡(jiǎn)單的方法有一些缺點(diǎn)：例如，為了使樣本不同造成的壓力會(huì)導(dǎo)致無關(guān)的部分（如眼睛）出現(xiàn)。此外，優(yōu)化可能會(huì)使樣本以一種不自然的方式展示。例如，在上面的樣本中，人們可能希望看到足球這樣的樣本與高爾夫球或網(wǎng)球等其他類型球有清晰的分離。如Wei等人提出的諸如基于數(shù)據(jù)集的方法可以更為自然地將特征分離開來，但是它們可能不會(huì)有助于理解模型在不同數(shù)據(jù)上的表現(xiàn)。

與此同時(shí)，多樣性也開始呈現(xiàn)出一個(gè)更為基本的問題：雖然上面的樣本代表了一個(gè)大體上一致的想法，但也有一些神經(jīng)元代表的是一些奇怪想法的混合。下面，一個(gè)神經(jīng)元對(duì)兩種類型的動(dòng)物臉部、以及車做出響應(yīng)。

?

簡(jiǎn)單優(yōu)化

用多樣性優(yōu)化顯示出貓、狐貍、以及汽車

數(shù)據(jù)集樣本

像這樣的樣本表明，神經(jīng)元不一定是理解神經(jīng)網(wǎng)絡(luò)的正確的語義單元。

神經(jīng)元之間的相互作用

如果神經(jīng)元不是了解神經(jīng)網(wǎng)絡(luò)的正確方法，那什么是呢？在現(xiàn)實(shí)生活中，神經(jīng)元組合在一起來運(yùn)行以表示神經(jīng)網(wǎng)絡(luò)中的圖像。單個(gè)神經(jīng)元是激活空間的基本方向，目前并不清楚這些應(yīng)該比任何其他方向更為特殊。

Szegedy等人發(fā)現(xiàn)隨機(jī)方向看起來和基礎(chǔ)方向一樣有意義。最近Bau、Zhou等人發(fā)現(xiàn)基礎(chǔ)方向比隨機(jī)方向更加具有可解釋性。我們的經(jīng)驗(yàn)與這兩個(gè)結(jié)果大體一致。我們發(fā)現(xiàn)，隨機(jī)方向似乎更加具有可解釋性，但要比基本方向的速度要低。

特征可視化的敵人

如果你想要把特征可視化，你可能只是在優(yōu)化圖像，從而使得神經(jīng)元得以激活。不幸的是，這并不是真的有效。相反，最終會(huì)出現(xiàn)一種神經(jīng)網(wǎng)絡(luò)的視覺錯(cuò)覺——一種充滿噪聲且無意義的高頻模式的圖像，而且是網(wǎng)絡(luò)會(huì)進(jìn)行強(qiáng)烈響應(yīng)的。

這些模式似乎是一種帶有欺騙性的圖像，其實(shí)，在現(xiàn)實(shí)生活中并不會(huì)發(fā)行尋找方法以激活神經(jīng)元的現(xiàn)象。如果你進(jìn)行優(yōu)化的時(shí)間足夠長(zhǎng)，你就會(huì)看到神經(jīng)元真正檢測(cè)到的東西是什么，但是圖像是由這些高頻模式所支配的。這些模式似乎與敵對(duì)的樣本現(xiàn)象密切相關(guān)。

結(jié)論

在過去的幾年里，神經(jīng)特征可視化取得了巨大的進(jìn)步。作為一個(gè)社區(qū)，我們已經(jīng)制定了原則性的方法來創(chuàng)建令人信服的可視化。我們已經(jīng)發(fā)現(xiàn)了一些重要的挑戰(zhàn)，并找到了解決這些問題的方法。

在使神經(jīng)網(wǎng)絡(luò)具有可解釋性的過程中，特征可視化是最具發(fā)展前景的方向之一。從它本身可以看出，特征可視化永遠(yuǎn)不會(huì)給人一種完全令人滿意的理解。我們認(rèn)為它是一個(gè)基本的構(gòu)建塊，通過與其他工具相結(jié)合，從而使人類能夠理解這些系統(tǒng)。

在提高特征可視化方面，還有許多重要的研究要做。一些突出的問題包括理解神經(jīng)元的相互作用，找出哪些單元在理解神經(jīng)網(wǎng)絡(luò)的激活中最具有意義，并給出一個(gè)特征的各個(gè)方面的整體視圖。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754