資訊專欄INFORMATION COLUMN
摘要：近日，發(fā)布了其關(guān)于神經(jīng)網(wǎng)絡(luò)可解釋性的研究成果，他們通過刪除網(wǎng)絡(luò)中的某些神經(jīng)元組，從而判定其對于整個網(wǎng)絡(luò)是否重要。泛化性良好的網(wǎng)絡(luò)對于刪除神經(jīng)元的操作更具適應(yīng)性。通過刪除單個神經(jīng)元和神經(jīng)元組，我們測量了破壞網(wǎng)絡(luò)對性能的影響。
深度學(xué)習(xí)算法近年來取得了長足的進(jìn)展，也給整個人工智能領(lǐng)域送上了風(fēng)口。但深度學(xué)習(xí)系統(tǒng)中分類器和特征模塊都是自學(xué)習(xí)的，神經(jīng)網(wǎng)絡(luò)的可解釋性成為困擾研究者的一個問題，人們常常將其稱為黑箱。但理解深度神經(jīng)網(wǎng)絡(luò)的工作原理，對于解釋其決策方式，并建立更強大的系統(tǒng)至關(guān)重要。
近日，DeepMind 發(fā)布了其關(guān)于神經(jīng)網(wǎng)絡(luò)可解釋性的研究成果，他們通過刪除網(wǎng)絡(luò)中的某些神經(jīng)元組，從而判定其對于整個網(wǎng)絡(luò)是否重要。核心發(fā)現(xiàn)有如下兩點：
可解釋的神經(jīng)元（例如“貓神經(jīng)元”）并不比難以解釋的神經(jīng)元更重要。
泛化性良好的網(wǎng)絡(luò)對于刪除神經(jīng)元的操作更具適應(yīng)性。
以下內(nèi)容來自 DeepMind，人工智能頭條翻譯。
深度神經(jīng)網(wǎng)絡(luò)由許多獨立的神經(jīng)元組成，這些神經(jīng)元以復(fù)雜且反直覺的方式結(jié)合起來，進(jìn)而解決各種具有挑戰(zhàn)性的任務(wù)。這種復(fù)雜性賦予了神經(jīng)網(wǎng)絡(luò)強大的功能，但也使其成為一個令人困惑且不透明的黑箱。
理解深度神經(jīng)網(wǎng)絡(luò)的工作原理，對于解釋其決策、建立更強大的系統(tǒng)至關(guān)重要。想象一下，在不了解各個齒輪如何裝配的情況下，制造一塊鐘表的難度會有多大。在神經(jīng)科學(xué)和深度學(xué)習(xí)領(lǐng)域中，理解神經(jīng)網(wǎng)絡(luò)的一種方法是研究單個神經(jīng)元的作用，特別是那些容易解釋的神經(jīng)元。
我們即將在第六屆國際學(xué)習(xí)表征會議（ICLR）上發(fā)表關(guān)于單一方向泛化重要性的研究，它采用了一種受實驗神經(jīng)科學(xué)啟發(fā)的方法——探索損傷的影響——來確定深層神經(jīng)網(wǎng)絡(luò)中的小組神經(jīng)元的重要性，以及更容易解釋的神經(jīng)元的重要性是否更高。
通過刪除單個神經(jīng)元和神經(jīng)元組，我們測量了破壞網(wǎng)絡(luò)對性能的影響。在實驗中，我們有兩個驚人的發(fā)現(xiàn)：
之前的許多研究都試圖去理解容易解釋的個體神經(jīng)元（例如“貓神經(jīng)元”，或者說深層網(wǎng)絡(luò)中只有對貓的圖像有反應(yīng)的神經(jīng)元），但是我們發(fā)現(xiàn)這些可解釋的神經(jīng)元并不比難以解釋的神經(jīng)元更重要。
與只能對已經(jīng)見過的圖像進(jìn)行分類的網(wǎng)絡(luò)相比，對未見過的圖像也能正確分類的網(wǎng)絡(luò)對神經(jīng)元缺失有著更好的彈性。換句話說，泛化性良好的網(wǎng)絡(luò)比泛化性差的網(wǎng)絡(luò)對單方向的依賴性要小很多。
“貓神經(jīng)元”或許更容易解釋，但是它們的重要性并不會更高
在神經(jīng)科學(xué)和深度學(xué)習(xí)中，容易解釋的神經(jīng)元（“選擇性”神經(jīng)元）已經(jīng)被廣泛分析，它們只對單一輸入類別的圖像（例如狗）有積極回應(yīng)。在深度學(xué)習(xí)中，這導(dǎo)致了研究者對貓神經(jīng)元（cat neurons）、情感神經(jīng)元（sentiment neurons）和括號神經(jīng)元（parentheses neurons）的重視。然而，與大多數(shù)具有低選擇性、更令人費解、難以解釋的活性的神經(jīng)元相比，這些為數(shù)不多的具有高選擇性神經(jīng)元的相對重要性仍然未知。
與那些對看似隨機的圖像集作出積極或消極回應(yīng)的令人困惑的神經(jīng)元相比，具有清晰回應(yīng)模式（比如只對“狗”積極回應(yīng)，對其他一切類別消極回應(yīng)）的神經(jīng)元更容易解釋。
為了評估神經(jīng)元的重要性，我們測量了刪除神經(jīng)元后，神經(jīng)網(wǎng)絡(luò)在圖像分類任務(wù)中的性能變化。如果一個神經(jīng)元是非常重要的，刪除它應(yīng)該會產(chǎn)生嚴(yán)重的后果，而且網(wǎng)絡(luò)性能會大大降低，而刪除一個不重要的神經(jīng)元應(yīng)該沒有什么影響。神經(jīng)科學(xué)家通常進(jìn)行類似的實驗，盡管他們不能達(dá)到這些實驗所必需的細(xì)粒度精度，但是在人工神經(jīng)網(wǎng)絡(luò)中則很容易實現(xiàn)。
刪除神經(jīng)元對簡單神經(jīng)網(wǎng)絡(luò)影響的概念圖。顏色越深，代表神經(jīng)元越活躍。你可以在原網(wǎng)頁上嘗試單擊隱藏層神經(jīng)元刪除它們，并查看輸出神經(jīng)元的活動變化。請注意，僅刪除一個或兩個神經(jīng)元對輸出的影響很小，而刪除大多數(shù)神經(jīng)元的影響很大，并且某些神經(jīng)元比其他神經(jīng)元更重要！
令人驚訝的是，我們發(fā)現(xiàn)選擇性和重要性之間沒有什么關(guān)系。換句話說，“貓神經(jīng)元”并不比令人困惑的神經(jīng)元更重要。這一發(fā)現(xiàn)與神經(jīng)科學(xué)最近的研究成果相呼應(yīng)，后者已經(jīng)證明，令人困惑的的神經(jīng)元實際上可以提供相當(dāng)多的信息。為了理解深度神經(jīng)網(wǎng)絡(luò)，我們的研究不能只局限于最容易解釋的神經(jīng)元。
雖然“貓神經(jīng)元”可能更容易記解釋，但它們并不比令人困惑且沒有明顯偏好的神經(jīng)元更加重要。
泛化能力更強的網(wǎng)絡(luò)更不容易崩潰
雖然我們希望創(chuàng)建智能系統(tǒng)，但是只有當(dāng)這個系統(tǒng)能夠泛化到新的場景時，我們才能稱之為智能系統(tǒng)。例如，如果一個圖像分類網(wǎng)絡(luò)只能對它見過的特定的狗的圖像進(jìn)行分類，卻認(rèn)不出同一只狗的圖像時，這個網(wǎng)絡(luò)就是無用的。這些系統(tǒng)只有在對新的實例進(jìn)行智能分類時，才算是有作用的。
伯克利、Google Brain、DeepMind 最近合作發(fā)表的一篇論文在 ICLR 2017 上獲得了較佳論文。該論文表明，深度網(wǎng)絡(luò)可以簡單地記住每一幅圖像，而不是以更人性化的方式學(xué)習(xí)（例如，理解“狗”的抽象概念）。
然而，關(guān)于神經(jīng)網(wǎng)絡(luò)是否學(xué)習(xí)到了決定泛化能力的解，我們一直沒有明確的答案。通過逐步刪除越來越大的神經(jīng)元群，我們發(fā)現(xiàn)，相比簡單地記憶先前在訓(xùn)練中看到的圖像的網(wǎng)絡(luò)，泛化良好的網(wǎng)絡(luò)對刪除神經(jīng)元的魯棒性強得多。換句話說，泛化能力更強的網(wǎng)絡(luò)更不容易崩潰（盡管這種情況可能發(fā)生）。
隨著越來越多的神經(jīng)元群被刪除，泛化良好的網(wǎng)絡(luò)的性能下降速度明顯更慢。
通過這種方式測量神經(jīng)網(wǎng)絡(luò)的魯棒性，我們可以評估這個網(wǎng)絡(luò)是否在利用我們不希望的記憶能力在“作弊”。理解網(wǎng)絡(luò)在記憶時如何是變化的，將有助于我們建立泛化能力更好的新網(wǎng)絡(luò)。
受神經(jīng)科學(xué)啟發(fā)的分析方法
這些發(fā)現(xiàn)證明了，使用實驗神經(jīng)科學(xué)啟發(fā)的技術(shù)可以幫助我們理解神經(jīng)網(wǎng)絡(luò)的能力。使用這些方法，我們發(fā)現(xiàn)高選擇性的獨立神經(jīng)元并不比非選擇性神經(jīng)元更重要，并且泛化良好的網(wǎng)絡(luò)比簡單地記憶訓(xùn)練數(shù)據(jù)的網(wǎng)絡(luò)對獨立神經(jīng)元的依賴性更小。這些結(jié)果暗示，獨立神經(jīng)元的重要性可能遠(yuǎn)不如我們認(rèn)為的那么重要。
通過解釋所有神經(jīng)元的作用，而不僅僅是那些容易理解的神經(jīng)元，我們希望更好地理解神經(jīng)網(wǎng)絡(luò)的內(nèi)部工作原理，并且利用這種理解來構(gòu)建更智能和更通用的系統(tǒng)。
閱讀完整論文：https://arxiv.org/abs/1803.06959
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/4753.html
摘要：深度學(xué)習(xí)現(xiàn)在被視為能夠超越那些更加直接的機器學(xué)習(xí)的關(guān)鍵一步。的加入只是谷歌那一季一系列重大聘任之一。當(dāng)下谷歌醉心于深度學(xué)習(xí)，顯然是認(rèn)為這將引發(fā)下一代搜索的重大突破。移動計算的出現(xiàn)已經(jīng)迫使谷歌改變搜索引擎的本質(zhì)特征。 Geoffrey Hiton說：我需要了解一下你的背景，你有理科學(xué)位嗎？Hiton站在位于加利福尼亞山景城谷歌園區(qū)辦公室的一塊白板前，2013年他以杰出研究者身份加入這家公司。H...
摘要：康納爾大學(xué)數(shù)學(xué)博士博士后則認(rèn)為，圖神經(jīng)網(wǎng)絡(luò)可能解決圖靈獎得主指出的深度學(xué)習(xí)無法做因果推理的核心問題。圖靈獎得主深度學(xué)習(xí)的因果推理之殤年初，承接有關(guān)深度學(xué)習(xí)煉金術(shù)的辯論，深度學(xué)習(xí)又迎來了一位重要的批評者。 作為行業(yè)的標(biāo)桿，DeepMind的動向一直是AI業(yè)界關(guān)注的熱點。最近，這家世界最較高級的AI實驗室似乎是把他們的重點放在了探索關(guān)系上面，6月份以來，接連發(fā)布了好幾篇帶關(guān)系的論文，比如：關(guān)系歸...
摘要：第二次則是今年初，論文被深度學(xué)習(xí)盛會拒絕。表示遺憾乃至憤怒的人不在少數(shù)。他認(rèn)為，使從其他學(xué)術(shù)實驗室中脫穎而出的，是它的跨領(lǐng)域文化。騰訊也在籌建人工智能實驗室，近期消息就會正式公布。 牛津大學(xué)和 DeepMind 的研究人員合作，開發(fā)出一款能夠閱讀唇語的系統(tǒng)，這個名叫 Watch, Attend and Spell（WAS）的軟件在實際表現(xiàn)中遠(yuǎn)遠(yuǎn)超越了人類專家的水平。研究人員使用計算機視覺和機...
摘要：年的深度學(xué)習(xí)研討會，壓軸大戲是關(guān)于深度學(xué)習(xí)未來的討論。他認(rèn)為，有潛力成為深度學(xué)習(xí)的下一個重點。認(rèn)為這樣的人工智能恐懼和奇點的討論是一個巨大的牽引。 2015年ICML的深度學(xué)習(xí)研討會，壓軸大戲是關(guān)于深度學(xué)習(xí)未來的討論?；谄胶饪紤]，組織方分別邀請了來自工業(yè)界和學(xué)術(shù)界的六位專家開展這次圓桌討論。組織者之一Kyunghyun Cho（Bengio的博士后）在飛機上憑記憶寫下本文總結(jié)了討論的內(nèi)容，...
摘要：有一些缺陷并不完善，但是這個學(xué)生所提交的用深度學(xué)習(xí)所預(yù)測的轉(zhuǎn)向角還是不錯的。 本文作者：奧利弗 · 卡梅隆（Oliver Cameron），現(xiàn)Udacity無人駕駛領(lǐng)導(dǎo)人，前YCombinator孵化創(chuàng)業(yè)公司創(chuàng)始人。有許多人分析過深度學(xué)習(xí)重要性以及它是怎樣風(fēng)靡世界的，我十分贊同他們的說法。研究/應(yīng)用深度學(xué)習(xí)時使我感覺自己最像個魔術(shù)師，我清楚地知道在未來的三年里，任何一個偉大的軟件都將被深度學(xué)...
閱讀 3212·2021-11-08 13:18
閱讀 1365·2021-10-09 09:57
閱讀 1197·2021-09-22 15:33
閱讀 3996·2021-08-17 10:12
閱讀 5079·2021-08-16 11:02
閱讀 2693·2019-08-30 10:56
閱讀 975·2019-08-29 18:31
閱讀 3263·2019-08-29 16:30
