摘要：耶路撒冷希伯來大學(xué)的計算機與神經(jīng)科學(xué)家提出了一項名為信息瓶頸的新理論，有望最終打開深度學(xué)習的黑箱，以及解釋人腦的工作原理。

耶路撒冷希伯來大學(xué)的計算機與神經(jīng)科學(xué)家 Naftali Tishby 提出了一項名為「信息瓶頸」（Information Bottleneck）的新理論，有望最終打開深度學(xué)習的黑箱，以及解釋人腦的工作原理。這一想法是指神經(jīng)網(wǎng)絡(luò)就像把信息擠進瓶頸一樣，只留下與一般概念更為相關(guān)的特征，去掉大量無關(guān)的噪音數(shù)據(jù)。深度學(xué)習先驅(qū) Geoffrey Hinton 則在發(fā)給 Tishby 的郵件中評價道：「信息瓶頸極其有趣，估計要再聽 10000 遍才能真正理解它，當今能聽到如此原創(chuàng)的想法非常難得，或許它就是解開謎題的那把鑰匙?！?/p>

一個稱為「信息瓶頸」的新想法有助于解釋當今人工智能算法的黑箱問題——以及人類大腦的工作原理。

如今「深度神經(jīng)網(wǎng)絡(luò)」已經(jīng)學(xué)會對話、駕駛汽車、打視頻游戲、玩圍棋、繪畫并輔助科研，這使其人類構(gòu)建者很是困惑，并為深度學(xué)習算法的成果深感意外。這些學(xué)習系統(tǒng)的設(shè)計并沒有一條明確的原則，除了來自大腦神經(jīng)元的靈感（其實并沒有人知道大腦是如何工作的），并且 DNN 早就和大腦神經(jīng)元的原理相去甚遠。

像大腦一樣，深度神經(jīng)網(wǎng)絡(luò)具有神經(jīng)元層——這些人工神經(jīng)元構(gòu)成了計算機的記憶。當一個神經(jīng)元激活，它向連接到下一層的神經(jīng)元發(fā)送信號。在深度學(xué)習中，網(wǎng)絡(luò)連接按需強化或弱化（加權(quán)連接）從而更好地把來自輸入數(shù)據(jù)的信號——比如，一張狗的圖像像素點——發(fā)送到與高級概念（比如狗）相關(guān)聯(lián)的神經(jīng)元。當深度神經(jīng)網(wǎng)絡(luò)學(xué)習數(shù)以千計的狗的樣本圖像之后，它可像人一樣較精確地從新圖像中辨識出狗。這一魔術(shù)般的學(xué)習能力使其具備了可像人一樣推理、創(chuàng)造進而擁有智能的基礎(chǔ)。專家好奇深度學(xué)習是如何做到這一點的，并在何種程度上與人腦理解世界的方式相同。

從經(jīng)驗中學(xué)習。深度神經(jīng)網(wǎng)絡(luò)通過調(diào)節(jié)連接權(quán)重以更好地傳遞輸入信號，信號經(jīng)過隱藏層，最終到達與正確概念相關(guān)聯(lián)的神經(jīng)元。當數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)，激活的每一個神經(jīng)元（被標注為 1）把信號傳遞到下一層的特定神經(jīng)元（如果接受到多個信號則很可能被激活）。這一過程會過濾掉噪聲并只保留最相關(guān)的特征。

上月，一個在人工智能研究者之間廣泛流傳的柏林會議 YouTube 視頻給出了黑箱可能的答案。會議中來自耶路撒冷希伯來大學(xué)的計算機與神經(jīng)科學(xué)家 Naftali Tishby 為一項解釋深度學(xué)習工作原理的新理論提供了證據(jù)。Tishby 論證道深度神經(jīng)網(wǎng)絡(luò)依據(jù)被稱作「信息瓶頸」的步驟學(xué)習，這一術(shù)語其與另外兩名合作者早在 1999 年就已提出。這一想法是指神經(jīng)網(wǎng)絡(luò)就像把信息擠進瓶頸一樣，只留下與一般概念更為相關(guān)的特征，去掉大量無關(guān)的噪音數(shù)據(jù)。由 Tishby 及其學(xué)生 Ravid Shwartz-Ziv 聯(lián)合進行的引人注目的實驗揭示了發(fā)生在深度學(xué)習之中的擠壓過程，至少在他們研究案例中是這樣。Tishby 的發(fā)現(xiàn)在人工智能社區(qū)中引發(fā)了躁動。谷歌研究員 Alex Alemi 說：「我認為信息瓶頸對未來的深度神經(jīng)網(wǎng)絡(luò)研究很重要。我甚至發(fā)明了新的近似方法，從而把信息瓶頸分析應(yīng)用到大型深度神經(jīng)網(wǎng)絡(luò)中。」他又說：「信息瓶頸不僅可以作為理論工具用來理解神經(jīng)網(wǎng)絡(luò)的工作原理，同樣也可以作為構(gòu)建網(wǎng)絡(luò)架構(gòu)和新目標函數(shù)的工具?！?/p>

一些研究者則仍懷疑該方法是否徹底解釋了深度學(xué)習的成功，但是 Kyle Cranmer——一名來自紐約大學(xué)粒子物理學(xué)家，他曾使用機器學(xué)習分析了大量強子對撞機中的粒子對撞——則認為信息瓶頸作為一般性的學(xué)習原理，「多少還是正確的」。

深度學(xué)習先驅(qū) Geoffrey Hinton 在柏林會議之后給 Tishby 發(fā)了郵件：「信息瓶頸極其有趣，估計要再聽 10000 遍才能真正理解它，當今能聽到如此原創(chuàng)的想法非常難得，或許它就是解開謎題的那把鑰匙?！?/p>

據(jù) Tishby 所講，信息瓶頸是一個根本性的學(xué)習原則，不管是算法、家蠅、有意識的存在還是突發(fā)事件的物理計算。我們期待已久的答案即是「學(xué)習的關(guān)鍵恰恰是遺忘?！?/p>

瓶頸

Tishby 大概是在其他的研究者開始搞深度神經(jīng)網(wǎng)絡(luò)之時開始構(gòu)思信息瓶頸的。那是 1980 年代，Tishby 在思考人類在語音識別上的極限是什么，當時這對人工智能來說是一個巨大的挑戰(zhàn)。Tishby 意識到問題的關(guān)鍵是相關(guān)性：口頭語言更為相關(guān)的特征是什么？我們?nèi)绾螐呐c之相隨的變量中（口音、語調(diào)等）將其提取出來？一般來講，當面對現(xiàn)實世界的海量數(shù)據(jù)之時，我們會保留哪些信號？

希伯來大學(xué)計算機科學(xué)教授 Naftali Tishby

「相關(guān)性的理念在歷史上多有提及，但從未得到正確的闡述；從香農(nóng)本人有誤差的概念開始，多年來人們并不認為信息論是闡述相關(guān)性的正確方式?！筎ishby 在上月的采訪中說。

信息論的建立者香農(nóng)通過抽象思考在一定意義上解放了始于 1940 年代的信息研究——1 和 0 只具有純粹的數(shù)學(xué)意義。正如 Tishby 所說，香農(nóng)認為信息與語義學(xué)無關(guān)，但是 Tishby 并不認同。借助信息論，Tishby 意識到可以較精確地定義相關(guān)性。

假設(shè) X 是一個復(fù)雜的數(shù)據(jù)集，比如狗的圖像像素，Y 是一個被這些數(shù)據(jù)表征的較簡單的變量，比如單詞「狗」。通過盡可能地壓縮 X 而又不失去預(yù)測 Y 的能力，我們在關(guān)于 Y 的 X 中可以捕獲所有的相關(guān)性信息。在 1999 年的論文中，Tishby 與聯(lián)合作者 Fernando Pereira（現(xiàn)在谷歌）、William Bialek（現(xiàn)在普林斯頓大學(xué)）共同將這個概念闡述為一個數(shù)學(xué)優(yōu)化問題。這是一個沒有潛在黑箱問題的基本思想。

Tishby 說：「30 年來我在不同的環(huán)境下一直思考它，我的慶幸是深度神經(jīng)網(wǎng)絡(luò)變的如此重要?！?/p>

眼球長在臉上，臉長在人身上，人處于場景中

盡管這一隱藏在深度神經(jīng)網(wǎng)絡(luò)后面的概念已經(jīng)討論了幾十年，但是它們在語音識別、圖像識別等任務(wù)中的表現(xiàn)在 2010 年代才出現(xiàn)較大的發(fā)展，這和優(yōu)化的訓(xùn)練機制、更強大的計算機處理器息息相關(guān)。2014 年，Tishby 閱讀了物理學(xué)家 David Schwab 和 Pankaj Mehta 的論文《An exact mapping between the Variational Renormalization Group and Deep Learning》（變分重整化和深度學(xué)習之間的映射關(guān)系），認識到他們與信息瓶頸原則的潛在聯(lián)系。

Schwab 和 Mehta 發(fā)現(xiàn) Hinton 發(fā)明的深度學(xué)習算法「深度信念網(wǎng)絡(luò)」在特定的情況下和重整化（renormalization）一樣，重整化是一種通過粗?；锢硐到y(tǒng)的細節(jié)、計算全局狀態(tài)從而簡化該系統(tǒng)的技術(shù)。二人將深度信念網(wǎng)絡(luò)應(yīng)用到分形（在不同的尺度上有自相似性）臨界磁化系統(tǒng)模型中時，他們發(fā)現(xiàn)網(wǎng)絡(luò)將自動使用一種類似重整化的過程尋找模型的狀態(tài)。這令人印象深刻，正如生物物理學(xué)家所說，「統(tǒng)計物理學(xué)中的提取相關(guān)特征和深度學(xué)習中的提取相關(guān)特征不只是相似的詞，它們的含義也是一樣的?！?/p>

的問題是，現(xiàn)實世界一般而言不是分形的（fractal）。「自然世界并不是耳朵長在耳朵再長在耳朵上；而是眼球長在臉上，臉長在人身上，人處于場景中，」Cranmer 說，「因此我不會說，深度學(xué)習網(wǎng)絡(luò)處理自然圖像很優(yōu)秀是因為其類似重整化的工作方式。」但是，Tishby 意識到，深度學(xué)習和粗粒化過程可以被包含于更廣義的思維中。

Noga Zaslavsky（左）和 Ravid Shwartz-Ziv（右）作為 Naftali Tishby 的畢業(yè)生幫助建立了深度學(xué)習的信息瓶頸理論

在 2015 年，他和他的學(xué)生提出假設(shè)，（https://arxiv.org/abs/1503.02406）深度學(xué)習是一個信息瓶頸程序，盡可能的壓縮數(shù)據(jù)噪聲，保留數(shù)據(jù)想表達的信息。Tishby 和 Shwartz-Ziv 的新的深度神經(jīng)網(wǎng)絡(luò)實驗揭示了瓶頸程序是如何工作的。在一個案例中，研究員訓(xùn)練小型網(wǎng)絡(luò)使其將數(shù)據(jù)標記為 1 或 0（比如「狗」或「非狗」），網(wǎng)絡(luò)一共有 282 個神經(jīng)連接并隨機初始化連接強度，然后他們使用 3000 個樣本的輸入數(shù)據(jù)集追蹤網(wǎng)絡(luò)究竟在做什么。

大多數(shù)深度學(xué)習網(wǎng)絡(luò)訓(xùn)練過程中用來響應(yīng)數(shù)據(jù)輸入和調(diào)整神經(jīng)連接強度的基本算法都是「隨機梯度下降」：每當輸入訓(xùn)練數(shù)據(jù)到網(wǎng)絡(luò)中，一連串的激活行為將接連每一層的神經(jīng)元。當信號到達最頂層時，最后的激活模式將對應(yīng)確定的標簽，1 或 0，「狗」或「非狗」。激活模式和正確的模式之間的不同將會「反向傳播」回網(wǎng)絡(luò)的層中，即，正如老師批改作業(yè)一樣，這個算法將強化或者弱化每一個連接的強度以使網(wǎng)絡(luò)能輸出更產(chǎn)生的輸出信號。經(jīng)過訓(xùn)練之后，訓(xùn)練數(shù)據(jù)的一般模式將體現(xiàn)在神經(jīng)連接的強度中，網(wǎng)絡(luò)將變成識別數(shù)據(jù)的專家。

在他們的實驗中，Tishby 和 Shwartz-Ziv 追蹤了深度神經(jīng)網(wǎng)絡(luò)的每一層保留了多少輸入數(shù)據(jù)的信息，以及每一層保留了多少輸出標簽的信息。他們發(fā)現(xiàn)，網(wǎng)絡(luò)逐層收斂到了信息瓶頸的理論范圍（Tishby 導(dǎo)出的理論極限）。Pereira 和 Bialek 最初的論文中展示了系統(tǒng)提取相關(guān)信息的較佳結(jié)果。在信息瓶頸的理論范圍內(nèi)，網(wǎng)絡(luò)將盡可能地壓縮輸入，而無需犧牲較精確預(yù)測標簽的能力。

Tishby 和 Shwartz-Ziv 還發(fā)現(xiàn)了一個很有趣的結(jié)果，深度學(xué)習以兩個狀態(tài)進行：一個短期「擬合」狀態(tài)，期間網(wǎng)絡(luò)學(xué)習標記輸入數(shù)據(jù)，和一個時間長得多的長期「壓縮」狀態(tài)，通過測試其標記新測試數(shù)據(jù)的能力可以得出期間網(wǎng)絡(luò)的泛化能力變得很強。

圖片來自 arXiv:1703.00810

A. 初始狀態(tài)：第一層的神經(jīng)元編碼輸入數(shù)據(jù)的所有信息，包括其中的標簽信息。較高層神經(jīng)元處于幾乎無序的狀態(tài)，和輸入數(shù)據(jù)或者其標簽沒有任何關(guān)聯(lián)。

B. 擬合狀態(tài)：深度學(xué)習剛開始的時候，高層神經(jīng)元獲得輸入數(shù)據(jù)的信息，并逐漸學(xué)會匹配標簽。

C. 狀態(tài)變化：網(wǎng)絡(luò)的層的狀態(tài)突然發(fā)生變化，開始「遺忘」輸入數(shù)據(jù)的信息。

D. 壓縮狀態(tài)：網(wǎng)絡(luò)的高層壓縮對輸入數(shù)據(jù)的表示，保留與輸出標簽關(guān)聯(lián)較大的表示，這些表示更擅長預(yù)測標簽。

E. 最終狀態(tài)：網(wǎng)絡(luò)的較高層在準確率和壓縮率之間取得平衡，只保留可以預(yù)測標簽的信息。

當深度神經(jīng)網(wǎng)絡(luò)用隨機梯度下降調(diào)整連接強度時，最初網(wǎng)絡(luò)存儲輸入數(shù)據(jù)的比特數(shù)基本上保持常量或者增加很慢，期間連接強度被調(diào)整以編碼輸入模式，而網(wǎng)絡(luò)標注數(shù)據(jù)的能力也在增長。一些專家將這個狀態(tài)與記憶過程相比較。

然后，學(xué)習轉(zhuǎn)向了壓縮狀態(tài)。網(wǎng)絡(luò)開始對輸入數(shù)據(jù)進行篩選，追蹤最突出的特征（與輸出標簽關(guān)聯(lián)最強）。這是因為在每一次迭代隨機梯度下降時，訓(xùn)練數(shù)據(jù)中或多或少的偶然關(guān)聯(lián)都驅(qū)使網(wǎng)絡(luò)做不同的事情，使其神經(jīng)連接變得或強或弱，隨機游走。這種隨機化現(xiàn)象和壓縮輸入數(shù)據(jù)的系統(tǒng)性表征有相同的效果。舉一個例子，有些狗的圖像背景中可能會有房子，而另一些沒有。當網(wǎng)絡(luò)被這些照片訓(xùn)練的時候，由于其它照片的抵消作用，在某些照片中它會「遺忘」房子和狗的關(guān)聯(lián)。Tishby 和 Shwartz-Ziv 稱，正是這種對細節(jié)的遺忘行為，使系統(tǒng)能生成一般概念。實際上，他們的實驗揭示了，深度神經(jīng)網(wǎng)絡(luò)在壓縮狀態(tài)中提高泛化能力，從而更加擅長標記測試數(shù)據(jù)。（比如，被訓(xùn)練識別照片中的狗的深度神經(jīng)網(wǎng)絡(luò)，可以用包含或者不包含狗的照片進行測試。）

至于信息瓶頸是不是在所有深度學(xué)習中都存在，或者說有沒有除了壓縮以外的其它泛化方式，還有待近進一步考察。有些 AI 專家評價 Tishby 的想法是近來深度學(xué)習的重要理論洞察之一。哈佛大學(xué)的 AI 研究員和理論神經(jīng)學(xué)家 Andrew Saxe 提出，大型深度神經(jīng)網(wǎng)絡(luò)并不需要冗長的壓縮狀態(tài)進行泛化。取而代之，研究員使用提前停止法（early stopping）以切斷訓(xùn)練數(shù)據(jù)，防止網(wǎng)絡(luò)對數(shù)據(jù)編碼過多的關(guān)聯(lián)。

Tishby 論證道 Saxe 和其同事分析的神經(jīng)網(wǎng)絡(luò)模型不同于標準的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，但盡管如此，信息瓶頸理論范圍比起其它方法更好地定義了這些網(wǎng)絡(luò)的泛化能力。而在大型神經(jīng)網(wǎng)絡(luò)中是否存在信息瓶頸，Tishby 和 Shwartz-Ziv 最近的實驗中部分涉及了這個問題，而在他們最初的文章中沒有提過。他們在實驗中通過包含 60,000 張圖片的國家標準與技術(shù)局（National Institute of Standards and Technology）（http://yann.lecun.com/exdb/mnist/）的已完善數(shù)據(jù)集（被視為測量深度學(xué)習算法的基準）訓(xùn)練了 330,000 個連接的深度神經(jīng)網(wǎng)絡(luò)以識別手寫體數(shù)字。他們觀察到，網(wǎng)絡(luò)中同樣出現(xiàn)了收斂至信息瓶頸理論范圍的行為，他們還觀察到了深度學(xué)習中的兩個確切的狀態(tài)，其轉(zhuǎn)換界限比起小型網(wǎng)絡(luò)甚至更加銳利而明顯?！肝彝耆嘈帕耍@是一個普遍現(xiàn)象?！筎ishby 說道。

人類和機器

大腦從我們的感知中篩選信號并將其提升到我們的感知水平，這一奧秘促使 AI 先驅(qū)關(guān)注深度神經(jīng)網(wǎng)絡(luò)，他們希望逆向構(gòu)造大腦的學(xué)習規(guī)則。然而，AI 從業(yè)者在技術(shù)進步中大部分放棄了這條路徑，轉(zhuǎn)而追尋與生物合理性幾乎不相關(guān)的方法來提升性能。但是，由于他們的思考機器取得了很大的成績，甚至引起「AI 可能威脅人類生存」的恐懼，很多研究者希望這些探索能夠提供對學(xué)習和智能的洞察。

紐約大學(xué)心理學(xué)和數(shù)據(jù)科學(xué)助理教授 Brenden Lake 研究人類和機器學(xué)習方式的異同，他認為 Tishby 的研究成果是『打開神經(jīng)網(wǎng)絡(luò)黑箱的重要一步』，但是他強調(diào)大腦展示了一個更大、更黑的黑箱。成年人大腦包含 860 億神經(jīng)元之間的數(shù)百萬億連接，可能具備很多技巧來提升泛化，超越嬰兒時期的基本圖像識別和聲音識別學(xué)習步驟，這些步驟可能在很多方面與深度學(xué)習類似。

比如，Lake 說根據(jù)他的研究，Tishby 確認的擬合和壓縮詞組看起來與孩子學(xué)習手寫字的方式并不相同。孩子們并不需要看數(shù)千個字并經(jīng)過一段時間的壓縮心理表征，才能認識那個字，并學(xué)會寫字。事實上，他們可以從單一樣本中進行學(xué)習。Lake 及其同事制作的模型說明大腦可以將一個新的字解構(gòu)成一系列筆畫（先前存在的心理建構(gòu)），使這個字的概念附加到先前知識之上?！覆⒎窍駱藴蕶C器學(xué)習算法那樣，把字的圖像當作像素塊，把概念當成特征映射進行學(xué)習?！筁ake 解釋道，「我的目的是構(gòu)建該字的簡單因果模型?！挂环N導(dǎo)致泛化的更短路徑。

如此聰明的想法有助于人工智能社區(qū)增長經(jīng)驗，進一步加強兩個領(lǐng)域的溝通。Tishby 相信信息瓶頸理論最終將會在兩個學(xué)科發(fā)揮作用，即使它采取了一種在人類學(xué)習（而不是人工智能）中更普遍的形式。從該理論中，我們可以更好地理解哪些問題可被人類或人工智能解決。Tishby 說：「它給出了可以學(xué)習的問題的完整描述，在這些問題中我可以去除輸入中的噪音而無損于我的分類能力。這是一個自然的視覺問題，語音識別。這也正是人腦可以應(yīng)對的問題?！?/p>

同時，人類和人工神經(jīng)網(wǎng)絡(luò)很難解決每一個細節(jié)都很重要以及細微差別影響結(jié)果的問題。例如，大多數(shù)人無法快速心算兩個大數(shù)字相乘的結(jié)果?！肝覀冇幸淮蠖堰@樣的問題，對于變量的細微變化非常敏感的邏輯問題?！筎ishby 說道?！阜诸悊栴}、離散問題、加密問題。我不認為深度學(xué)習會幫助我們破解密碼?！?/p>

泛化——測量信息瓶頸，或許意味著我們會喪失一些細節(jié)。這對于運行中的計算并不友好，但它并不是大腦的主要任務(wù)。我們在人群中找到熟悉的面孔，在復(fù)雜內(nèi)容中找到規(guī)律，并在充滿噪聲的世界里提取有用的信息。?

原文鏈接：https://www.quantamagazine.org/new-theory-cracks-open-the-black-box-of-deep-learning-20170921/

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754