摘要：如今在機器學習中突出的人工神經(jīng)網(wǎng)絡(luò)最初是受神經(jīng)科學的啟發(fā)。雖然此后神經(jīng)科學在機器學習繼續(xù)發(fā)揮作用，但許多主要的發(fā)展都是以有效優(yōu)化的數(shù)學為基礎(chǔ)，而不是神經(jīng)科學的發(fā)現(xiàn)。

開始之前看一張有趣的圖 - 大腦遺傳地圖：

Figure 0. The Genetic Geography of the Brain - Allen Brain Atlas

成年人大腦結(jié)構(gòu)上的基因使用模式是高度定型和可再現(xiàn)的。 Figure 0 中所示的動態(tài)熱圖表示跨個體的這種圖案化模式的共同結(jié)構(gòu)，特別是一些介于解剖區(qū)域?qū)Γ╬airs of anatomic regions）之間差異表達的基因數(shù)目，在我們的實驗測量中，有5/6的大腦中發(fā)現(xiàn)了類似共同的模式。 熱紅色陰影代表在其轉(zhuǎn)錄調(diào)節(jié)中非常不同的腦區(qū)域，而較冷的藍色陰影代表高相似性的區(qū)域。

先看這張圖的用意是在于讓讀者了解目前大腦、神經(jīng)科學的前沿，人類不僅具有了解全部大腦基本功能的能力，并且已經(jīng)具備將各功能區(qū)域映射到自身遺傳物質(zhì)編碼上的能力。不僅如此，更多先進的探測技術(shù)已經(jīng)能讓人們記錄下更詳細的神經(jīng)元內(nèi)部的活動（dynamics），這使得對大腦內(nèi)部計算結(jié)構(gòu)的分析成為可能，上圖所示內(nèi)容凝結(jié)了眾多科學家的努力，相信一定是21世紀最偉大的科學突破之一。

說明：

1. 翻譯這篇文章出于學習目的，有翻譯或者理解有誤的地方還望大家多多指教；

2. 本文可以任意轉(zhuǎn)載，支持知識分享，但請注明出處或附上原文地址；

3. 文章中所有的引用都在本文內(nèi)嵌鏈接中可以找到，該論文有488篇引用！

4. 翻譯將進行連載，這是系列的第一部分，對應(yīng)論文第一章；

Standing on the shoulders of giants, to touch the hands of "god".

引言

計算神經(jīng)科學專注于計算的詳細實現(xiàn)，研究神經(jīng)編碼、動力學和電路。然而，在機器學習中，人工神經(jīng)網(wǎng)絡(luò)傾向于避開較精確設(shè)計的代碼，動力學或電路，有利于成本函數(shù)的強力優(yōu)化（暴力搜索），通常使用簡單和相對均勻的初始架構(gòu)。在機器學習中，近期的兩個發(fā)展方向創(chuàng)造了連接這些看似不同觀點的機會。首先，使用結(jié)構(gòu)化體系架構(gòu)，包括用于注意力機制，遞歸和各種形式的短期和長期存儲器存儲的專用系統(tǒng)（Specialized System）。第二，成本函數(shù)和訓練過程變得更加復(fù)雜，并且隨著時間的推移而變化。在這里我們根據(jù)這些想法思考大腦。我們假設(shè)（1）大腦優(yōu)化成本函數(shù)，（2）成本函數(shù)是多樣的且在不同的發(fā)展階段大腦不同位置的成本函數(shù)是不同的，和（3）優(yōu)化操作是在一個由行為預(yù)先架構(gòu)好的、與對應(yīng)計算問題相匹配的框架內(nèi)執(zhí)行。為了支持這些假設(shè)，我們認為通過多層神經(jīng)元對可信度分配（Credit Assignment）的一系列實現(xiàn)是與我們當前的神經(jīng)電路知識相兼容的，并且大腦的一些專門系統(tǒng)可以被解釋為對特定問題實現(xiàn)有效的優(yōu)化。通過一系列相互作用的成本函數(shù)，這樣非均勻優(yōu)化的系統(tǒng)使學習過程變得數(shù)據(jù)高效，并且較精確地針對機體的需求。我們建議一些神經(jīng)科學的研究方向可以尋求改進和測試這些假設(shè)。

這里提到的相互作用的成本函數(shù)非常有趣，在目前的深度學習領(lǐng)域，使用多目標函數(shù)的學習任務(wù)包括multi-task learning，transfer learning，adversarial generative learning等，甚至一些帶約束條件的優(yōu)化問題都可以一定程度上看做是多目標函數(shù)的。（“目標函數(shù)”是旨在最小化成本的函數(shù)，論文中使用成本函數(shù)，而所有的智能學習過程都是旨在降低各種成本函數(shù)值，比較普遍地人們會使用“信息熵”來作為量化標準，那么學習就可以看做是降低不確定性的行為）更有趣的是怎么相互作用？相互作用的目標函數(shù)對學習過程有怎樣的幫助？

1. 介紹

今天的機器學習和神經(jīng)科學使用的并不是同一種“語言”。 腦科學發(fā)現(xiàn)了一系列令人眼花繚亂的大腦區(qū)域（Solari and Stoner, 2011）、細胞類型、分子、細胞狀態(tài)以及計算和信息存儲的機制。 相反，機器學習主要集中在單一原理的實例化：函數(shù)優(yōu)化。 它發(fā)現(xiàn)簡單的優(yōu)化目標，如最小化分類誤差，可以導(dǎo)致在在多層和復(fù)現(xiàn)（Recurrent）網(wǎng)絡(luò)形成豐富的內(nèi)部表示和強大的算法能力（LeCun et al., 2015; Schmidhuber, 2015）。 這里我們試圖去連接這些觀點。

如今在機器學習中突出的人工神經(jīng)網(wǎng)絡(luò)最初是受神經(jīng)科學的啟發(fā)（McCulloch and Pitts, 1943）。雖然此后神經(jīng)科學在機器學習繼續(xù)發(fā)揮作用（Cox and Dean, 2014），但許多主要的發(fā)展都是以有效優(yōu)化的數(shù)學為基礎(chǔ)，而不是神經(jīng)科學的發(fā)現(xiàn)（Sutskever and Martens,2013）。該領(lǐng)域從簡單線性系統(tǒng)（Minsky and Papert, 1972）到非線性網(wǎng)絡(luò)（Haykin,1994），再到深層和復(fù)現(xiàn)網(wǎng)絡(luò)（LeCun et al., 2015; Schmidhuber, 2015）。反向傳播誤差（Werbos, 1974, 1982; Rumelhart et al., 1986）通過提供一種有效的方法來計算相對于多層網(wǎng)絡(luò)的權(quán)重的梯度，使得神經(jīng)網(wǎng)絡(luò)能夠被有效地訓練。訓練神經(jīng)網(wǎng)絡(luò)的方法已經(jīng)改進了很多，包括引入動量的學習率，更好的權(quán)重矩陣初始化，和共軛梯度等，發(fā)展到當前使用分批隨機梯度下降（SGD）優(yōu)化的網(wǎng)絡(luò)。這些發(fā)展與神經(jīng)科學并沒有明顯的聯(lián)系。

然而，我們將在此論證，神經(jīng)科學和機器學習都已經(jīng)發(fā)展成熟到了可以再次“收斂”（交織）的局面。 機器學習的三個方面在本文所討論的上下文中都顯得特別重要。 首先，機器學習側(cè)重于成本函數(shù)的優(yōu)化（見Figure 1）。

Figure 1. 傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)和類腦神經(jīng)網(wǎng)絡(luò)設(shè)計之間的假設(shè)差異。 （A）在常規(guī)深度學習中，監(jiān)督訓練基于外部提供的標記數(shù)據(jù)。 （B）在大腦中，網(wǎng)絡(luò)的監(jiān)督訓練仍然可以通過對誤差信號的梯度下降發(fā)生，但是該誤差信號必須來自內(nèi)部生成的成本函數(shù)。這些成本函數(shù)本身是由遺傳基因和后天學習所指定的神經(jīng)模塊計算而來。內(nèi)部生成的成本函數(shù)創(chuàng)建heuristics（這個實在不好翻譯，“啟發(fā)”有些抽象，類似于元信息，大家意會吧），用于引導(dǎo)更復(fù)雜的學習。例如，識別面部的區(qū)域可以首先使用簡單的heuristic來訓練以來檢測面部，這種heuristic就比如是在直線之上存在兩個點，然后進一步訓練以使用來自無監(jiān)督學習的表示結(jié)合來自其他與社交獎勵處理相關(guān)的大腦區(qū)域的錯誤信號來區(qū)分顯著的面部表情。 （C）內(nèi)部生成的成本函數(shù)和錯誤驅(qū)動的神經(jīng)皮質(zhì)深層網(wǎng)絡(luò)經(jīng)過訓練形成包含幾個專門系統(tǒng)的較大架構(gòu)的一部分。雖然可訓練皮層區(qū)域在這里被示意為前饋神經(jīng)網(wǎng)絡(luò)，但是LSTM或其他類型的recurrent網(wǎng)絡(luò)可能才是更較精確的比喻，并且許多神經(jīng)元和網(wǎng)絡(luò)性質(zhì)例如神經(jīng)脈沖、樹突計算、神經(jīng)調(diào)節(jié)、適應(yīng)和穩(wěn)態(tài)可塑性、定時依賴性可塑性、直接電連接、瞬時突觸動力、興奮/抑制平衡、自發(fā)振蕩活動、軸突傳導(dǎo)延遲（Izhikevich, 2006）等將影響這些網(wǎng)絡(luò)學習的內(nèi)容和方式。

這里說到的“來自無監(jiān)督學習的表示”可以用人工智能里的知識表示來理解，來自大腦其他區(qū)域的錯誤信號也是一種表示，所以他們可以結(jié)合。深度學習中我們用實值張量來表示知識，個人認為knowledge representation是智能形成最基礎(chǔ)的核心之一。C中描述的結(jié)構(gòu)與《On Intelligence》中作者提到的”柱狀體“神經(jīng)網(wǎng)絡(luò)非常類似。結(jié)尾的一大串神經(jīng)動力學名詞真是又一次讓我深深感受到自己的無知...

第二，近來在機器學習中的工作開始引入復(fù)雜的成本函數(shù)：在層和時間上不一致的成本函數(shù)，以及由網(wǎng)絡(luò)的不同部分之間的交互產(chǎn)生的那些函數(shù)。 例如，引入低層的時間相干性（空間上非均勻成本函數(shù)）的目標改進了特征學習（Sermanet and Kavukcuoglu, 2013），成本函數(shù)計劃（時間上非均勻成本函數(shù)）改進了泛化能力（Saxe et al., 2013; Goodfellow et al., 2014b; Gül?ehre and Bengio, 2016）以及對抗網(wǎng)絡(luò) - 內(nèi)部交互作用產(chǎn)生的成本函數(shù)的一個例子 - 允許生成式模型基于梯度訓練（Goodfellow et al., 2014a）。 更容易訓練的網(wǎng)絡(luò)正被用于提供“提示”，以幫助引導(dǎo)更強大的網(wǎng)絡(luò)的訓練（Romero et al., 2014）。

第三，機器學習也開始多樣化進行優(yōu)化的架構(gòu)。 它引入了具有多重持久狀態(tài)的簡單記憶細胞（Hochreiter and Schmidhuber, 1997; Chung et al., 2014），更復(fù)雜的基本計算結(jié)構(gòu)單元如“膠囊”和其他結(jié)構(gòu)（Delalleau and Bengio, 2011; Hinton et al., 2011; Tang et al., 2012; Livni et al., 2013），內(nèi)容可尋址性（Graves et al., 2014; Weston et al.,2014）和位置可尋址存儲器（Graves et al., 2014），另外還有指針 （Kurach et al., 2015）和硬編碼算術(shù)運算（Neelakantan et al., 2015）。

這三個想法到目前為止在神經(jīng)科學中沒有受到很多關(guān)注。 因此，我們將這些想法形成為關(guān)于大腦的三個假設(shè)，檢查它們的證據(jù)，并且描繪可以如何測試它們的實驗。 但首先，我們需要更準確地陳述假設(shè)。

1.1 假設(shè)1 – 大腦進行成本函數(shù)優(yōu)化

連接兩個領(lǐng)域的中心假設(shè)是，像許多機器學習系統(tǒng)一樣，生物系統(tǒng)能夠優(yōu)化成本函數(shù)。成本函數(shù)的想法意味著大腦區(qū)域中的神經(jīng)元可以以某種方式改變它們的屬性，例如它們的突觸的屬性，使得它們在做任何成本函數(shù)定義為它們的角色時更好。人類行為有時在一個領(lǐng)域中達到最優(yōu)，例如在運動期間（K?rding, 2007），這表明大腦可能已經(jīng)學習了較佳策略。受試者將他們的運動系統(tǒng)的能量消耗最小化（Taylor and Faisal, 2011），并且使他們的身體的風險和損害最小化，同時較大化財務(wù)和運動獲益。在計算上，我們現(xiàn)在知道軌跡的優(yōu)化為非常復(fù)雜的運動任務(wù)提出了非常不錯的解決方案（Harris and Wolpert, 1998; Todorov and Jordan, 2002; Mordatch et al., 2012）。我們認為成本函數(shù)優(yōu)化更廣泛地發(fā)在大腦使用的內(nèi)部表示和其他處理過程之中。重要的是，我們還建議這需要大腦在多層和recurrent網(wǎng)絡(luò)中具備有效的信用分配（credit assignment，感覺翻譯成中文還是有些奇怪）機制。

1.2 假設(shè)2 – 不同的發(fā)展階段中不同大腦區(qū)域的成本函數(shù)不同

第二個假設(shè)的另一種表達是：成本函數(shù)不需要是全局的。 不同腦區(qū)域中的神經(jīng)元可以優(yōu)化不同的事物，例如，運動的均方誤差、視覺刺激中的驚喜或注意分配。 重要的是，這樣的成本函數(shù)可以在局部大腦區(qū)域生成。 例如，神經(jīng)元可以局部評估其輸入的統(tǒng)計模型的質(zhì)量（Figure1B）。 或者，一個區(qū)域的成本函數(shù)可以由另一個區(qū)域生成。 此外，成本函數(shù)可以隨時間改變，例如，神經(jīng)網(wǎng)絡(luò)先指導(dǎo)小孩早期理解簡單的視覺對比度，稍后再進行面部識別。 這可以允許發(fā)展中的大腦根據(jù)更簡單的知識來引導(dǎo)更復(fù)雜的知識。 大腦中的成本函數(shù)是非常復(fù)雜的，并且被安排成在不同地區(qū)和不同發(fā)展之間變化。

1.3 假設(shè)3 – 專門系統(tǒng)提供關(guān)鍵計算問題上的高效解

第三個認識是：神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)很重要。信息在不同大腦區(qū)域流動的模式似乎有根本性差異的，這表明它們解決不同的計算問題。一些腦區(qū)是高度recurrent的，可能使它們被預(yù)定為短期記憶存儲（Wang, 2012）。一些區(qū)域包含能夠在定性不同的激活狀態(tài)之間切換的細胞類型，例如響應(yīng)于特定神經(jīng)遞質(zhì)的持續(xù)發(fā)射模式與瞬時發(fā)射模式（Hasselmo, 2006）。其他區(qū)域，如丘腦似乎有來自其他區(qū)域的信息流經(jīng)它們，也許允許他們確定信息路由（Sherman, 2005）。像基底神經(jīng)節(jié)的區(qū)域參與強化學習和分離決定的門控（Doya, 1999; Sejnowski and Poizner,2014）。正如每個程序員所知，專門的算法對于計算問題的有效解決方案很重要，并且大腦可能會很好地利用這種專業(yè)化（Figure1 C）。

這些想法受到機器學習領(lǐng)域的進展的啟發(fā)，但我們也認為大腦與今天的機器學習技術(shù)有很大的不同。特別是，世界給我們一個相對有限的信息量以讓我們可以用于監(jiān)督學習（Fodor and Crowther, 2002）。有大量的信息可用于無人監(jiān)督的學習，但沒有理由假設(shè)會存在一個通用的無監(jiān)督算法，無論多么強大，將按人們需要知道的順序較精確學習人類需要知道的事情。因此，從進化的角度來看，使得無監(jiān)督學習解決“正確”問題的挑戰(zhàn)是找到一系列成本函數(shù)，其將根據(jù)規(guī)定的發(fā)展階段確定性地建立電路和行為，使得最終相對少量的信息足以產(chǎn)生正確的行為。例如，一個成長中的鴨子跟隨（Tinbergen, 1965）其父母的行為印記模板，然后使用該模板來生成終級目標，幫助它開發(fā)其他技能，如覓食。

根據(jù)上述內(nèi)容和其他研究（Minsky, 1977; Ullman et al., 2012），我們認為（suggest）許多大腦的成本函數(shù)產(chǎn)生于這樣的內(nèi)部自舉過程。事實上，我們提出生物發(fā)展和強化學習實際上可以程序化實現(xiàn)生成一系列成本函數(shù)，較精確預(yù)測大腦內(nèi)部子系統(tǒng)以及整個生物體面臨的未來需求。這種類型的發(fā)展程序化地引導(dǎo)生成多樣化和復(fù)雜的成本函數(shù)的內(nèi)部基礎(chǔ)設(shè)施，同時簡化大腦的內(nèi)部過程所面臨的學習問題。除了諸如家族印記的簡單任務(wù)之外，這種類型的引導(dǎo)可以擴展到更高的認知，例如，內(nèi)部產(chǎn)生的成本函數(shù)可以訓練發(fā)育中的大腦正確地訪問其存儲器或者以隨后證明有用的方式組織其動作。這樣的潛在引導(dǎo)機制在無監(jiān)督和強化學習的背景下運行，并且遠遠超出當今機器學習、人工智能課程學習的理念（Bengio et al.,2009）。

這段是至今我所看過的人工智能文獻里最精彩的部分。

本文的其余部分，我們將闡述這些假設(shè)。 首先，我們將認為局部和多層優(yōu)化，出乎意料地與我們所知道的大腦兼容。 第二，我們將認為成本函數(shù)在大腦區(qū)域和不同時間的變化是不同的，并且描述了成本函數(shù)如何以協(xié)調(diào)方式交互以允許引導(dǎo)復(fù)雜函數(shù)。 第三，我們將列出一系列需要通過神經(jīng)計算解決的專門問題，以及具有似乎與特定計算問題匹配的結(jié)構(gòu)的腦區(qū)域。 然后，我們討論上述假設(shè)的神經(jīng)科學和機器學習研究方法的一些影響，并草擬一組實驗來測試這些假設(shè)。 最后，我們從演化的角度討論這個架構(gòu)。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754