摘要：例如，是一些神經(jīng)元的特征，其中突觸權(quán)重變化的符號(hào)取決于突觸前后的較精確至毫秒量級(jí)相對(duì)定時(shí)。，是大腦自身調(diào)整其神經(jīng)元之間的連接強(qiáng)度的生物過(guò)程。從他博士期間就開(kāi)始研究至今，目前可以說(shuō)深度學(xué)習(xí)占領(lǐng)著機(jī)器學(xué)習(xí)的半壁江山，而則是深度學(xué)習(xí)的核心。

上次說(shuō)到誤差梯度的“反向傳播”（Backpropagation），這次咱們從這繼續(xù)。需要說(shuō)明的是，原文太長(zhǎng)，有的地方會(huì)有些冗長(zhǎng)啰嗦，所以后面的我會(huì)選擇性地進(jìn)行翻譯，然后附上一些思考和問(wèn)題的注釋，會(huì)更像讀書(shū)筆記吧，這樣也可以讓學(xué)習(xí)過(guò)程更高效一些。

2.2.2. Biologically plausible approximations of gradient descent

這一節(jié)主要講的是為了在生物學(xué)習(xí)中實(shí)現(xiàn)機(jī)器學(xué)習(xí)中的誤差梯度的反向傳播，更復(fù)雜的gradient propagation機(jī)制應(yīng)該被考慮。雖然這些機(jī)制在細(xì)節(jié)上不同，但是它們都調(diào)用具有相位誤差的反饋連接。學(xué)習(xí)是通過(guò)將預(yù)測(cè)與目標(biāo)進(jìn)行比較來(lái)進(jìn)行的，并且預(yù)測(cè)誤差用于驅(qū)動(dòng)自底向上活動(dòng)中的自上而下的改變。

文中很多地方提到neuron spike, 神經(jīng)元的電活動(dòng)，但不代表該神經(jīng)元一定被激活。個(gè)人覺(jué)得比較難翻譯, “神經(jīng)元?jiǎng)幼麟娢弧痹谟械牡胤讲惶槪院竺婢椭苯邮褂糜⑽膩?lái)描述這個(gè)概念。Google一番之后找到的定義是：During a spike, or action potential as it is called by neuroscientists, a neuron"s membrane potential quickly rises from values around -65 mV to about 20 mV and then drops back to -65 mV.

反向傳播的近似也可以通過(guò)神經(jīng)活動(dòng)的毫秒級(jí)定時(shí)來(lái)實(shí)現(xiàn)（O"Reilly et al., 2014b）。例如，Spike timing dependent plasticity（STDP）（Markram et al., 1997）是一些神經(jīng)元的特征，其中突觸權(quán)重變化的符號(hào)取決于突觸前后spike的較精確至毫秒量級(jí)相對(duì)定時(shí)。這通常被解釋為測(cè)量突觸前和突觸后之間的因果關(guān)系的潛力的Hebbian可塑性：突觸前的spike可能有助于突觸后的spike，僅當(dāng)兩者發(fā)生的時(shí)間間隔很小的時(shí)候。為了實(shí)現(xiàn)反向傳播機(jī)制，Hinton提出了一種替代解釋：神經(jīng)元可以在它們的激活率（firing rate）的時(shí)間導(dǎo)數(shù)中對(duì)反向傳播所需的誤差導(dǎo)數(shù)類型進(jìn)行編碼（Hinton, 2007, 2016）。于是STDP就與這些對(duì)誤差導(dǎo)數(shù)敏感的學(xué)習(xí)規(guī)則相關(guān)聯(lián)（Xie and Seung, 2000; Bengio et al., 2015b）。換句話說(shuō)，在適當(dāng)?shù)木W(wǎng)絡(luò)環(huán)境中，STDP學(xué)習(xí)可以產(chǎn)生反向傳播的生物實(shí)現(xiàn)。

STDP，Wikipedia：是大腦自身調(diào)整其神經(jīng)元之間的連接強(qiáng)度的生物過(guò)程。 該過(guò)程基于特定神經(jīng)元的輸出和輸入動(dòng)作電位（或spike）的相對(duì)定時(shí)來(lái)調(diào)整連接強(qiáng)度。 STDP過(guò)程部分解釋神經(jīng)系統(tǒng)的活性依賴性發(fā)展，特別是關(guān)于Long-term potentiation和Long-term depression。（從定義可以看出它與Backpropagation之間有很高的相似性）

生物神經(jīng)網(wǎng)絡(luò)可以近似反向傳播的另一種可能機(jī)制是“反饋比對(duì)”（feedback alignment）（Lillicrap et al., 2014; Liao et al., 2015）。在feedback alignment中，反向傳播中的反饋通路由一組隨機(jī)反向連接代替，一個(gè)層的誤差導(dǎo)數(shù)是通過(guò)該反饋通路從后續(xù)層的誤差導(dǎo)數(shù)來(lái)計(jì)算的，而不依賴于前向權(quán)重。根據(jù)前饋和反饋連接之間的突觸歸一化機(jī)制和近似符號(hào)一致性的存在（Liao et al., 2015），計(jì)算誤差導(dǎo)數(shù)的這種機(jī)制幾乎與各種任務(wù)的反向傳播一樣好。實(shí)際上，前向權(quán)重能夠適應(yīng)性地使網(wǎng)絡(luò)進(jìn)入一種狀態(tài)，其中隨機(jī)后向權(quán)重實(shí)際上可以攜帶用于近似梯度的信息。這是一個(gè)引人注目和令人驚訝的發(fā)現(xiàn)，并且它表明我們對(duì)梯度下降優(yōu)化的理解，特別是反向傳播本身起作用的機(jī)制仍然是不完全的。在神經(jīng)科學(xué)中，我們發(fā)現(xiàn)幾乎無(wú)論在哪里找到前饋連接，哪里就伴隨有反饋連接，討論它們的作用是很多研究理論的主題（Callaway, 2004; Maass et al., 2007）。應(yīng)當(dāng)注意的是，feedback alignment本身并不較精確地指定神經(jīng)元如何表示和利用誤差信號(hào)，它僅放寬對(duì)誤差信號(hào)的傳送的約束。因此，feedback alignment更多的是作為反向傳播的生物學(xué)實(shí)現(xiàn)的基礎(chǔ)，而不是完全生物學(xué)實(shí)現(xiàn)本身。因此，可以將其并入這里討論的幾個(gè)其他方案中。

毋庸置疑，大腦計(jì)算誤差導(dǎo)數(shù)的方式是復(fù)雜的，相信這與其使用多樣化且相互作用的動(dòng)態(tài)目標(biāo)函數(shù)機(jī)制是緊密聯(lián)系在一起的。而如今深度學(xué)習(xí)中的誤差導(dǎo)數(shù)傳播方法被Backpropagation所主導(dǎo)，相比之下，chain rule顯得有些naive。值得注意的是這里提到的隨機(jī)反饋連接，這是一個(gè)非常有意思的研究方向，如果添加注意力機(jī)制，可以理解為使用全局的信息對(duì)反向傳播的誤差導(dǎo)數(shù)進(jìn)行近似，會(huì)加速收斂嗎？

這些討論的核心實(shí)際上是：使用另一個(gè)（或多個(gè)）神經(jīng)網(wǎng)絡(luò)去做求導(dǎo)的工作，至于為什么要這么做，可能就會(huì)涉及到需要對(duì)普通的微積分（黎曼積分）的局限性、函數(shù)空間等等進(jìn)行討論了，這就需要很深入的數(shù)學(xué)知識(shí)了。

這里附上一篇最近比較前沿的關(guān)于合成梯度的paper：Decoupled Neural Interfaces using Synthetic Gradients，個(gè)人覺(jué)得它和NTM（Neural Turing Machine）、GAN（Generative Adversarial Networks）一樣，很可能是具有"里程碑"式意義的

上述的反向傳播的“生物學(xué)”實(shí)現(xiàn)仍然缺乏生物實(shí)際性（biological realism）的一些關(guān)鍵方面。 例如，在大腦中，神經(jīng)元往往是興奮性的或抑制性的，但不是兩者同時(shí)存在，而在人工神經(jīng)網(wǎng)絡(luò)中，單個(gè)神經(jīng)元可向其下游神經(jīng)元同時(shí)發(fā)送興奮性和抑制性信號(hào)。 幸運(yùn)的是，這種約束不會(huì)限制其可以學(xué)習(xí)各種函數(shù)的能力（Parisien et al., 2008; Tripp and Eliasmith, 2016）。 然而，其他生物學(xué)考量則需要更詳細(xì)地看待：生物神經(jīng)網(wǎng)絡(luò)的高度重現(xiàn)（recurrent）性質(zhì)，其顯示在時(shí)間尺度上豐富的動(dòng)力學(xué)特性（dynamics, 這個(gè)詞也很難翻譯，個(gè)人更傾向于“動(dòng)態(tài)”），以及哺乳動(dòng)物大腦中的大多數(shù)神經(jīng)元通過(guò)spike通信的事實(shí)。 我們下面依次考慮這兩個(gè)問(wèn)題。

2.2.2.1. Temporal credit assignment

再次遇到credit assignment，之前有翻譯成“信用分配”，還是有些模糊，有人翻譯成“功勞分配”，有些“能者多勞”的感覺(jué)，通俗地解釋是：認(rèn)為表現(xiàn)好的組件就多給它一些權(quán)重，這樣對(duì)實(shí)現(xiàn)目標(biāo)更有利

這個(gè)部分主要講的是BPTT（backpropagation through time），主要就是針對(duì)RNN，就不贅述了，就是把backpropagation在時(shí)間尺度上展開(kāi)，然后可以把credit assign到不同的time steps（或者internal state）。不過(guò)作者表示：While the network unfolding procedure of BPTT itself does not seem biologically plausible, to our intuition, it is unclear to what extent temporal credit assignment is truly needed (Ollivier and Charpiat, 2015) for learning particular temporally extended tasks. BPTT生物學(xué)的生物學(xué)可解釋性目前還是不太確定的。

如果系統(tǒng)被授予對(duì)時(shí)間上下文（context）的適當(dāng)存儲(chǔ)器存儲(chǔ)和表示（Buonomano and Merzenich, 1995; Gershman et al., 2012, 2014）的訪問(wèn)，這可以潛在地減少對(duì)時(shí)間尺度上credit assignment的需要， 可以“空間化”時(shí)間credit assignment的問(wèn)題。 例如，Memory Network（Weston et al., 2014）

有興趣的讀者可以看看Memory Network，引入記憶存儲(chǔ)之后網(wǎng)絡(luò)將具備實(shí)現(xiàn)推理的基礎(chǔ)，這個(gè)話題就會(huì)引發(fā)一系列的關(guān)于Memory Augmented Networks的討論和研究，目前是非常熱門(mén)的，比如DeepMind的DNC就是一個(gè)對(duì)這類網(wǎng)絡(luò)更廣義的擴(kuò)展，已經(jīng)抽象到了另一種計(jì)算機(jī)實(shí)現(xiàn)，這個(gè)論文是發(fā)在Nature上的。

Werbos在他的“error critic”中提出，通過(guò)學(xué)習(xí)以與強(qiáng)化學(xué)習(xí)中的價(jià)值函數(shù)的預(yù)測(cè)類似的方式學(xué)習(xí)預(yù)測(cè)BPTT的梯度信號(hào)（costate），可以實(shí)現(xiàn)對(duì)BPTT的online approximation（Werbos and Si, 2004）。這種想法最近被應(yīng)用于（Jaderberg et al., 2016，就是之前提到合成梯度的那個(gè)研究），以允許在訓(xùn)練期間網(wǎng)絡(luò)的不同部分的解耦，并且便于通過(guò)時(shí)間的反向傳播。廣義上，我們才剛開(kāi)始理解神經(jīng)活動(dòng)本身如何表示時(shí)間變量（Xu et al., 2014; Finnerty et al., 2015），以及如何經(jīng)常性的網(wǎng)絡(luò)可以學(xué)習(xí)生成人口變化隨時(shí)間的軌跡（Liu and Buonomano, 2009）。此外，正如我們?cè)谙旅鎸⒂懻摰?，一些cortical models也提出，除了BPTT還可通過(guò)其他方式去訓(xùn)練網(wǎng)絡(luò)以完成序列預(yù)測(cè)任務(wù)，甚至是在線學(xué)習(xí)（O"Reilly et al., 2014b; Cui et al., 2015; Brea et al., 2016）?？梢允褂煤芏喔鼘?shí)際的手段來(lái)近似BPTT。

2.2.2.2. Spiking networks（這個(gè)不太熟悉，雖然大概60年前就提出了）

這個(gè)部分不太熟悉，跳過(guò)一些。但里面提到的快速、慢速連接是非常贊的idea，在Bengio的一些演講中好像有提到，但我還沒(méi)有很理解具體如何實(shí)現(xiàn)這種不同速率的計(jì)算連接

使用具有多個(gè)時(shí)間尺度的循環(huán)連接（recurrent connection）可以消除在直接訓(xùn)練spike reccurrent networks的過(guò)程中反向傳播的需要（Bourdoukan and Denève, 2015）。 快速連接將網(wǎng)絡(luò)維持在慢速連接能夠局部訪問(wèn)全局錯(cuò)誤信號(hào)的狀態(tài)。 雖然這些方法的生物依據(jù)仍然是未知的，它們都允許在spike networks中學(xué)習(xí)連接權(quán)重。

這些新穎的學(xué)習(xí)算法說(shuō)明了一個(gè)事實(shí)，我們才剛開(kāi)始理解生物神經(jīng)網(wǎng)絡(luò)中的時(shí)間動(dòng)力學(xué)特性和時(shí)間和空間credit assignment機(jī)制之間的聯(lián)系。 然而，我們認(rèn)為在這里現(xiàn)有的證據(jù)表明生物似真的神經(jīng)網(wǎng)絡(luò)可以解決這些問(wèn)題 - 換句話說(shuō)，在生物神經(jīng)元的spiking networks的上下文環(huán)境下，復(fù)雜的與時(shí)間歷史相關(guān)的函數(shù)可能被有效地優(yōu)化。 這些復(fù)雜的函數(shù)可以是認(rèn)知相關(guān)的，但問(wèn)題是發(fā)展中的大腦如何有效地學(xué)習(xí)這樣復(fù)雜的功能。

小結(jié)：本節(jié)文中討論的內(nèi)容與RNN訓(xùn)練和學(xué)習(xí)關(guān)系密切，為了更好的理解這部分以及后面部分的內(nèi)容，個(gè)人覺(jué)得需要還做一些功課。Bengio從他博士期間就開(kāi)始研究RNN至今，目前可以說(shuō)深度學(xué)習(xí)占領(lǐng)著機(jī)器學(xué)習(xí)的半壁江山，而RNN則是深度學(xué)習(xí)的核心。

這里建議暫停一下先認(rèn)真看看下面三篇paper，甚至RNN更基礎(chǔ)的東西。

On the difficulty of training recurrent neural networks

Professor Forcing: A New Algorithm for Training Recurrent Networks

Decoupled Neural Interfaces using Synthetic Gradients

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754