摘要：等人最近關(guān)于膠囊網(wǎng)絡(luò)的論文在機(jī)器學(xué)習(xí)領(lǐng)域造成相當(dāng)震撼的影響。它提出了理論上能更好地替代卷積神經(jīng)網(wǎng)絡(luò)的方案，是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域的技術(shù)。而這就是這些膠囊網(wǎng)絡(luò)運(yùn)行方式的本質(zhì)。為了簡化，我們將假設(shè)一個(gè)兩層的膠囊網(wǎng)絡(luò)。產(chǎn)生的結(jié)果值將被稱為。

Geoff Hinton等人最近關(guān)于膠囊網(wǎng)絡(luò)（Capsule networks）的論文在機(jī)器學(xué)習(xí)領(lǐng)域造成相當(dāng)震撼的影響。它提出了理論上能更好地替代卷積神經(jīng)網(wǎng)絡(luò)的方案，是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域的技術(shù)。

首先，我想談?wù)勆窠?jīng)網(wǎng)絡(luò)那些令人困惑的術(shù)語。機(jī)器學(xué)習(xí)中的許多想法來源于符號數(shù)字化的認(rèn)知概念。為了演示，我們以神經(jīng)元為例。在物質(zhì)世界中，這是一組細(xì)胞，以信號作為輸入，并發(fā)出一些信號作為輸出，只要它足夠興奮。雖然這是一個(gè)簡單直白的解釋，但這最終是對“神經(jīng)網(wǎng)絡(luò)”機(jī)器學(xué)習(xí)概念的充分體現(xiàn)。在這里，神經(jīng)元是一個(gè)數(shù)學(xué)單位，它接受一個(gè)輸入，并使用一系列函數(shù)給出輸入的輸出。我們學(xué)習(xí)權(quán)重來確定在訓(xùn)練階段哪個(gè)特定的輸入可能比使用反向傳播的輸入更重要。我們可以堆疊這些神經(jīng)元，使得一層神經(jīng)元的輸出成為另一層神經(jīng)元的輸入。所有類型的神經(jīng)元都取自從這個(gè)基本概念，包括遞歸神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)。

現(xiàn)在讓我們來描述膠囊的概念。像基本的神經(jīng)元一樣，它們也代表了一個(gè)認(rèn)知思想的符號數(shù)字化。大腦的高層做了更多的演繹、理解和高層次特征的計(jì)算，大腦的特定部分在他們處理的領(lǐng)域或主題上有明確的含義。我們并不是將所有維度的數(shù)據(jù)都放在整個(gè)大腦中，而是“喂食（feed in）”較低級別的特征，以供大腦的高層部分處理，從而將認(rèn)知負(fù)荷從較高級別的處理中移除。如果較低級別的功能與大腦某些較高級別的部分不相關(guān)，則不應(yīng)將其發(fā)送到那里。它的信號至少應(yīng)該有所減弱。

這些膠囊被設(shè)想為用以處理識別姿勢的問題。就是說，當(dāng)一個(gè)模型原先是被訓(xùn)練來對一只狗進(jìn)行識別時(shí)，但卻變得依賴于視野內(nèi)該狗所在的方向。如果將這只狗轉(zhuǎn)個(gè)方向，并試圖從不同的角度對其拍照，那么該模型在對狗進(jìn)行識別時(shí)可能會遇到麻煩。為了解決這一問題，膠囊試圖通過讓“符號數(shù)學(xué)大腦（symbolic mathematical brain）”（即網(wǎng)絡(luò)）的更高級別部分來處理復(fù)雜特征的識別和姿勢認(rèn)證，而較低級別部分用來處理“子”特征。一個(gè)較高級別的膠囊可以識別出一張臉部特征，而這是基于較低級別的膠囊是以一個(gè)相一致的方向來對嘴巴和鼻子進(jìn)行識別的。

卷積神經(jīng)網(wǎng)絡(luò)目前并不是這樣做的，相反，他它們依靠的是大量的數(shù)據(jù)，其中將該目標(biāo)可能擁有的所有姿勢都包含在內(nèi)，當(dāng)然，它們也具有其他的缺點(diǎn)。

對于初學(xué)者來說，這是一個(gè)上下文的問題。信息有時(shí)需要在上下文中才能有效。Geoff Hinton自己遇到過這樣一個(gè)示例：一個(gè)四面體被切成兩半之后，即使是麻省理工學(xué)院的教授也很難將其恢復(fù)成原形。其實(shí)，很難確切地去弄明白這是為什么，但它似乎與我們的參考框架有關(guān)：我們選擇查看目標(biāo)的方式可以決定我們對其進(jìn)行操作和識別的方式。而膠囊網(wǎng)絡(luò)可以潛在地通過將該信息嵌入特定膠囊中來解決這個(gè)問題，而該特定膠囊對所涉及的上下文進(jìn)行學(xué)習(xí)，然后將該信息饋送到網(wǎng)絡(luò)的更高部分。

其次，卷積神經(jīng)網(wǎng)絡(luò)通過池化的方式將多個(gè)特征檢測器合并在一起。前層神經(jīng)網(wǎng)絡(luò)作為特征饋入到后層中。人們認(rèn)為，這些早期網(wǎng)絡(luò)充當(dāng)?shù)氖翘卣鳈z測器，因?yàn)樵缙诰W(wǎng)絡(luò)識別的是非?；镜奶卣?，而后續(xù)網(wǎng)絡(luò)可以識別耳朵、眼睛等器官特征。通過將它們池化在一起，可以解決方差問題，即就模型而言，圖片中左手邊的耳朵可能與右手邊的耳朵不是一樣的。

盡管如此，池化的結(jié)果也是非常不穩(wěn)定的，它使得信息分布在許多個(gè)而不是少數(shù)幾個(gè)神經(jīng)元中。因此，每個(gè)神經(jīng)元必須更努力地運(yùn)行。如果我們能夠?qū)ι窠?jīng)元進(jìn)行特定化以便處理特定的識別，那結(jié)果將會好很多。我們可以有一個(gè)專門用來尋找鼻子的膠囊，一個(gè)專門用來尋找嘴巴的膠囊。這樣的話，這些膠囊可以很好地對那些非常特殊的目標(biāo)進(jìn)行識別，因?yàn)榫驼麄€(gè)網(wǎng)絡(luò)而言，它們沒有別的事情要做。

與之相關(guān)的是Geoff Hinton教授的理想目標(biāo)，即擁有一個(gè)目標(biāo)可以轉(zhuǎn)化到其中的更高的空間域。每次，不管方向如何，在這個(gè)更高的域空間內(nèi)目標(biāo)都被轉(zhuǎn)換成了相同的剛性形狀。達(dá)到該目標(biāo)的一種方法是使用特定的膠囊以幫助將目標(biāo)轉(zhuǎn)化到更高的域空間中。

為了建立一個(gè)膠囊網(wǎng)絡(luò)，我們可以從1980年代的發(fā)明——霍夫變換（Hough Transforms）中獲得靈感。其應(yīng)用的基本思想是有一個(gè)兩部分的結(jié)構(gòu)，我將其稱之為斑點(diǎn)（speck）。一般的speck預(yù)測坐標(biāo)系為X的概率，另一半預(yù)測姿勢。然后將這些child_speck_s饋送到父speck中。如果獲得這些child_speck_s的足夠多的同意后，那么父speck就會給出坐標(biāo)系為Y的概率，這是一個(gè)比X更復(fù)雜的目標(biāo)。例如，child_speck_s可以預(yù)測嘴巴、鼻子和眼睛及其所處的方向，然后將其饋送到能夠預(yù)測到臉部及其姿勢的父speck中。

現(xiàn)在，讓我們用膠囊代替那些神經(jīng)元。較低級別的膠囊通過識別該目標(biāo)的較簡單的子部分來做一個(gè)該目標(biāo)可能是什么的“弱賭注”，然后一個(gè)更高級別的膠囊會采取這些低級別的賭注，并試圖看看它們是否同意。如果它們中有足夠多的同意，那么這個(gè)目標(biāo)就是Y，這可能是非常巧合。而這就是這些膠囊網(wǎng)絡(luò)運(yùn)行方式的本質(zhì)。

而問題在于：我們該如何路由這些較低級別的膠囊，以便將它們送到正確的、更高級別膠囊中？

這就是前些天Hinton等人又推出的創(chuàng)新性研究。（該論文于10月26日上傳，11月7日又做了更新）

那么這個(gè)路由算法的運(yùn)行原理是什么呢？為了搞明白這一點(diǎn)，我們需要定義一些關(guān)鍵的想法。為了簡化，我們將假設(shè)一個(gè)兩層的膠囊網(wǎng)絡(luò)。將原始特征饋送到層LA中，并將來自層LA的輸出饋送到層LB中，其中兩個(gè)層都是由膠囊組成的。

首先，我們對來自層LA并會輸入到層LB的稱之為u的輸出矩陣進(jìn)行加權(quán)，然后這些權(quán)重將被存儲為一個(gè)向量W，將這兩者相乘將得到u"。

然后，路由算法決定一個(gè)稱為耦合系數(shù)c的附加參數(shù)，這個(gè)系數(shù)將減少發(fā)送到不正確的膠囊的信息，這可以通過適當(dāng)減少它們的權(quán)重實(shí)現(xiàn)。我們還通過使用特定函數(shù)來“壓縮（squash）”整個(gè)輸入，這將確保低幅值向量被壓縮到幾乎為零，而高幅值向量將得到一個(gè)只略小于1的長度。這是因?yàn)楸疚闹械膭?dòng)態(tài)路由算法使用向量的幅度來表示目標(biāo)在正確輸入中出現(xiàn)的概率。因此，這些輸入向量不必太過于專注幅度。

我將在這里簡單描述路由算法。你可以在論文中看到更為具體的確切形式。需要記住的是，他們提到這個(gè)只是一種可以實(shí)現(xiàn)路由算法的方法，所以隨著時(shí)間的推移，可能會有更多的猜測出現(xiàn)。

作為背景，b用來表示對數(shù)先驗(yàn)概率，并且耦合因子c被確定為b的softmax函數(shù)。

對于層LA和層LB層中的每個(gè)膠囊，我們將先驗(yàn)b設(shè)置為0。然后，對于r迭代，我們遍歷每個(gè)膠囊并將耦合因子c設(shè)置為b的softmax函數(shù)。我們通過將c與u"相乘來計(jì)算s。產(chǎn)生的結(jié)果值將被稱為s。進(jìn)入層LB的每一個(gè)輸入都用適當(dāng)?shù)暮瘮?shù)進(jìn)行“壓縮”以得到v。然后對每個(gè)膠囊，我們通過將u和v的值加到b中以對其進(jìn)行調(diào)整。

下面是一個(gè)更為較精確、學(xué)術(shù)更為友好的算法顯示：

# Dynamic Routing Algorithm

for all capsules _i_ in layer A and capsules _j_ in layer B, set _b_

to 0

for _r_ iterations:

for all capsules i in layer A: _c_ is the softmax of _b_

for all capsules j in layer B: _s_ is the multiplication of _c_ &

_u_

for all capsules j in layer B: _v_ is the squashed input of _s_

fir all capsules i in layer A and capsules j in layer B: _b_ is

set to _b_ + _u"_ * _v_

這篇論文包含的內(nèi)容還有很多，我可能會在接下來的文章中闡述更多，主要是有關(guān)在MNIST數(shù)據(jù)集上的性能以及使用稱為CapsNet的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行的特定實(shí)現(xiàn)。

使用Keras實(shí)現(xiàn)CapsNet：https://github.com/XifengGuo/CapsNet-Keras

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識

QQ群：81035754