摘要：鏈接是他們在數(shù)據(jù)集上達(dá)到了較先進(jìn)的性能，并且在高度重疊的數(shù)字上表現(xiàn)出比卷積神經(jīng)網(wǎng)絡(luò)好得多的結(jié)果。在常規(guī)的卷積神經(jīng)網(wǎng)絡(luò)中，通常會有多個(gè)匯聚層，不幸的是，這些匯聚層的操作往往會丟失很多信息，比如目標(biāo)對象的準(zhǔn)確位置和姿態(tài)。

PPT

由于筆者能力有限，本篇所有備注皆為專知內(nèi)容組成員根據(jù)講者視頻和PPT內(nèi)容自行補(bǔ)全，不代表講者本人的立場與觀點(diǎn)。

膠囊網(wǎng)絡(luò)Capsule Networks

你好！我是AurélienGéron，在這個(gè)視頻中，我將告訴你們關(guān)于膠囊網(wǎng)絡(luò)，一個(gè)神經(jīng)網(wǎng)絡(luò)的新架構(gòu)。Geoffrey Hinton幾年前就有膠囊網(wǎng)絡(luò)的想法，他在2011年發(fā)表了一篇文章，介紹了許多重要的想法，他還是很難讓這些想法實(shí)現(xiàn)，但直到現(xiàn)在。

幾周前，在2017年10月，一篇名為“動態(tài)路由膠囊” 由作者Sara Sabour，NicholasFrosst，當(dāng)然還有Geoffrey Hinton一起發(fā)表了。?

鏈接是：https://arxiv.org/abs/1710.09829

他們在MNIST數(shù)據(jù)集上達(dá)到了較先進(jìn)的性能，并且在高度重疊的數(shù)字上表現(xiàn)出比卷積神經(jīng)網(wǎng)絡(luò)好得多的結(jié)果。那么膠囊網(wǎng)絡(luò)究竟是什么？

在計(jì)算機(jī)圖形學(xué)中，你表達(dá)一個(gè)場景都是從抽象的表示開始。

例如，位置x＝20和y＝30的矩形，旋轉(zhuǎn)16°，等等。每個(gè)對象類型都有不同的實(shí)例化參數(shù)。然后你調(diào)用一些渲染函數(shù)，然后你得到一個(gè)圖像。

逆向圖形，只是上面抽象表示的一個(gè)逆向過程。你從一個(gè)圖像開始，你試著找出它包含的對象，以及它們的實(shí)例化參數(shù)是什么。

一個(gè)膠囊網(wǎng)絡(luò)基本上是一個(gè)試圖執(zhí)行反向圖形解析的神經(jīng)網(wǎng)絡(luò)。

它由許多膠囊組成。一個(gè)膠囊是一個(gè)函數(shù)，它試圖在給特定位置的目標(biāo)預(yù)測它的存在性以及實(shí)例化參數(shù)。

例如，上面的網(wǎng)絡(luò)包含50個(gè)膠囊。 箭頭表示這些膠囊的輸出向量。 膠囊輸出許多向量。 黑色箭頭對應(yīng)于試圖找到矩形的膠囊，而藍(lán)色箭頭則表示膠囊尋找三角形的輸出。激活向量的長度表示膠囊正在查找的物體確實(shí)存在的估計(jì)概率。?

你可以看到大多數(shù)箭頭很小，這意味著膠囊沒有檢測到任何東西，但是兩個(gè)箭頭相當(dāng)長。 這意味著在這些位置的膠囊非常有自信能夠找到他們要尋找的東西，在這個(gè)情況下是矩形和三角形。

接下來，激活向量的方向編碼對象的實(shí)例化參數(shù)，例如在這個(gè)情況下，對象的旋轉(zhuǎn)，但也可能是它的厚度，它是如何拉伸或傾斜的，它的確切位置（可能有輕微的翻轉(zhuǎn)），等等。為了簡單起見，我只關(guān)注旋轉(zhuǎn)參數(shù)，但在真實(shí)的膠囊網(wǎng)絡(luò)中，激活向量可能有5, 10個(gè)維度或更多。

實(shí)際上，實(shí)現(xiàn)這一點(diǎn)的一個(gè)好方法是首先應(yīng)用一對卷積層，就像在常規(guī)的卷積神經(jīng)網(wǎng)絡(luò)中一樣。這將輸出一個(gè)包含一堆特征映射的數(shù)組。 然后你可以重塑這個(gè)數(shù)組來獲得每個(gè)位置的一組向量。

例如，假設(shè)卷積圖層輸出一個(gè)包含18個(gè)特征圖（2×9）的數(shù)組，則可以輕松地重新組合這個(gè)數(shù)組以獲得每個(gè)位置9個(gè)維度的2個(gè)向量。 你也可以得到3個(gè)6維的向量，等等。

這看起來像在這里在每個(gè)位置用兩個(gè)向量表示的膠囊網(wǎng)絡(luò)。最后一步是確保沒有向量長度大于1，因?yàn)橄蛄康拈L度意味著代表一個(gè)概率，它不能大于1。

為此，我們應(yīng)用一個(gè)squashing（壓扁）函數(shù)。它保留了矢量的方向，但將它壓扁，以確保它的長度在0到1之間。

膠囊網(wǎng)絡(luò)的一個(gè)關(guān)鍵特性是在網(wǎng)絡(luò)中保存關(guān)于物體位置和姿態(tài)的詳細(xì)信息。例如，如果我稍微旋轉(zhuǎn)一下圖像，注意激活向量也會稍微改變，對吧?這叫做equivariance。

在常規(guī)的卷積神經(jīng)網(wǎng)絡(luò)中，通常會有多個(gè)匯聚層，不幸的是，這些匯聚層的操作往往會丟失很多信息，比如目標(biāo)對象的準(zhǔn)確位置和姿態(tài)。如果你只是想要對整個(gè)圖像進(jìn)行分類，就算丟失這些信息也沒什么大不了的，但是這些丟失的信息對你進(jìn)行較精確的圖像分割或?qū)ο髾z測(這需要較精確的位置和姿勢)等任務(wù)是非常重要的。

膠囊的equivariance等變特性使得它在這些任務(wù)上都有非常有前景。

好了，現(xiàn)在讓我們來看看膠囊網(wǎng)絡(luò)如何處理由層次結(jié)構(gòu)組成的對象。

例如，考慮一個(gè)船，它的位置為x＝22，y＝28，旋轉(zhuǎn)16°。

這艘船是由幾個(gè)部件組成的。在當(dāng)前演示的情況下，也就是說船由一個(gè)矩形和一個(gè)三角形組成。

現(xiàn)在我們要做相反的事情，我們需要逆向圖形，所以我們想要從圖像到這個(gè)完整的層次結(jié)構(gòu)的部件和它們的實(shí)例化參數(shù)。

同樣，我們也可以繪制一個(gè)房子，使用相同的部分，一個(gè)矩形和一個(gè)三角形，但這次以不同的方式組織。

所以關(guān)鍵是要試著從這個(gè)包含一個(gè)矩形和一個(gè)三角形的圖像，找出這個(gè)位置和這個(gè)方向，并且說明它們是船的一部分，而不是房子。來讓我們弄清楚它將如何做到這一點(diǎn)。第一步（之前我們已經(jīng)看到過）:我們運(yùn)行一對卷積層，我們將輸出重構(gòu)以得到向量，然后將它們歸一化。這就得到了主膠囊的輸出。

我們已經(jīng)有第一層了。下一步是則是展示膠囊網(wǎng)絡(luò)的魔力和復(fù)雜性的一步了。第一層中的每個(gè)膠囊試圖預(yù)測下一層中每個(gè)膠囊的輸出。你可能想停下來想一想這意味著什么。

第一層膠囊試圖預(yù)測第二層膠囊將輸出什么。

例如，讓我們考慮檢測矩形的膠囊。我會稱之為矩形膠囊。

假設(shè)下一層只有兩個(gè)膠囊，房子膠囊和船膠囊。由于矩形膠囊檢測到一個(gè)旋轉(zhuǎn)了16°的矩形，所以房子膠囊將檢測到一個(gè)旋轉(zhuǎn)了16°的房子，這是有道理的，船膠囊也會檢測到旋轉(zhuǎn)了16°的船。 這與矩形的方向是一致的。

所以，為了做出這個(gè)預(yù)測，矩形膠囊所做的就是簡單地計(jì)算一個(gè)變換矩陣W_i，j與它自己的激活向量u_i的點(diǎn)積。在訓(xùn)練期間，網(wǎng)絡(luò)將逐漸學(xué)習(xí)第一層和第二層中的每對膠囊的變換矩陣。 換句話說，它將學(xué)習(xí)所有的部分 - 整體關(guān)系，例如墻和屋頂之間的角度，等等。

現(xiàn)在讓我們看看三角形的膠囊是什么。

這一次，它更有趣了：給定三角形的旋轉(zhuǎn)角度，它預(yù)測房子的膠囊會檢測到一個(gè)倒置的房子，并且船膠囊會探測到一艘船旋轉(zhuǎn)16°。這些位置與三角形的旋轉(zhuǎn)角度是一致的。

現(xiàn)在我們有一堆預(yù)測輸出，也就是圖上的四個(gè)，我們下一步用它們做什么呢？

正如你所看到的，矩形膠囊和三角膠囊在船膠囊的輸出方面有著強(qiáng)烈的一致性。

換言之，矩形膠囊和三角膠囊都同意船會以什么樣的形式輸出來。

然而，矩形膠囊和三角膠囊他們倆完全不同意房子膠囊會產(chǎn)出什么，從圖中可以看出房子的輸出方向是一上一下的。。

因此，可以很合理的假設(shè)矩形和三角形是船的一部分，而不是房子的一部分。

既然我們知道矩形和三角形是船的一部分，矩形膠囊和三角膠囊的輸出也就是真的只關(guān)注船膠囊，所以就沒有必要發(fā)送這些輸出到任何其他膠囊，這樣只會增加噪音。這叫做同意協(xié)議路由。它有幾個(gè)好處：

?

首先，由于一個(gè)膠囊的輸出僅路由到下一層的想對應(yīng)的膠囊中，所以下一層的這些膠囊將得到更清晰的輸入信號，同時(shí)也更能準(zhǔn)確地確定物體的姿態(tài)。

第二，通過查看激活的路徑，您可以輕松地查看部件的層次結(jié)構(gòu)，并確切地知道哪個(gè)部分屬于哪個(gè)對象（如矩形屬于小船或者三角形屬于船等等）。

最后，按同意協(xié)議路由幫助解析那些有重疊對象的擁擠場景（我們將在幾個(gè)幻燈片中看到）。

?

但是首先，讓我們看看協(xié)議是如何在膠囊網(wǎng)絡(luò)中實(shí)現(xiàn)的。

在這里，我把船的各種姿態(tài)都表示出來，正如低層次的膠囊可能會預(yù)測的那樣。

例如，這些圓圈中的一個(gè)可能代表矩形膠囊對船的最可能姿勢的看法，而另一個(gè)圓圈可能代表三角膠囊的想法，如果我們假設(shè)有許多其他低層的膠囊，然后我們可能就會有有大量用于船膠囊的預(yù)測向量。

在這個(gè)例子中，有兩個(gè)姿態(tài)參數(shù)：一個(gè)代表旋轉(zhuǎn)角度，另一個(gè)代表船的大小。正如我前面提到的，姿態(tài)參數(shù)可以捕獲許多不同類型的視覺特征，如傾斜、厚度或較精確定位。

所以我們做的第一件事，就是計(jì)算所有這些預(yù)測的平均值。然后我們就得到了一個(gè)平均向量。下一步是度量每個(gè)預(yù)測向量與平均向量之間的距離。我在這里會用歐氏距離做演示，但膠囊網(wǎng)絡(luò)實(shí)際使用點(diǎn)積。

隨后我們要測量每個(gè)預(yù)測向量與平均預(yù)測向量的一致性程度。

利用這個(gè)計(jì)算出的一致性程度值，我們可以相應(yīng)地更新每個(gè)預(yù)測向量的權(quán)重。

注意，遠(yuǎn)離平均值的預(yù)測向量現(xiàn)在有一個(gè)非常小的重量，在圖中可以看到顏色比較淺。而最接近平均值的向量有更大的權(quán)重，我們用黑色來代表。

現(xiàn)在我們可以再一次計(jì)算均值（或者說，加權(quán)平均數(shù)），你會注意到跟上圖相比它稍微向聚類的中心移動。

接下來，我們可以再次更新權(quán)重，現(xiàn)在聚類中的大部分向量變黑了，

我們可以再次更新平均值。我們可以重復(fù)這個(gè)過程幾次，在實(shí)踐中，3到5次迭代通常是足夠的。我想這可能提醒你，如果你知道k-均值聚類算法的話，就很容易明白這是我們?nèi)绾握业竭@個(gè)所有向量都任何的聚類的?，F(xiàn)在讓我們看看整個(gè)算法在細(xì)節(jié)方面的工作原理。

首先，對于每個(gè)預(yù)測的輸出，我們首先設(shè)置原始路由權(quán)重b_i,j等于0。

接下來對于每個(gè)基本的膠囊，我們將為應(yīng)用softmax函數(shù)對他們的初始權(quán)重進(jìn)行歸一化。這樣就得出了了每個(gè)預(yù)測輸出的實(shí)際路由權(quán)重，在本例中是0.5。

接下來，我們計(jì)算下一層的每個(gè)膠囊的預(yù)測的加權(quán)和。

這可能會使向量長于1，所以通常會用到歸一化函數(shù)。

然后，我們現(xiàn)在有了房子膠囊和船艙的實(shí)際輸出。但這不是最終的輸出，這僅僅是第一輪的第一次迭代。

現(xiàn)在我們可以看到哪些預(yù)測是最準(zhǔn)確的。例如，矩形膠囊對船艙的輸出做出了很好的預(yù)測?？瓷先ニ娴暮芙咏?/p>

這是通過計(jì)算預(yù)測輸出向量?_j |i和實(shí)際乘積向量v_j的點(diǎn)積來估計(jì)的。這個(gè)點(diǎn)積操作被簡單地添加到預(yù)測輸出的原始路由權(quán)重b_i,j中。所以這個(gè)特定的預(yù)測輸出的權(quán)重增加了。

當(dāng)預(yù)測的結(jié)果是一個(gè)強(qiáng)烈的同意時(shí)，這個(gè)點(diǎn)積也會很大，所以好的預(yù)測將有更高的權(quán)重。

另一方面，長方形膠囊對房子膠囊的輸出作出了相當(dāng)糟糕的預(yù)測，所以這種情況下的點(diǎn)積將相當(dāng)小，這個(gè)預(yù)測向量的原始路由權(quán)重不會增長太多。

接下來，我們再次更新路由權(quán)值計(jì)算的原始權(quán)重的softmax函數(shù)。

正如你所看到的，矩形膠囊對船膠囊的預(yù)測矢量從初始的0.5更新到現(xiàn)在的0.8，而對房子膠囊的預(yù)測矢量下降到0.2。所以它的大部分輸出現(xiàn)在去了船膠囊，而不是房子膠囊。

我們重復(fù)以上的操作再次計(jì)算下一層膠囊預(yù)測的輸出向量的加權(quán)和，也就是對下一層是房子膠囊和船膠囊的預(yù)測。此時(shí)，房子膠囊得到很少的輸入，它的輸出是一個(gè)很小的向量。?

另一方面船膠囊得到很多輸入，它的輸出向量遠(yuǎn)遠(yuǎn)長于1，所以我們又把它壓扁（歸一化）了。

至此第二輪就結(jié)束了，正如你所看到的，在幾次迭代中，我們已經(jīng)可以排除房屋并且清楚地挑選出船。也許一兩個(gè)回合之后，我們可以停下來，繼續(xù)以同樣的方式進(jìn)入下一個(gè)膠囊層。

正如我前面提到的，通過協(xié)議來處理擁擠重疊的場景是非常有用的，如圖中所示的場景。

該圖像的一種解釋是（可以看到圖像中有一點(diǎn)模糊），你可以在中間看到一個(gè)倒掛的房子 。

在這種情況下，就沒法解釋底部矩形或頂部三角形，也沒有辦法解釋它們到底屬于哪個(gè)位置。

解釋圖像的較好方法是，在頂部有一個(gè)房子，底部有一艘船。并通過協(xié)議的路由傾向于選擇這個(gè)解決方案，因?yàn)樗顾械哪z囊都狀態(tài)較佳，每一個(gè)都對下一層的膠囊進(jìn)行完美的預(yù)測。這樣就可以消除歧義了。

Okay，既然你知道膠囊網(wǎng)絡(luò)是如何工作的，那么你可以用一個(gè)膠囊網(wǎng)絡(luò)做什么？

首先，你可以創(chuàng)建一個(gè)好的圖像分類器。只需要在最頂層為每一個(gè)類分配一個(gè)膠囊，這幾乎就是這個(gè)網(wǎng)絡(luò)的全部內(nèi)容了。

你只需要再添加一個(gè)用來計(jì)算頂層激活向量長度的層，這一層灰給出了每一類的估計(jì)概率。然后和常規(guī)的分類神經(jīng)網(wǎng)絡(luò)一樣，你可以通過最小化交叉熵?fù)p失來訓(xùn)練網(wǎng)絡(luò)，這樣你就可以完成了一個(gè)圖像分類器。

然而，在論文中，他們使用了一個(gè)邊緣（margin）損失，使得對圖像進(jìn)行多分類成為可能。?

因此，簡單來說，這個(gè)邊緣損失就是下面這樣的：如果圖像中存在出現(xiàn)了第k類的對象，那么相應(yīng)這個(gè)類的頂層膠囊應(yīng)該輸出一個(gè)長度至少為0.9的向量。這樣才足夠長到確信是這一類。

?

相反，如果圖像中沒有第k類的對象，則該膠囊將輸出一個(gè)短向量，該向量的平方長度小于0.1。因此，總損失是所有類損失的總和。

在論文中，他們還在膠囊網(wǎng)絡(luò)頂端添加了一個(gè)解碼器網(wǎng)絡(luò)。它只有3個(gè)全連接層，并且在輸出層中有一個(gè)sigmoid激活函數(shù)。它通過最小化重建圖像和輸入圖像之間的平方差，來重構(gòu)輸入圖像。

全部損失是我們先前討論的邊緣損失，加上重建損失（為確保邊緣損失占主導(dǎo)地位，應(yīng)大幅度減少重建損失）。應(yīng)用這種重建損失的好處是，它迫使網(wǎng)絡(luò)保存重建圖像所需的所有信息，直至膠囊網(wǎng)絡(luò)的頂層及其輸出層。這種約束的行為有點(diǎn)像正則化：它減少了過度擬合的風(fēng)險(xiǎn)，有助于模型泛化到新的實(shí)例。

就這樣，你知道一個(gè)膠囊網(wǎng)絡(luò)是如何工作的，以及如何去訓(xùn)練它。接下來，讓我們看看論文中展示的一些有趣的結(jié)果。

這是文中的圖1，展示了對于MNIST數(shù)據(jù)集的完全膠囊網(wǎng)絡(luò)。你可以看到前兩個(gè)正則卷積層，其輸出被重新構(gòu)建和壓縮，以獲得主膠囊的激活向量。這些初級膠囊按照6 6的網(wǎng)格進(jìn)行組織，在這個(gè)網(wǎng)格中每一個(gè)cell有32個(gè)初級膠囊，每個(gè)膠囊的主要輸出8維向量。

因此，第一層膠囊全連接成10個(gè)輸出膠囊，輸出16維向量。這些向量的長度用來計(jì)算邊緣損失。

這是論文中的圖2，展示了膠囊網(wǎng)絡(luò)頂層的解碼器。它是由兩個(gè)全連接的ReLU層加上一個(gè)全連接的sigmoid層組成，該解碼器輸出784個(gè)數(shù)字，對應(yīng)重構(gòu)圖像的像素個(gè)數(shù)（圖像是28x28=784像素）。

重建圖像與輸入圖像的平方差是重建損失。

這是論文中的圖4。膠囊網(wǎng)絡(luò)的一個(gè)優(yōu)點(diǎn)是激活向量通常是可解釋的。例如，該圖展示了當(dāng)逐漸修改頂層膠囊輸出的16個(gè)維度中的一個(gè)時(shí)，所得到的重建圖像。你可以看到第一個(gè)維度似乎代表尺度和厚度，第四個(gè)維度表示局部傾斜，第五個(gè)維度表示數(shù)字的寬度加上輕微的平移得到確切的位置。

因此，可以很清楚大部分參數(shù)分別是表示什么的。

最后，讓我們總結(jié)一下膠囊網(wǎng)絡(luò)的利弊。膠囊網(wǎng)絡(luò)已經(jīng)達(dá)到對MNIST數(shù)據(jù)集的較佳精度。在CIFAR10數(shù)據(jù)集上的表現(xiàn)還可以繼續(xù)提升，也是很值得期待的。膠囊網(wǎng)絡(luò)需要較少的訓(xùn)練數(shù)據(jù)。它提供等變映射，這意味著位置和姿態(tài)信息得以保存。這在圖像分割和目標(biāo)檢測領(lǐng)域是非常有前景的。

路由協(xié)議算法對于處理擁擠的場景具有很好的效果。路由樹還映射目標(biāo)的部分的層次結(jié)構(gòu)，因此每個(gè)部分都分配給一個(gè)整體。它對旋轉(zhuǎn)、平移和其他仿射變換有很強(qiáng)的健壯性。激活向可解釋性也比較好。最后，這是Hinton大神的idea，前瞻性是毋庸置疑的。

然而，該網(wǎng)絡(luò)有一些缺點(diǎn)：首先，如前面所提到在CIFAR10數(shù)據(jù)集上的準(zhǔn)確性還不高。另外，現(xiàn)在還不清楚膠囊網(wǎng)絡(luò)是否可以建模規(guī)模較大的圖像，如ImageNet數(shù)據(jù)集，準(zhǔn)確度是多少？膠囊網(wǎng)絡(luò)也很慢，在很大程度上是因?yàn)榫哂袃?nèi)部循環(huán)的路由協(xié)議算法。

最后，在給定的位置上只有一個(gè)給定類型的膠囊，因此如果一個(gè)膠囊網(wǎng)絡(luò)彼此之間太接近，就不可能檢測到同一類型的兩個(gè)對象。這被稱為膠囊擁擠，而且在人類的視覺中也能觀察到。

我強(qiáng)烈建議你看一看膠囊網(wǎng)絡(luò)實(shí)現(xiàn)代碼，如這里列出的（鏈接將在下面的視頻中描述）。花點(diǎn)時(shí)間，你應(yīng)該可以理解代碼的所有內(nèi)容。

?

實(shí)施膠囊網(wǎng)絡(luò)的主要困難是，它包含了路由協(xié)議算法形成的內(nèi)回路。在Keras的代碼實(shí)現(xiàn)和tensorflow實(shí)現(xiàn)可以比PyTorch麻煩一點(diǎn)，不過也是可以做到的。如果你沒有特別的語言偏好，那么pytorch代碼是最容易理解的。

NIPS 2017 Paper:

* Dynamic Routing Between Capsules,

* by Sara Sabour, Nicholas Frosst, Geoffrey E. Hinton

* https://arxiv.org/abs/1710.09829

?

The 2011 paper: * Transforming Autoencoders

* by Geoffrey E. Hinton, Alex Krizhevsky and Sida D.Wang

* https://goo.gl/ARSWM6

CapsNet implementations:

* Keras w/ TensorFlow backend: https://github.com/XifengGuo/CapsNet-keras.

* TensorFlow: https://github.com/naturomics/CapsNet-Tensorflow

* PyTorch: https://github.com/gram-ai/capsule-networks

這就是我本節(jié)課講的所有內(nèi)容，希望你喜歡這個(gè)視頻。如果你喜歡，請關(guān)注、分享、評論、訂閱、blablabla。這是我的第一個(gè)真正的YouTube視頻，如果你發(fā)現(xiàn)它有用，我可能會做更多。

如果你想了解更多關(guān)于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和深入的學(xué)習(xí)，你可能想讀機(jī)器學(xué)習(xí)與我自己實(shí)現(xiàn)的scikit學(xué)習(xí)TensorFlow O"Reilly的書。它涵蓋了非常多的話題，有很多的實(shí)例代碼，你可以在我的GitHub賬戶中找到，在這里留下視頻鏈接。今天就到這里，下次再見！

論文信息：Dynamic Routing Between Capsules

?

論文地址：https://arxiv.org/pdf/1710.09829.pdf

摘要：Capsule 是一組神經(jīng)元，其活動向量（activity vector）表示特定實(shí)體類型的實(shí)例化參數(shù)，如對象或?qū)ο蟛糠?。我們使用活動向量的長度表征實(shí)體存在的概率，向量方向表示實(shí)例化參數(shù)。同一水平的活躍 capsule 通過變換矩陣對更高級別的 capsule 的實(shí)例化參數(shù)進(jìn)行預(yù)測。當(dāng)多個(gè)預(yù)測相同時(shí)，更高級別的 capsule 變得活躍。我們展示了判別式訓(xùn)練的多層 capsule 系統(tǒng)在 MNIST 數(shù)據(jù)集上達(dá)到了較好的性能效果，比識別高度重疊數(shù)字的卷積網(wǎng)絡(luò)的性能優(yōu)越很多。為了達(dá)到這些結(jié)果，我們使用迭代的路由協(xié)議機(jī)制：較低級別的 capsule 偏向于將輸出發(fā)送至高級別的 capsule，有了來自低級別 capsule 的預(yù)測，高級別 capsule 的活動向量具備較大的標(biāo)量積。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識

QQ群：81035754