資訊專欄INFORMATION COLUMN
摘要：首先，的概念與卷積的概念大部分是獨立的。但是，請注意，這個特征的較精確位置已經(jīng)被丟棄。結合和，這意味著我們的網(wǎng)絡使用的是不同于一般類型的非線性。之間的這就是網(wǎng)絡如此與眾不同的原因。與普通的層相比，層是完全不同的。
首先，capsule 的概念與卷積的概念大部分是獨立的。例如，你可以有一個完全連接的capsule網(wǎng)絡。但是，它們確實使用了卷積，而且也被與CNN進行比較。但是，我將在接下來解釋中抽象出卷積，因為這會分散我們的核心思想。
因為capsule網(wǎng)絡與傳統(tǒng)的神經(jīng)網(wǎng)絡相比是如此的不同，以至于很難理解它們之間的差異。在這里我將詳細介紹capsule網(wǎng)絡的細節(jié)，然后總結一下不同之處。
簡單描述capsule網(wǎng)絡
首先，我們可以看看capsule的動機（從Hinton的談話中摘出來的）。CNN的過濾器所做的就是檢測源圖像中是否存在特定的模式/特性。 我們通常希望并行地在源圖像的同一個patch上堆疊多個過濾器，這樣就可以在同一個patch檢測多個特征。
但是，請注意，由于堆疊的過濾器數(shù)量的線性因子，這個維度會增加很多。為了減少網(wǎng)絡的維度，同時允許使用更多的過濾器，我們可以應用max-pooling，這樣就可以得到一個神經(jīng)元，它在語義上的意思是“這個區(qū)域某處有一個特征X。”但是，請注意，這個特征的較精確位置已經(jīng)被丟棄。在許多層重復這個操作，我們實際上丟失了許多關于特征較精確位置的信息。
另一個稍微切向的動機是：如果一個人被展示一個鼻子，它就可以對眼睛、嘴、耳朵等部位的大約位置進行反向工程，從而預測整個臉部的位置和方向。如果我們看到一個鼻子，并預測了臉部的位置；但是假如看到一個嘴巴，基于它預測的臉部位置就會稍微不同，看起來會很奇怪。如果我們僅僅使用1/0來檢測特征(鼻子，嘴巴)的存在，我們可能會被引導去相信這兩者在正確位置的組合就可以預測出一張臉。但實際不是這樣，我們也需要知道它們的方向。
想法：在檢測特性的基礎上，我們可以輸出額外的2個值，對應該特性被檢測到的X和Y位置。但是方向呢？我們需要一種更通用的方式來封裝這些信息。一個更好的想法是：我們可以讓神經(jīng)網(wǎng)絡學習一種方法來表示這個位置/方向信息本身！這就是capsule網(wǎng)絡的由來。
差異
1）標量vs向量的輸入和輸出
神經(jīng)元從上一層接收一堆標量，并輸出一個標量。一個capsule是從上一層獲取一堆向量，并輸出一個向量。
如果你仔細閱讀了，你可能已經(jīng)注意到(1)實際上并沒有完全改變網(wǎng)絡。假設我被允許任意地將前一層的神經(jīng)元組合在一起，將來自當前層的神經(jīng)元組合在一起，將它們稱為向量，并沒有什么區(qū)別。這里，我們將輸入設為向量，對它應用一個矩陣（matrix），然后做一個加權和。這與簡單地將輸入激活作為一個巨大的向量，然后再應用一個更大的矩陣相比，沒有什么不同。
2）擠壓函數(shù)
引入擠壓函數(shù)（squash function）是真正的區(qū)別。但現(xiàn)在，仍然是一個任意非線性。你可以想象一個奇怪的網(wǎng)絡，它在兩個層之間變換，一個變換向量，另一個對這些向量做加權和（這實際上是另一個線性變換?。?，然后擠壓。結合(1)和(2)，這意味著我們的網(wǎng)絡使用的是不同于一般類型的非線性。
3）capsule之間的routing
這就是capsule網(wǎng)絡如此與眾不同的原因。與普通的層相比，capsule層是完全不同的。首先，我們轉換輸入向量來得到預測向量。然后我們將children capsule分配給parent capsule，它的總預測向量與它自己的預測向量有很大的一致，從而可以對預測向量進行加權和。然后把它拿出來，進行擠壓（squash）。
Reddit上的討論鏈接：https://www.reddit.com/r/MachineLearning/comments/7bz5x9/d_eli5_capsule_networks_how_are_they_unique_and/
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識
QQ群：81035754
文章版權歸作者所有，未經(jīng)允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉載請注明本文地址：http://systransis.cn/yun/4679.html
摘要：本文試圖揭開讓人迷惘的云霧，領悟背后的原理和魅力，品嘗這一頓盛宴。當然，激活函數(shù)本身很簡單，比如一個激活的全連接層，用寫起來就是可是，如果我想用的反函數(shù)來激活呢也就是說，你得給我解出，然后再用它來做激活函數(shù)。 由深度學習先驅 Hinton 開源的 Capsule 論文 Dynamic Routing Between Capsules，無疑是去年深度學習界最熱點的消息之一。得益于各種媒體的各種...
摘要：近幾年以卷積神經(jīng)網(wǎng)絡有什么問題為主題做了多場報道，提出了他的計劃。最初提出就成為了人工智能火熱的研究方向。展現(xiàn)了和玻爾茲曼分布間驚人的聯(lián)系其在論文中多次稱，其背后的內(nèi)涵引人遐想。 Hinton 以深度學習之父 和 神經(jīng)網(wǎng)絡先驅 聞名于世，其對深度學習及神經(jīng)網(wǎng)絡的諸多核心算法和結構（包括深度學習這個名稱本身，反向傳播算法，受限玻爾茲曼機，深度置信網(wǎng)絡，對比散度算法，ReLU激活單元，Dropo...
摘要：傳統(tǒng)神經(jīng)網(wǎng)絡的問題到目前為止，圖像分類問題上較先進的方法是。我們把卡戴珊姐姐旋轉出現(xiàn)這個問題的原因，用行話來說是旋轉的程度超出了較大池化所帶來的旋轉不變性的限度。 Capsule Networks，或者說CapsNet，這個名字你應該已經(jīng)聽過好幾次了。這是深度學習之父的Geoffrey Hinton近幾年一直在探索的領域，被視為突破性的新概念。最近，關于Capsule的論文終于公布了。一篇即...
摘要：在底層的膠囊之后連接了層和層。膠囊效果的討論在論文最后，作者們對膠囊的表現(xiàn)進行了討論。他們認為，由于膠囊具有分別處理不同屬性的能力，相比于可以提高對圖像變換的健壯性，在圖像分割中也會有出色的表現(xiàn)。 背景目前的神經(jīng)網(wǎng)絡中，每一層的神經(jīng)元都做的是類似的事情，比如一個卷積層內(nèi)的每個神經(jīng)元都做的是一樣的卷積操作。而Hinton堅信，不同的神經(jīng)元完全可以關注不同的實體或者屬性，比如在一開始就有不同的神...
摘要：近幾年，深度學習高速發(fā)展，出現(xiàn)了大量的新模型與架構，以至于我們無法理清網(wǎng)絡類型之間的關系。是由深度學習先驅等人提出的新一代神經(jīng)網(wǎng)絡形式，旨在修正反向傳播機制。當多個預測一致時本論文使用動態(tài)路由使預測一致，更高級別的將變得活躍。 近幾年，深度學習高速發(fā)展，出現(xiàn)了大量的新模型與架構，以至于我們無法理清網(wǎng)絡類型之間的關系。在這篇文章中，香港科技大學（HKUST）助理教授金成勳總結了深度網(wǎng)絡類型之間...
閱讀 3769·2021-11-24 10:46
閱讀 1732·2021-11-15 11:38
閱讀 3799·2021-11-15 11:37
閱讀 3551·2021-10-27 14:19
閱讀 2001·2021-09-03 10:36
閱讀 2028·2021-08-16 11:02
閱讀 3030·2019-08-30 15:55
閱讀 2288·2019-08-30 15:44
