摘要：近幾年，深度學習高速發(fā)展，出現(xiàn)了大量的新模型與架構(gòu)，以至于我們無法理清網(wǎng)絡(luò)類型之間的關(guān)系。是由深度學習先驅(qū)等人提出的新一代神經(jīng)網(wǎng)絡(luò)形式，旨在修正反向傳播機制。當多個預(yù)測一致時本論文使用動態(tài)路由使預(yù)測一致，更高級別的將變得活躍。

近幾年，深度學習高速發(fā)展，出現(xiàn)了大量的新模型與架構(gòu)，以至于我們無法理清網(wǎng)絡(luò)類型之間的關(guān)系。在這篇文章中，香港科技大學（HKUST）助理教授金成勳總結(jié)了深度網(wǎng)絡(luò)類型之間的譜系圖，以便于我們索引不同類型網(wǎng)絡(luò)的杰出研究成果。

金成勳在 GitHub 上梳理出的譜系圖如下（點擊圖片放大查看），最后的藍色字體部分是各分支內(nèi)的杰出研究成果（附所有論文鏈接）。機器之心在此基礎(chǔ)上對各個分支網(wǎng)絡(luò)做了介紹、補充，希望對讀者了解網(wǎng)絡(luò)體系間的關(guān)聯(lián)有所幫助。如有缺陷，歡迎大家留言補充。

Github 項目地址：https://github.com//hunkim/deep_architecture_genealogy

完整圖

記憶網(wǎng)絡(luò)

在記憶網(wǎng)絡(luò)分支中，hunkim 標注了三篇重要論文：《記憶網(wǎng)絡(luò)》、《端到端記憶網(wǎng)絡(luò)》、《DMN：動態(tài)記憶網(wǎng)絡(luò)》。神經(jīng)編程是記憶網(wǎng)絡(luò)的下一級分支，包含神經(jīng)圖靈機、混合計算等論文。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）

如下所示，CNN 除了包含執(zhí)行目標識別任務(wù)的 AlexNet 等深度卷積網(wǎng)絡(luò)，還包括很多優(yōu)秀的模型用于處理目標檢測、語義分割和超分辨率等任務(wù)。它們以不同的方式應(yīng)用卷積過程處理不同的任務(wù)，并在這些任務(wù)上產(chǎn)生了非常好的效果。從基本上來說，卷積相對于最初的全連接網(wǎng)絡(luò)有很多優(yōu)秀的屬性，例如它只和上一層神經(jīng)元產(chǎn)生部分的連接，同一個卷積核可以在輸入張量上重復(fù)使用，也就是說特征檢測器可以在輸入圖像上重復(fù)檢測是否有該局部特征。這是卷積網(wǎng)絡(luò)十分優(yōu)秀的屬性，它大大減少了兩層間參數(shù)的數(shù)量。

基于這些基礎(chǔ)的卷積特性，我們可以構(gòu)建不同的卷積模型處理不同的任務(wù)。以下是卷積網(wǎng)絡(luò)的主要模型與領(lǐng)域：

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）

循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network）是深度學習的重要組成部分，它可以讓神經(jīng)網(wǎng)絡(luò)處理諸如文本、音頻和視頻等序列數(shù)據(jù)。它們可用來做序列的高層語義理解、序列標記，甚至可以從一個片段生產(chǎn)新的序列。目前有很多人工智能應(yīng)用都依賴于循環(huán)深度神經(jīng)網(wǎng)絡(luò)，在谷歌（語音搜索）、百度（DeepSpeech）和亞馬遜的產(chǎn)品中都能看到 RNN 的身影。

基本的 RNN 結(jié)構(gòu)難以處理長序列，然而一種特殊的 RNN 變種即「長短時記憶（LSTM）」網(wǎng)絡(luò)可以很好地處理長序列問題。這種模型能力強大，在翻譯、語音識別和圖像描述等眾多任務(wù)中均取得里程碑式的效果。因而，循環(huán)神經(jīng)網(wǎng)絡(luò)在最近幾年得到了廣泛使用。

Capsule Net

Capsule 是由深度學習先驅(qū) Geoffrey Hinton 等人提出的新一代神經(jīng)網(wǎng)絡(luò)形式，旨在修正反向傳播機制。在 Dynamic Routing Between Capsules 論文中，Geoffrey Hinton 這樣介紹 Capsule：「Capsule 是一組神經(jīng)元，其輸入輸出向量表示特定實體類型的實例化參數(shù)（即特定物體、概念實體等出現(xiàn)的概率與某些屬性）。我們使用輸入輸出向量的長度表征實體存在的概率，向量的方向表示實例化參數(shù)（即實體的某些圖形屬性）。同一層級的 capsule 通過變換矩陣對更高級別的 capsule 的實例化參數(shù)進行預(yù)測。當多個預(yù)測一致時（本論文使用動態(tài)路由使預(yù)測一致），更高級別的 capsule 將變得活躍?！?/p>

Capsule 中神經(jīng)元的激活情況表示了圖像中存在的特定實體的各種性質(zhì)。這些性質(zhì)可以包含多種不同的參數(shù)，例如姿勢（位置、大小、方向）、變形、速度、反射率、色彩、紋理等。而輸入輸出向量的長度表示了某個實體出現(xiàn)的概率，所以它的值必須在 0 到 1 之間。

機器之心也詳細解讀了上周 Hinton 公開的論文，這篇論文的亮點在于 Capsule 層的輸入與輸出都是向量，構(gòu)建向量的過程可以認為是 PrimaryCaps 層利用 8 個標準的 Conv2D 操作產(chǎn)生一個長度為 8 個元素的向量，因此每一個 Capsule 單元就相當于 8 個卷積單元的組合。此外，在 Capsule 層中，Hinton 等人還使用了動態(tài)路由機制，這種更新耦合系數(shù)（coupling coef?cients）的方法并不需要使用反向傳播機制。

除了 Hinton 等人公布的 Capsule 論文以外，近日還有一篇 MATRIX CAPSULES WITH EM ROUTING 論文，該論文采用 EM Routing 修正原論文的 dynamic routing 從而實現(xiàn)更好的效果。

生成模型

人工智能研究的較大難題之一是無監(jiān)督學習（unsupervised learning），而面向無監(jiān)督學習的深度學習方法以學習表征（learning representation）問題為核心，不同的算法都會定義一個目標函數(shù)，該目標函數(shù)可以讓該學習器獲取到其數(shù)據(jù)表征的關(guān)鍵方面以及一個可以表征數(shù)據(jù)的新空間。深度生成模型可以通過生成全新的樣本來演示其對于數(shù)據(jù)的理解，盡管這些生成的樣本非常類似于那些訓練樣本。許多這樣的模型和之前的自編碼器的思想有關(guān)，其有一個編碼器函數(shù)將數(shù)據(jù)映射到表征，還有一個解碼器函數(shù)（或生成器）將該抽象的表征映射到原始數(shù)據(jù)空間。此外，生成模型很多也應(yīng)用到了 GAN 的思想，即通過判別器與生成器之間的對抗促使生成器生成非常真實的圖像。

在變分自編碼器中，我們需要通過樣本訓練一個編碼器和解碼器，在這過程中我們能得到中間的隱藏變量。若我們需要生成新的圖像，那么只需要在隱藏變量采樣并投入解碼器就能完成生成。而在生成對抗網(wǎng)絡(luò)中，我們會定義一個判別模型與生成模型。首先我們會將生成的樣本混合真實樣本投遞給判別模型以訓練其鑒別真假的能力，隨后再固定判別模型并訓練生成模型，以生成更真實的圖像。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754