摘要：誕生于年，是最早的卷積神經(jīng)網(wǎng)絡(luò)之一，并且推動(dòng)了深度學(xué)習(xí)領(lǐng)域的發(fā)展。間隔從年到年神經(jīng)網(wǎng)絡(luò)處于孵化階段。與來自谷歌的開始追求減少深度神經(jīng)網(wǎng)絡(luò)的計(jì)算開銷，并設(shè)計(jì)出第一個(gè)架構(gòu)參見。

LeNet5

LeNet5 誕生于 1994 年，是最早的卷積神經(jīng)網(wǎng)絡(luò)之一，并且推動(dòng)了深度學(xué)習(xí)領(lǐng)域的發(fā)展。自從 1988 年開始，在許多次成功的迭代后，這項(xiàng)由 Yann LeCun 完成的開拓性成果被命名為 LeNet5（參見：Gradient-Based Learning Applied to Document Recognition）。

LeNet5 的架構(gòu)基于這樣的觀點(diǎn)：（尤其是）圖像的特征分布在整張圖像上，以及帶有可學(xué)習(xí)參數(shù)的卷積是一種用少量參數(shù)在多個(gè)位置上提取相似特征的有效方式。在那時(shí)候，沒有 GPU 幫助訓(xùn)練，甚至 CPU 的速度也很慢。因此，能夠保存參數(shù)以及計(jì)算過程是一個(gè)關(guān)鍵進(jìn)展。這和將每個(gè)像素用作一個(gè)大型多層神經(jīng)網(wǎng)絡(luò)的多帶帶輸入相反。LeNet5 闡述了那些像素不應(yīng)該被使用在第一層，因?yàn)閳D像具有很強(qiáng)的空間相關(guān)性，而使用圖像中獨(dú)立的像素作為不同的輸入特征則利用不到這些相關(guān)性。

LeNet5 特征能夠總結(jié)為如下幾點(diǎn)：

卷積神經(jīng)網(wǎng)絡(luò)使用 3 個(gè)層作為一個(gè)序列：卷積、池化、非線性 → 這可能是自從這篇 paper 起圖像深度學(xué)習(xí)的關(guān)鍵特征！

使用卷積提取空間特征

使用映射到空間均值下采樣（subsample）

雙曲正切（tanh）或 S 型（sigmoid）形式的非線性

多層神經(jīng)網(wǎng)絡(luò)（MLP）作為最后的分類器

層與層之間的稀疏連接矩陣避免大的計(jì)算成本

總體來看，這個(gè)網(wǎng)絡(luò)是最近大量架構(gòu)的起點(diǎn)，并且也給這個(gè)領(lǐng)域的許多帶來了靈感。

間隔

從 1998 年到 2010 年神經(jīng)網(wǎng)絡(luò)處于孵化階段。大多數(shù)人沒有意識(shí)到它們不斷增長的力量，與此同時(shí)其他研究者則進(jìn)展緩慢。由于手機(jī)相機(jī)以及便宜的數(shù)字相機(jī)的出現(xiàn)，越來越多的數(shù)據(jù)可被利用。并且計(jì)算能力也在成長，CPU 變得更快，GPU 變成了多種用途的計(jì)算工具。這些趨勢(shì)使得神經(jīng)網(wǎng)絡(luò)有所進(jìn)展，雖然速度很慢。數(shù)據(jù)和計(jì)算能力使得神經(jīng)網(wǎng)絡(luò)能完成的任務(wù)越來越有趣。之后一切變得清晰起來......

Dan Ciresan Net

2010 年的時(shí)候，Dan Claudiu Ciresan 和 Jurgen Schmidhuber 發(fā)布了最早的 GPU 神經(jīng)網(wǎng)絡(luò)的一個(gè)實(shí)現(xiàn)。這個(gè)實(shí)現(xiàn)是在一塊 NVIDIA GTX 280 圖形處理器上運(yùn)行 9 層的神經(jīng)網(wǎng)絡(luò)，包含前向與反向傳播。

AlexNet

2012 年，Alex Krizhevsky 發(fā)表了 Alexet（參見：ImageNet Classification with Deep Convolutional Neural Networks），它是 LeNet 的一種更深更寬的版本，并以顯著優(yōu)勢(shì)贏得了困難的 ImageNet 競(jìng)賽。

AlexNet 將 LeNet 的思想擴(kuò)展到了更大的能學(xué)習(xí)到遠(yuǎn)遠(yuǎn)更復(fù)雜的對(duì)象與對(duì)象層次的神經(jīng)網(wǎng)絡(luò)上。這項(xiàng)工作的貢獻(xiàn)有：

使用修正的線性單元（ReLU）作為非線性

在訓(xùn)練的時(shí)候使用 Dropout 技術(shù)有選擇地忽視單個(gè)神經(jīng)元，以避免模型過擬合

覆蓋進(jìn)行較大池化，避免平均池化的平均化效果

使用 GPU NVIDIA GTX 580 減少訓(xùn)練時(shí)間

在那時(shí)，GPU 相比 CPU 可以提供更多數(shù)量的核，訓(xùn)練時(shí)間可以提升 10 倍，這又反過來允許使用更大的數(shù)據(jù)集和更大的圖像。

AlexNet 的成功掀起了一場(chǎng)小革命。卷積神經(jīng)網(wǎng)絡(luò)現(xiàn)在是深度學(xué)習(xí)的骨干，它已經(jīng)變成了「現(xiàn)在能解決有用任務(wù)的大型神經(jīng)網(wǎng)絡(luò)」的代名詞。

Overfeat

2013 年的 12 月，紐約大學(xué)的 Yann LeCun 實(shí)驗(yàn)室提出了 AlexNet 的衍生——Overfeat（參見：OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks）。這篇文章也提出了學(xué)習(xí)邊界框（learning bounding box），并導(dǎo)致之后出現(xiàn)了很多研究這同一主題的論文。我相信學(xué)習(xí)分割對(duì)象比學(xué)習(xí)人工邊界框更好。

VGG

來自牛津大學(xué)的 VGG 網(wǎng)絡(luò)（參見：Very Deep Convolutional Networks for Large-Scale Image Recognition）是第一個(gè)在各個(gè)卷積層使用更小的 3×3 過濾器（filter），并把它們組合作為一個(gè)卷積序列進(jìn)行處理的網(wǎng)絡(luò)。

這看來和 LeNet 的原理相反，其中是大的卷積被用來獲取一張圖像中相似特征。和 AlexNet 的 9×9 或 11×11 過濾器不同，過濾器開始變得更小，離 LeNet 竭力所要避免的臭名昭著的 1×1 卷積異常接近——至少在該網(wǎng)絡(luò)的第一層是這樣。但是 VGG 巨大的進(jìn)展是通過依次采用多個(gè) 3×3 卷積，能夠模仿出更大的感受野（receptive field）的效果，例如 5×5 與 7×7。這些思想也被用在了最近更多的網(wǎng)絡(luò)架構(gòu)中，如 Inception 與 ResNet。

VGG 網(wǎng)絡(luò)使用多個(gè) 3×3 卷積層去表征復(fù)雜特征。注意 VGG-E 的第 3、4、5 塊（block）：256×256 和 512×512 個(gè) 3×3 過濾器被依次使用多次以提取更多復(fù)雜特征以及這些特征的組合。其效果就等于是一個(gè)帶有 3 個(gè)卷積層的大型的 512×512 大分類器。這顯然意味著有大量的參數(shù)與學(xué)習(xí)能力。但是這些網(wǎng)絡(luò)訓(xùn)練很困難，必須劃分到較小的網(wǎng)絡(luò)，并逐層累加。這是因?yàn)槿鄙購?qiáng)大的方式對(duì)模型進(jìn)行正則化，或者或多或少約束大量由于大量參數(shù)增長的搜索空間。

VGG 在許多層中都使用大特征尺寸，因?yàn)橥茢啵╥nference）在運(yùn)行時(shí)是相當(dāng)耗費(fèi)時(shí)間的。正如 Inception 的瓶頸（bottleneck）那樣，減少特征的數(shù)量將節(jié)省一些計(jì)算成本。

網(wǎng)絡(luò)中的網(wǎng)絡(luò)（Network-in-network）

網(wǎng)絡(luò)中的網(wǎng)絡(luò)（NiN，參見論文：Network In Network）的思路簡(jiǎn)單又偉大：使用 1×1 卷積為卷積層的特征提供更組合性的能力。

NiN 架構(gòu)在各個(gè)卷積之后使用空間 MLP 層，以便更好地在其他層之前組合特征。同樣，你可以認(rèn)為 1×1 卷積與 LeNet 最初的原理相悖，但事實(shí)上它們可以以一種更好的方式組合卷積特征，而這是不可能通過簡(jiǎn)單堆疊更多的卷積特征做到的。這和使用原始像素作為下一層輸入是有區(qū)別的。其中 1×1 卷積常常被用于在卷積之后的特征映射上對(duì)特征進(jìn)行空間組合，所以它們實(shí)際上可以使用非常少的參數(shù)，并在這些特征的所有像素上共享！

MLP 的能力能通過將卷積特征組合進(jìn)更復(fù)雜的組（group）來極大地增加單個(gè)卷積特征的有效性。這個(gè)想法之后被用到一些最近的架構(gòu)中，例如 ResNet、Inception 及其衍生技術(shù)。

NiN 也使用了平均池化層作為最后分類器的一部分，這是另一種將會(huì)變得常見的實(shí)踐。這是通過在分類之前對(duì)網(wǎng)絡(luò)對(duì)多個(gè)輸入圖像的響應(yīng)進(jìn)行平均完成的。

GoogLeNet 與 Inception

來自谷歌的 Christian Szegedy 開始追求減少深度神經(jīng)網(wǎng)絡(luò)的計(jì)算開銷，并設(shè)計(jì)出 GoogLeNet——第一個(gè) Inception 架構(gòu)（參見：Going Deeper with Convolutions）。

那是在 2014 年秋季，深度學(xué)習(xí)模型正在變得在圖像與視頻幀的分類中非常有用。大多數(shù)懷疑者已經(jīng)不再懷疑深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)這一次是真的回來了，而且將一直發(fā)展下去。鑒于這些技術(shù)的用處，谷歌這樣的互聯(lián)網(wǎng)巨頭非常有興趣在他們的服務(wù)器上高效且大規(guī)模龐大地部署這些架構(gòu)。

Christian 考慮了很多關(guān)于在深度神經(jīng)網(wǎng)絡(luò)達(dá)到較高水平的性能（例如在 ImageNet 上）的同時(shí)減少其計(jì)算開銷的方式?；蛘咴谀軌虮ＷC同樣的計(jì)算開銷的前提下對(duì)性能有所改進(jìn)。

他和他的團(tuán)隊(duì)提出了 Inception 模塊：

初看之下這不過基本上是 1×1、3×3、5×5 卷積過濾器的并行組合。但是 Inception 的偉大思路是用 1×1 的卷積塊（NiN）在昂貴的并行模塊之前減少特征的數(shù)量。這一般被稱為「瓶頸（bottleneck）」。這部分內(nèi)容將在下面的「瓶頸層（bottleneck layer）」部分來解釋。

GoogLeNet 使用沒有 inception 模塊的主干作為初始層，之后是與 NiN 相似的一個(gè)平均池化層加 softmax 分類器。這個(gè)分類器比 AlexNet 與 VGG 的分類器的運(yùn)算數(shù)量少得多。這也促成一項(xiàng)非常有效的網(wǎng)絡(luò)設(shè)計(jì)，參見論文：An Analysis of Deep Neural Network Models for Practical Applications。

瓶頸層（Bottleneck layer）

受到 NiN 的啟發(fā)，Inception 的瓶頸層減少了每一層的特征的數(shù)量，并由此減少了運(yùn)算的數(shù)量；所以可以保持較低的推理時(shí)間。在將數(shù)據(jù)通入昂貴的卷積模塊之前，特征的數(shù)量會(huì)減少 4 倍。在計(jì)算成本上這是很大的節(jié)約，也是該架構(gòu)的成功之處。

讓我們具體驗(yàn)證一下?，F(xiàn)在你有 256 個(gè)特征輸入，256 個(gè)特征輸出，假定 Inception 層只能執(zhí)行 3×3 的卷積，也就是總共要完成 256×256×3×3 的卷積（將近 589,000 次乘積累加（MAC）運(yùn)算）。這可能超出了我們的計(jì)算預(yù)算，比如說，在谷歌服務(wù)器上要以 0.5 毫秒運(yùn)行該層。作為替代，我們決定減少需要進(jìn)行卷積運(yùn)算的特征的數(shù)量，也就是 64（即 256/4）個(gè)。在這種情況下，我們首先進(jìn)行 256 -> 64 1×1 的卷積，然后在所有 Inception 的分支上進(jìn)行 64 次卷積，接而再使用一個(gè)來自 64 -> 256 的特征的 1×1 卷積，現(xiàn)在運(yùn)算如下：

256×64 × 1×1 = 16,000s

64×64 × 3×3 = 36,000s

64×256 × 1×1 = 16,000s

相比于之前的 60 萬，現(xiàn)在共有 7 萬的計(jì)算量，幾乎少了近 10 倍。

而且，盡管我們做了更好的運(yùn)算，我們?cè)诖藢右矝]有損失其通用性（generality）。事實(shí)證明瓶頸層在 ImageNet 這樣的數(shù)據(jù)集上已經(jīng)表現(xiàn)出了頂尖水平，而且它也被用于接下來介紹的 ResNet 這樣的架構(gòu)中。

它之所以成功是因?yàn)檩斎胩卣魇窍嚓P(guān)聯(lián)的，因此可通過將它們與 1×1 卷積適當(dāng)結(jié)合來減少冗余。然后，在小數(shù)量的特征進(jìn)行卷積之后，它們能在下一層被再次擴(kuò)展成有意義的結(jié)合。

Inception V3（還有 V2）

Christian 和他的團(tuán)隊(duì)都是非常高產(chǎn)的研究人員。2015 年 2 月，Batch-normalized Inception 被引入作為 Inception V2（參見論文：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift）。Batch-normalization 在一層的輸出上計(jì)算所有特征映射的均值和標(biāo)準(zhǔn)差，并且使用這些值規(guī)范化它們的響應(yīng)。這相當(dāng)于數(shù)據(jù)「增白（whitening）」，因此使得所有神經(jīng)圖（neural maps）在同樣范圍有響應(yīng)，而且是零均值。在下一層不需要從輸入數(shù)據(jù)中學(xué)習(xí) offset 時(shí)，這有助于訓(xùn)練，還能重點(diǎn)關(guān)注如何較好的結(jié)合這些特征。

2015 年 12 月，該團(tuán)隊(duì)發(fā)布 Inception 模塊和類似架構(gòu)的一個(gè)新版本（參見論文：Rethinking the Inception Architecture for Computer Vision）。該論文更好地解釋了原始的 GoogLeNet 架構(gòu)，在設(shè)計(jì)選擇上給出了更多的細(xì)節(jié)。原始思路如下：

通過謹(jǐn)慎建筑網(wǎng)絡(luò)，平衡深度與寬度，從而較大化進(jìn)入網(wǎng)絡(luò)的信息流。在每次池化之前，增加特征映射。

當(dāng)深度增加時(shí)，網(wǎng)絡(luò)層的深度或者特征的數(shù)量也系統(tǒng)性的增加。

使用每一層深度增加在下一層之前增加特征的結(jié)合。

只使用 3×3 的卷積，可能的情況下給定的 5×5 和 7×7 過濾器能分成多個(gè) 3×3?？聪聢D

因此新的 Inception 成為了：

也可以通過將卷積平整進(jìn)更多復(fù)雜的模塊中而分拆過濾器：

在進(jìn)行 inception 計(jì)算的同時(shí)，Inception 模塊也能通過提供池化降低數(shù)據(jù)的大小。這基本類似于在運(yùn)行一個(gè)卷積的時(shí)候并行一個(gè)簡(jiǎn)單的池化層：

Inception 也使用一個(gè)池化層和 softmax 作為最后的分類器。

ResNet

2015 年 12 月又出現(xiàn)了新的變革，這和 Inception V3 出現(xiàn)的時(shí)間一樣。ResNet 有著簡(jiǎn)單的思路：供給兩個(gè)連續(xù)卷積層的輸出，并分流（bypassing）輸入進(jìn)入下一層（參見論文：Deep Residual Learning for Image Recognition）。

這和之前的一些舊思路類似。但 ResNet 中，它們分流兩個(gè)層并被應(yīng)用于更大的規(guī)模。在 2 層后分流是一個(gè)關(guān)鍵直覺，因?yàn)榉至饕粋€(gè)層并未給出更多的改進(jìn)。通過 2 層可能認(rèn)為是一個(gè)小型分類器，或者一個(gè) Network-In-Network。

這是第一次網(wǎng)絡(luò)層數(shù)超過一百，甚至還能訓(xùn)練出 1000 層的網(wǎng)絡(luò)。

有大量網(wǎng)絡(luò)層的 ResNet 開始使用類似于 Inception 瓶頸層的網(wǎng)絡(luò)層：

這種層通過首先是由帶有更小輸出（通常是輸入的 1/4）的 1×1 卷積較少特征的數(shù)量，然后使用一個(gè) 3×3 的層，再使用 1×1 的層處理更大量的特征。類似于 Inception 模塊，這樣做能保證計(jì)算量低，同時(shí)提供豐富的特征結(jié)合。

ResNet 在輸入上使用相對(duì)簡(jiǎn)單的初始層：一個(gè)帶有兩個(gè)池的 7×7 卷基層?？梢园堰@個(gè)與更復(fù)雜、更少直覺性的 Inception V3、V4 做下對(duì)比。

ResNet 也使用一個(gè)池化層加上 softmax 作為最后的分類器。

關(guān)于 ResNet 的其他洞見每天都有發(fā)生：

ResNet 可被認(rèn)為既是平行模塊又是連續(xù)模塊，把輸入輸出（inout）視為在許多模塊中并行，同時(shí)每個(gè)模塊的輸出又是連續(xù)連接的。

ResNet 也可被視為并行模塊或連續(xù)模塊的多種組合（參見論文：Residual Networks are Exponential Ensembles of Relatively Shallow Networks）。

已經(jīng)發(fā)現(xiàn) ResNet 通常在 20-30 層的網(wǎng)絡(luò)塊上以并行的方式運(yùn)行。而不是連續(xù)流過整個(gè)網(wǎng)絡(luò)長度。

當(dāng) ResNet 像 RNN 一樣把輸出反饋給輸入時(shí)，該網(wǎng)絡(luò)可被視為更好的生物上可信的皮質(zhì)模型（參見論文：Bridging the Gaps Between Residual Learning, Recurrent Neural Networks and Visual Cortex）。

Inception V4

這是 Christian 與其團(tuán)隊(duì)的另一個(gè) Inception 版本，該模塊類似于 Inception V3：

Inception V4 也結(jié)合了 Inception 模塊和 ResNet 模塊：

我認(rèn)為該架構(gòu)不太簡(jiǎn)潔，但也滿滿都是較少透明度的啟發(fā)法（heuristics）。很難理解里面的選擇，對(duì)作者們而言也難以解釋。

考慮到網(wǎng)絡(luò)的簡(jiǎn)潔性，可被輕易的理解并修正，那 ResNet 可能就更好了。

SqueezeNet?

SqueezeNet（參見論文：SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size）是最近才公布的，該架構(gòu)是對(duì) ResNet 與 Inception 里面概念的重新處理。一個(gè)更好的架構(gòu)設(shè)計(jì)網(wǎng)絡(luò)型號(hào)要小，而且參數(shù)還不需要復(fù)雜的壓縮算法。

ENet

我們的團(tuán)隊(duì)計(jì)劃結(jié)合近期公開的架構(gòu)的所有特征，做出一個(gè)非常高效、低重的網(wǎng)絡(luò)，使用較少的參數(shù)和計(jì)算就能達(dá)到頂尖結(jié)果。該網(wǎng)絡(luò)架構(gòu)被稱為 ENet，由 Adam Paszke 設(shè)計(jì)。我們已經(jīng)使用它進(jìn)行過單像素標(biāo)記和場(chǎng)景解析。

詳細(xì)了解 ENet 可參見論文 ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation。ENet 是一個(gè)編碼加解碼的網(wǎng)絡(luò)。編碼器是一個(gè)常規(guī)的 CNN 設(shè)計(jì)進(jìn)行分類。解碼器是一個(gè)增采樣（upsampling）網(wǎng)絡(luò)，將分類反向傳播給原始圖像進(jìn)行分割。這只使用了神經(jīng)網(wǎng)絡(luò)，沒有其他算法進(jìn)行圖像分割。

ENet 被設(shè)計(jì)為在開始時(shí)盡可能使用最小數(shù)量的資源。正是如此它有著如此小的腳本，編碼器和解碼器網(wǎng)絡(luò)共占有 0.7 MB，16 fp 精度。即使這么小的型號(hào)，ENet 在分割的準(zhǔn)確度上也類似于或者高于其他神經(jīng)網(wǎng)絡(luò)解決方案。

模塊分析

對(duì) CNN 模塊的分析，該論文（Systematic evaluation of CNN advances on the ImageNet）已經(jīng)做過了，里面的發(fā)現(xiàn)是非常有幫助的：

使用沒有 batchnorm 的 ELU 非線性或者有 batchnorm 的 ReLU。

使用一個(gè)學(xué)習(xí)到的 RGB 的彩色空間轉(zhuǎn)換。

使用線性學(xué)習(xí)率衰退策略。

使用平均和較大池化層的和。

使用大約 128 到 256 的 mini-batch 大小。如果這對(duì)你的 GPU 而言太大，將學(xué)習(xí)率按比例降到這個(gè)大小就行。

使用完全連接層作為卷積，并為做最后預(yù)測(cè)平均所有預(yù)測(cè)。

當(dāng)研究增加訓(xùn)練集大小的時(shí)候，檢測(cè)有一個(gè) plateau 是否沒有達(dá)到

數(shù)據(jù)的整潔要比數(shù)據(jù)大小更重要。

如果你不能增加輸入圖像的大小，在隨后的層上減少步幅（stride），這樣做有同樣的效果。

如果你的網(wǎng)絡(luò)有復(fù)雜和高度優(yōu)化的架構(gòu)，像是 GoogLeNet，那修改一定要謹(jǐn)慎。

其他值得關(guān)注的架構(gòu)

FractalNet（參見論文：FractalNet: Ultra-Deep Neural Networks without Residuals）使用遞歸架構(gòu)，它在 ImageNet 上沒有進(jìn)行測(cè)試。該架構(gòu)是 ResNet 的衍生或者更通用的 ResNet。

未來

我們相信制作神經(jīng)網(wǎng)絡(luò)架構(gòu)是深度學(xué)習(xí)領(lǐng)域發(fā)展的頭等大事。我們團(tuán)隊(duì)高度推薦仔細(xì)閱讀并理解文中提到的論文。

但有人可能會(huì)想為什么我們要投入如此多的時(shí)間制作架構(gòu)？為什么不是用數(shù)據(jù)告訴我們使用什么？如何結(jié)合模塊？這些問題很好，但仍在研究中，有一篇論文可以參考：Neural networks with differentiable structure。

要注意到，我們?cè)诒疚闹姓劦降拇蟛糠旨軜?gòu)都是關(guān)于計(jì)算機(jī)視覺的。類似神經(jīng)網(wǎng)絡(luò)架構(gòu)在其他領(lǐng)域內(nèi)也有開發(fā)，學(xué)習(xí)其他所有任務(wù)中的架構(gòu)變革也是非常有趣的。

如果你對(duì)神經(jīng)網(wǎng)絡(luò)架構(gòu)和計(jì)算性能的比較有興趣，可參見論文：An Analysis of Deep Neural Network Models for Practical Applications。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754