摘要：讓我們簡(jiǎn)要介紹一下不同類型的卷積以及它們的優(yōu)點(diǎn)。反卷積，一些別的文章中把這個(gè)操作稱為解卷積，但這是不恰當(dāng)?shù)?，因?yàn)檫@不是一個(gè)解卷積過(guò)程。反卷積有點(diǎn)類似，因?yàn)樗a(chǎn)生了假想的解卷積所能達(dá)到的相同的空間分辨率。反卷積執(zhí)行卷積，但恢復(fù)其空間變換。

讓我們簡(jiǎn)要介紹一下不同類型的卷積以及它們的優(yōu)點(diǎn)。為了簡(jiǎn)單起見，我們只關(guān)注二維卷積。

卷積首先我們需要定義一些卷積層的參數(shù)。

卷積核大小（Kernel Size）：卷積核定義了卷積的大小范圍，二維卷積核最常見的就是 3*3 的卷積核。

步長(zhǎng)（Stride）：步長(zhǎng)定義了當(dāng)卷積核在圖像上面進(jìn)行卷積操作的時(shí)候，每次卷積跨越的長(zhǎng)度。在默認(rèn)情況下，步長(zhǎng)通常為 1，但我們也可以采用步長(zhǎng)是 2 的下采樣過(guò)程，類似于 MaxPooling 操作。

填充（Padding）：填充定義了如何處理樣本的邊界。（半）填充卷積將保持輸入空間和輸出空間相等，如果卷積核的維度大于 1，那么如果不進(jìn)行填充，最后輸出圖的尺寸會(huì)比輸入圖的小。

輸入和輸出管道（Input & Output Channels）：卷積層采用一定數(shù)量的輸入通道（I），并且設(shè)計(jì)特定數(shù)量的輸出通道（O）。每一層所需的參數(shù)可以通過(guò) I*O*K 來(lái)進(jìn)行計(jì)算，其中 K 等于卷積核的數(shù)量。

擴(kuò)張卷積（空洞卷積，Dilated Convolution，atrous convolutions）

擴(kuò)張卷積是在卷積層中加入了另一個(gè)參數(shù) —— 擴(kuò)張率。這定義了卷積核中值與值之間的間距。擴(kuò)張率為 2 的 33 的卷積核與 55 的卷積核具有相同的事業(yè)，而僅使用了 9 個(gè)參數(shù)。你可以想象一下，使用 5*5 的卷積核并且刪除第二行，第四行，第二列和第四列的數(shù)據(jù)，那么就是我們所介紹的卷積核了。

這以相同的計(jì)算成本，但是提供了更廣泛的視野。擴(kuò)張卷積在實(shí)時(shí)分割領(lǐng)域是特別受歡迎的。如果你需要更大的視野，但是無(wú)法承受多個(gè)卷積核所帶來(lái)的計(jì)算成本，那么你可以考慮使用這個(gè)。

反卷積（Transposed Convolutions，deconvolutions or fractionally strided convolutions）

一些別的文章中把這個(gè)操作稱為解卷積（deconvolution），但這是不恰當(dāng)?shù)?，因?yàn)檫@不是一個(gè)解卷積過(guò)程。更糟糕的是，解卷積過(guò)程卻是真的。但是他們?cè)谏疃葘W(xué)習(xí)領(lǐng)域并不常見。實(shí)際的解卷積將恢復(fù)卷積過(guò)程。想象一下，將圖像輸入到單個(gè)卷積圖中。現(xiàn)在把輸出結(jié)果拿出來(lái)，然后把它丟入一個(gè)黑盒子中，然后再次出來(lái)的圖像就是原始圖。這個(gè)黑盒子就是一個(gè)解卷積過(guò)程。這是卷積層所做的數(shù)學(xué)逆運(yùn)算。

反卷積有點(diǎn)類似，因?yàn)樗a(chǎn)生了假想的解卷積所能達(dá)到的相同的空間分辨率。但是，對(duì)這些值執(zhí)行的實(shí)際數(shù)學(xué)運(yùn)算是不同的。反卷積執(zhí)行卷積，但恢復(fù)其空間變換。

此時(shí)，你可能有點(diǎn)困惑，所以我們來(lái)看一個(gè)具體的例子。我們把 55 的圖像進(jìn)行卷積，所采用的卷積核是 33，步長(zhǎng)是 2，無(wú)填充。那么，最后我們將得到的結(jié)果是一個(gè) 2*2 的圖像。

如果，我們想要逆轉(zhuǎn)這個(gè)過(guò)程，我們需要反向進(jìn)行數(shù)學(xué)運(yùn)算，以便從我們輸入的每個(gè)像素生成 9 個(gè)像素值。之后，我們用 2 的步長(zhǎng)遍歷這個(gè)輸出圖像。這就是一個(gè)解卷積過(guò)程。

反卷積不會(huì)這樣做。共同的是它最后得到的是一個(gè) 5*5 的圖像。為了是吸納這個(gè)目的，我們需要再輸入上執(zhí)行一些奇怪的填充。

正如你現(xiàn)在想象的那樣，這一步不會(huì)實(shí)現(xiàn)上面我們說(shuō)的解卷積過(guò)程，至少不會(huì)涉及到數(shù)學(xué)計(jì)算。

它只是重建從前的空間并執(zhí)行卷積，這可能不是數(shù)學(xué)上的逆轉(zhuǎn)，但對(duì)于編碼器 - 解碼器架構(gòu)，它仍然非常有用的。通過(guò)這種方式，我們可以將圖像的放大和卷積相結(jié)合，而不是執(zhí)行兩個(gè)多帶帶的過(guò)程。

可分離卷積（Separable Convolutions）

在一個(gè)可分離的卷積中，我們可以將卷積核分成多個(gè)步驟。我們將卷積表示為 y = conv(x, k) ，其中 y 是輸出圖像，x 是輸入圖像，k 是卷積核。簡(jiǎn)單的說(shuō)，接下來(lái)，我們假設(shè) k 可以通過(guò)這樣來(lái)進(jìn)行計(jì)算：k = k1.dot(k2)。這將使它成為了一個(gè)可以分離的卷積操作，因?yàn)椴皇怯?k 進(jìn)行的二維卷積，而是通過(guò)用 k1 和 k2 進(jìn)行 2 次卷積得到相同的結(jié)果。

以 Sobel 內(nèi)核為例，這在圖像處理中經(jīng)常使用。你可以通過(guò)乘以矢量 [1, 0, -1] 和 [1, 2, 1].T 得到相同的內(nèi)核。在做同樣的操作時(shí)，這將需要 6 個(gè)而不是 9 個(gè)參數(shù)。這個(gè)例子展示了我所知道的一種控件可分離卷積，它不用于深度學(xué)習(xí)。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754