摘要：卷積滿足交換操作，因此在一般的維空間輸入，自編碼可以被用來訓(xùn)練解碼編碼。事實(shí)上，解碼卷積的超參數(shù)是由編碼框架確定的由于卷積跨越每個(gè)特征圖，并且產(chǎn)生具有的維度，因此經(jīng)過濾波器之后產(chǎn)生相同的空間范圍。

作者：chen_h
微信號(hào) & QQ：862251340
微信公眾號(hào)：coderpai
簡(jiǎn)書地址：https://www.jianshu.com/p/ec4...

這篇教程是翻譯Paolo Galeone寫的卷積自編碼分析教程，作者已經(jīng)授權(quán)翻譯，這是原文。

卷積操作符會(huì)對(duì)輸入信號(hào)進(jìn)行濾波操作，以便提取其內(nèi)容的一部分。在傳統(tǒng)的方法中，自編碼沒有考慮到信號(hào)可以被看做是和其他信號(hào)的和。相反，卷積自編碼就是使用卷積操作來做信號(hào)的疊加之和。他們對(duì)一組簡(jiǎn)單的輸入信號(hào)進(jìn)行編碼，然后對(duì)這些信號(hào)再進(jìn)行重新建模。

在一般連續(xù)狀態(tài)，卷積被定義為兩個(gè)函數(shù)（信號(hào)）被反轉(zhuǎn)和移位之后的乘積的積分：

作為結(jié)果，卷積操作會(huì)產(chǎn)生一個(gè)新的函數(shù)（信號(hào)）。卷積滿足交換操作，因此：

在一般的 n 維空間輸入，自編碼可以被用來訓(xùn)練解碼（編碼）。實(shí)際上，自編碼通常用于對(duì)二維的，有限和離散輸入信號(hào)進(jìn)行特征提取，比如數(shù)字圖像。

在二維離散空間，卷積操作可以被定義如下：

因?yàn)閳D像的范圍有限，所以該公式可以變?yōu)椋?/p>

其中：

O(i, j) 表示輸出像素，位置是 (i, j)

2k+1 是表示矩形奇數(shù)卷積核的一條邊

F 表示卷積核

I 表示輸入圖像

對(duì)于圖1所示，單個(gè)卷積核操作在輸入圖像 I 的每個(gè)位置 (i, j) 進(jìn)行卷積操作。

從圖2可以很容易的看出，卷積操作的結(jié)果取決于卷積核的值。根據(jù)不同的卷積核設(shè)置，每個(gè)卷積核可以用于不同的圖像處理任務(wù)，比如去噪，模糊處理等等....

離散二維卷積操作有兩個(gè)附加參數(shù)：水平和垂直移動(dòng)步數(shù)。它們是在執(zhí)行單個(gè)卷積步驟之后，沿著圖像 I 的各個(gè)維度跳過的像素的數(shù)量。通常，水平和垂直移動(dòng)步數(shù)是相等的，它們被標(biāo)記為 S 。

對(duì)于一個(gè)正方形的圖像 Iw = Ih （這是為了簡(jiǎn)單描述，如果要擴(kuò)充到一般的矩陣圖像，非常方便），以步數(shù) 2k+1 ，進(jìn)行二維的離散卷積操作之后，我們可以得到如下的圖像 O ：

到目前為止，我們已經(jīng)利用了單個(gè)卷積核對(duì)圖像進(jìn)行灰度級(jí)（單通道）操作的情況。如果輸入圖像具有多個(gè)通道，即 D 個(gè)通道，那么卷積算子沿著每一個(gè)通道都要進(jìn)行操作。

一般規(guī)則下，一個(gè)卷積核的輸出通道數(shù)必須和輸入圖像的通道數(shù)一樣。所以可以概括為，離散二維的卷積是將信號(hào)進(jìn)行堆疊處理。

長(zhǎng)方體完全可以由三元組 (W, H, D) 來表示，其中：

W≥1 表示長(zhǎng)度

H≥1 表示高度

D≥1 表示深度

很明顯，一個(gè)灰度圖像可以看做是深度 D = 1 的長(zhǎng)方體，而RGB圖像可以看做是深度 D = 3 的長(zhǎng)方體。

一個(gè)卷積核也可以看做是一個(gè)具有深度 D 的卷積核。特別地，我們可以將圖像和濾波器視為單通道圖像/濾波器的集合（與順序無關(guān)）。

如果我們考慮圖像的深度，那么以前的卷積公式可以概括為：

在圖像上進(jìn)行卷積之后，得到的結(jié)果稱為激活圖（activation map）。激活圖是深度 D = 1 的長(zhǎng)方體。

可能聽起來很奇怪，在一個(gè)三維圖像上的卷積得到的結(jié)果是一個(gè)二維的結(jié)果。實(shí)際上，對(duì)于具有深度 D 的輸入信號(hào)，卷積核執(zhí)行精確的 D 個(gè)離散的二維卷積操作。所產(chǎn)生的D個(gè)二維的激活圖，之后將這D個(gè)激活圖進(jìn)行處理，從而得到一個(gè)二維的卷積結(jié)果。以這種方式，所得到的激活圖 O 的每個(gè)單位 (i, j) 包含的信息是提取該位置所有信息的結(jié)果。

直觀地來說，可以將該操作認(rèn)為是將輸入的RGB通道轉(zhuǎn)換成一個(gè)單通道進(jìn)行輸出。

卷積自編碼（CAE）從不同的角度來定義濾波器的任務(wù)：而不像平時(shí)我們遇到的那些工程上的卷積濾波器，它們的作用就是讓模型學(xué)習(xí)到最佳濾波器，從而使得重構(gòu)誤差最小。然后，這些訓(xùn)練好的濾波器就可以被使用到任何其他的計(jì)算機(jī)視覺任務(wù)。

目前利用卷積核進(jìn)行無監(jiān)督學(xué)習(xí)的最先進(jìn)工具就是卷積自編碼（CAE）。一旦這些卷積核被訓(xùn)練學(xué)習(xí)之后，它們將被應(yīng)用到任何的輸入數(shù)據(jù)去進(jìn)行特征提取。然后，這些特征就可以被用于任何的任務(wù)，例如分類問題。

CAE是卷積神經(jīng)網(wǎng)絡(luò)（CNN）的一種類型：CNN和CAE之間最主要的區(qū)別在于前者是進(jìn)行端到端的學(xué)習(xí)濾波器，并且將提取的特征進(jìn)行組合從而用來分類。事實(shí)上，CNN通常被稱為是一種監(jiān)督學(xué)習(xí)。相反，后者通常被用來訓(xùn)練從輸入數(shù)據(jù)中提取特征，從而重構(gòu)輸入數(shù)據(jù)。

由于它們的卷積性質(zhì)，不管輸入數(shù)據(jù)的維度是多大，CAE產(chǎn)生的激活圖的數(shù)量都是相同的。因此，CAE完全忽略了二維圖像本身的結(jié)構(gòu)，而是作為了一個(gè)通用特征提取器。事實(shí)上，在自編碼（AE）中，圖像必須被展開成單個(gè)向量，并且網(wǎng)絡(luò)對(duì)輸入向量的神經(jīng)元個(gè)數(shù)有一定的約束。換句話說，AE迫使每個(gè)特征是全局的（即，跨越整個(gè)視野），所以它的參數(shù)中是存在冗余的，而CAE不是。

很容易理解，單個(gè)卷積濾波器不能學(xué)會(huì)提取圖像的各種各樣的模式。為此，每個(gè)卷積層是由 n 個(gè)（超參數(shù)）卷積核組成的，每個(gè)卷積核的深度是 D ，其中 D 表示輸入數(shù)據(jù)的通道數(shù)。

因此，每個(gè)具有深度 D 的輸入數(shù)據(jù)

和一組 n 個(gè)卷積核

之間進(jìn)行的卷積操作，從而產(chǎn)生一組 n 個(gè)激活圖，或者等價(jià)的特征圖。當(dāng)然，最后產(chǎn)生的特征圖的通道數(shù)還是 n ，具體如下：

為了提高網(wǎng)絡(luò)的泛化能力，每個(gè)卷積都會(huì)被非線性函數(shù) a 激活，以這種方式訓(xùn)練，得到的網(wǎng)絡(luò)可以學(xué)習(xí)輸入數(shù)據(jù)的一些非線性特性：

其中，bm^(1) 表示第 m 個(gè)特征圖的偏差，引入術(shù)語 zm 是對(duì) AE 中保持相同的變量名稱。

所產(chǎn)生的激活圖是對(duì)輸入數(shù)據(jù) I 進(jìn)行的一個(gè)重新編碼，使其可以在低維空間表示。重構(gòu)好之后的數(shù)據(jù)維度并不是原來 O 的維度，但是參數(shù)的數(shù)量是從Om 中學(xué)習(xí)來的，換句話說，這些參數(shù)就是 CAE 需要學(xué)習(xí)的參數(shù)。

由于我們的目標(biāo)是從所產(chǎn)生的特征圖中對(duì)輸入數(shù)據(jù) I 進(jìn)行重構(gòu)。因此我們需要一個(gè)解碼操作。卷積自編碼是一個(gè)完全的卷積網(wǎng)絡(luò)，因此我們的解碼操作可以進(jìn)行再次卷積。

細(xì)心的讀者可能認(rèn)為卷積操作減少了輸出的空間范圍，因此不可能使用卷積來重建具有相同輸入空間范圍的信息。

這是完全正確的，但是我們可以使用輸入填充來解決這個(gè)問題。如果我們用零向輸入數(shù)據(jù) I 進(jìn)行填充，則經(jīng)過第一個(gè)卷積之后的結(jié)果具有比輸入數(shù)據(jù) I 大的空間范圍，經(jīng)過第二個(gè)卷積之后就可以產(chǎn)生具有和原始空間 I 相同的空間范圍了。

因此，我們想要輸入填充的零是這樣的：

從公式1可以看出，我們想要對(duì) I 填充 2(2k+1)-2 個(gè)零（每一個(gè)邊填充 (2k+1) -1 個(gè)），以這種方式，卷積編碼將產(chǎn)生數(shù)據(jù)的寬度和高度等于：

所產(chǎn)生的 n 個(gè)特征圖 zm = 1, ..., n 將被用作解碼器的輸入，以便從該壓縮的信息中重建輸入圖像 I 。

事實(shí)上，解碼卷積的超參數(shù)是由編碼框架確定的：

由于卷積跨越每個(gè)特征圖，并且產(chǎn)生具有 (2k+1, 2k+1, n) 的維度，因此經(jīng)過濾波器 F(2) 之后產(chǎn)生相同的空間范圍 I 。

需要學(xué)習(xí)的濾波器的數(shù)量：D個(gè)，因?yàn)槲倚枰貥?gòu)具有深度 D 的輸入圖像。

因此，重構(gòu)的圖像 I_ 是特征圖的維度 Z = {zi = 1}^n 和該卷積濾波器 F(2) 之間的進(jìn)行卷積的結(jié)果。

根據(jù)前面計(jì)算的零進(jìn)行填充，那么導(dǎo)致解碼卷積之后產(chǎn)生的維度是：

我們的目標(biāo)是使得輸入的維度等于輸出的維度，然后可以用任何的損失函數(shù)來進(jìn)行計(jì)算，例如 MSE：

下一篇，我們來講怎么利用 TensorFlow 來實(shí)現(xiàn)CAE。

作者：chen_h
微信號(hào) & QQ：862251340
簡(jiǎn)書地址：https://www.jianshu.com/p/ec4...

CoderPai 是一個(gè)專注于算法實(shí)戰(zhàn)的平臺(tái)，從基礎(chǔ)的算法到人工智能算法都有設(shè)計(jì)。如果你對(duì)算法實(shí)戰(zhàn)感興趣，請(qǐng)快快關(guān)注我們吧。加入AI實(shí)戰(zhàn)微信群，AI實(shí)戰(zhàn)QQ群，ACM算法微信群，ACM算法QQ群。長(zhǎng)按或者掃描如下二維碼，關(guān)注 “CoderPai” 微信號(hào)（coderpai）