摘要：本論文將嘗試概述卷積網(wǎng)絡(luò)的架構(gòu)，并解釋包含激活函數(shù)損失函數(shù)前向傳播和反向傳播的數(shù)學(xué)推導(dǎo)。本文試圖只考慮帶有梯度下降優(yōu)化的典型卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的制定。

近日南洋理工大學(xué)研究者發(fā)布了一篇描述卷積網(wǎng)絡(luò)數(shù)學(xué)原理的論文，該論文從數(shù)學(xué)的角度闡述整個(gè)卷積網(wǎng)絡(luò)的運(yùn)算與傳播過(guò)程。該論文對(duì)理解卷積網(wǎng)絡(luò)的數(shù)學(xué)本質(zhì)非常有幫助，有助于讀者「徒手」（不使用卷積API）實(shí)現(xiàn)卷積網(wǎng)絡(luò)。

論文地址：https://arxiv.org/pdf/1711.03278.pdf

在該論文中，我們將從卷積架構(gòu)、組成模塊和傳播過(guò)程等方面了解卷積網(wǎng)絡(luò)的數(shù)學(xué)本質(zhì)。讀者可能對(duì)卷積網(wǎng)絡(luò)具體的運(yùn)算過(guò)程比較了解，入門(mén)讀者也可先查看 Capsule 論文解讀的第一部分了解詳細(xì)的卷積過(guò)程，但其實(shí)我們一般并不會(huì)關(guān)注于卷積網(wǎng)絡(luò)到底在數(shù)學(xué)上是如何實(shí)現(xiàn)的。因?yàn)楦鞔笊疃葘W(xué)習(xí)框架都提供了簡(jiǎn)潔的卷積層API，所以我們不需要數(shù)學(xué)表達(dá)式也能構(gòu)建各種各樣的卷積層，我們最多只需要關(guān)注卷積運(yùn)算輸入與輸出的張量維度是多少就行。這樣雖然能完美地實(shí)現(xiàn)網(wǎng)絡(luò)，但我們對(duì)卷積網(wǎng)絡(luò)的數(shù)學(xué)本質(zhì)和過(guò)程仍然不是太清楚，這也就是本論文的目的。

下面我們將簡(jiǎn)要介紹該論文的主體內(nèi)容，并嘗試?yán)斫饩矸e網(wǎng)絡(luò)的數(shù)學(xué)過(guò)程。有基礎(chǔ)的讀者可以查閱原論文以實(shí)現(xiàn)更深的理解，此外我們也許能借助該論文的計(jì)算式在不使用層級(jí) API 的情況下實(shí)現(xiàn)簡(jiǎn)單的卷積網(wǎng)絡(luò)。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）或稱(chēng)為 ConvNet 廣泛應(yīng)用于許多視覺(jué)圖像和語(yǔ)音識(shí)別等任務(wù)。在 2012 ImageNet 挑戰(zhàn)賽 krizhevsky 等人首次應(yīng)用深度卷積網(wǎng)絡(luò)后，深度卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)設(shè)計(jì)已經(jīng)吸引了許多研究者做出貢獻(xiàn)。這也對(duì)深度學(xué)習(xí)架構(gòu)的搭建產(chǎn)生了很重要的影響，如 TensorFlow、Caffe、Keras、MXNet 等。盡管深度學(xué)習(xí)的實(shí)現(xiàn)可以通過(guò)框架輕易地完成，但對(duì)于入門(mén)者和從業(yè)者來(lái)說(shuō)，數(shù)學(xué)理論和概念是非常難理解的部分。本論文將嘗試概述卷積網(wǎng)絡(luò)的架構(gòu)，并解釋包含激活函數(shù)、損失函數(shù)、前向傳播和反向傳播的數(shù)學(xué)推導(dǎo)。在本文中，我們使用灰度圖作為輸入信息圖像，ReLU 和 Sigmoid 激活函數(shù)構(gòu)建卷積網(wǎng)絡(luò)的非線(xiàn)性屬性，交叉熵?fù)p失函數(shù)用于計(jì)算預(yù)測(cè)值與真實(shí)值之間的距離。該卷積網(wǎng)絡(luò)架構(gòu)包含一個(gè)卷積層、池化層和多個(gè)全連接層。

2、架構(gòu)

圖 2.1：卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

2.1 卷積層

卷積層是一組平行的特征圖（feature map），它通過(guò)在輸入圖像上滑動(dòng)不同的卷積核并執(zhí)行一定的運(yùn)算而組成。此外，在每一個(gè)滑動(dòng)的位置上，卷積核與輸入圖像之間會(huì)執(zhí)行一個(gè)元素對(duì)應(yīng)乘積并求和的運(yùn)算以將感受野內(nèi)的信息投影到特征圖中的一個(gè)元素。這一滑動(dòng)的過(guò)程可稱(chēng)為步幅 Z_s，步幅 Z_s 是控制輸出特征圖尺寸的一個(gè)因素。卷積核的尺寸要比輸入圖像小得多，且重疊或平行地作用于輸入圖像中，一張?zhí)卣鲌D中的所有元素都是通過(guò)一個(gè)卷積核計(jì)算得出的，也即一張?zhí)卣鲌D共享了相同的權(quán)重和偏置項(xiàng)。

然而，使用較小尺寸的卷積核將導(dǎo)致不完美的覆蓋，并限制住學(xué)習(xí)算法的能力。因此我們一般使用 0 填充圖像的四周或 Z_p 過(guò)程來(lái)控制輸入圖像的大小。使用 0 填充圖像的四周 [10] 也將控制特征圖的尺寸。在算法的訓(xùn)練過(guò)程中，一組卷積核的維度一般是（k_1, k_2, c），這些卷積核將滑過(guò)固定尺寸的輸入圖像（H, W, C）。步長(zhǎng)和 Padding 是控制卷積層維度的重要手段，因此產(chǎn)生了疊加在一起形成卷積層的特征圖。卷積層（特征圖）的尺寸可以通過(guò)以下公式 2.1 計(jì)算。

其中 H_1、W_1 和 D_1 分別為一張?zhí)卣鲌D的高度、寬度和深度，Z_p 為 Padding 、Z_s 為步幅大小。

2.2 激活函數(shù)

激活函數(shù)定義了給定一組輸入后神經(jīng)元的輸出。我們將線(xiàn)性網(wǎng)絡(luò)輸入值的加權(quán)和傳遞至激活函數(shù)以用于非線(xiàn)性轉(zhuǎn)換。典型的激活函數(shù)基于條件概率，它將返回 1 或 0 作為輸出值，即 op {P(op = 1|ip) or P(op = 0|ip)}。當(dāng)網(wǎng)絡(luò)輸入信息 ip 超過(guò)閾值，激活函數(shù)返回到值 1，并傳遞信息至下一層；如果網(wǎng)絡(luò)輸入 ip 值低于閾值，它返回到值 0，且不傳遞信息?；谙嚓P(guān)信息和不相關(guān)信息的分離，激活函數(shù)決定是否應(yīng)該激活神經(jīng)元。網(wǎng)絡(luò)輸入值越高，激活越大。不同類(lèi)型的激活函數(shù)應(yīng)用各異，一些常用的激活函數(shù)如表 1 所示。

表1：非線(xiàn)性激活函數(shù)

2.3 池化層

池化層是指下采樣層，它把前層神經(jīng)元的一個(gè)集群的輸出與下層單個(gè)神經(jīng)元相結(jié)合。池化運(yùn)算在非線(xiàn)性激活之后執(zhí)行，其中池化層有助于減少參數(shù)的數(shù)量并避免過(guò)擬合，它同樣可作為一種平滑手段消除不想要的噪音。目前最常見(jiàn)的池化方法就是簡(jiǎn)單的較大池化，在一些情況下我們也使用平均池化和 L2 范數(shù)池化運(yùn)算。

當(dāng)采用卷積核的數(shù)量 D_n 和步幅大小 Z_s 用來(lái)執(zhí)行池化運(yùn)算，其維度可通過(guò)下式被計(jì)算：

2.4 全連接層

池化層之后，三維像素張量需要轉(zhuǎn)換為單個(gè)向量。這些向量化和級(jí)聯(lián)化的數(shù)據(jù)點(diǎn)隨后會(huì)被饋送進(jìn)用于分類(lèi)的全連接層。全連接層的函數(shù)即特征的加權(quán)和再加上偏置項(xiàng)并饋送到激活函數(shù)的結(jié)果。卷積網(wǎng)絡(luò)的架構(gòu)如圖 2 所示。這種局部連接類(lèi)的架構(gòu)在圖像分類(lèi)問(wèn)題上 [11] [12] 超越傳統(tǒng)的機(jī)器學(xué)習(xí)算法。

2.5 損失或成本函數(shù)

損失函數(shù)將一個(gè)或多個(gè)變量的事件映射到與某個(gè)成本相關(guān)的實(shí)數(shù)上。損失函數(shù)用于測(cè)量模型性能以及實(shí)際值 y_i 和預(yù)測(cè)值 y hat 之間的不一致性。模型性能隨著損失函數(shù)值的降低而增加。

如果所有可能輸出的輸出向量是 y_i = {0, 1} 和帶有一組輸入變量 x = (xi , x2 . . . xt) 的事件 x，那么 x 到 y_i 的映射如下：

其中 L(y_i hat , y_i) 是損失函數(shù)。很多類(lèi)型的損失函數(shù)應(yīng)用各不相同，下面給出了其中一些。

2.5.1 均方誤差

均方誤差或稱(chēng)平方損失函數(shù)多在線(xiàn)性回歸模型中用于評(píng)估性能。如果 y_i hat 是 t 個(gè)訓(xùn)練樣本的輸出值，y_i 是對(duì)應(yīng)的標(biāo)簽值，那么均方誤差（MSE）為：

MSE 不好的地方在于，當(dāng)它和 Sigmoid 激活函數(shù)一起出現(xiàn)時(shí)，可能會(huì)出現(xiàn)學(xué)習(xí)速度緩慢（收斂變慢）的情況。

這一部分描述的其它損失函數(shù)還有均方對(duì)數(shù)誤差（Mean Squared Logarithmic Error）、L_2 損失函數(shù)、L_1 損失函數(shù)、平均誤差（Mean Absolute Error）、平均百分比誤差（Mean Absolute Percentage Error）等。

2.5.7 交叉熵

為了最小化代價(jià)函數(shù)，

在 i 個(gè)訓(xùn)練樣本的情況下，代價(jià)函數(shù)為：

3、卷積網(wǎng)絡(luò)的學(xué)習(xí)

3.1 前饋推斷過(guò)程

卷積網(wǎng)絡(luò)的前饋傳播過(guò)程可以從數(shù)學(xué)上解釋為將輸入值與隨機(jī)初始化的權(quán)重相乘，然后每個(gè)神經(jīng)元再加上一個(gè)初始偏置項(xiàng)，最后對(duì)所有神經(jīng)元的所有乘積求和以饋送到激活函數(shù)中，激活函數(shù)對(duì)輸入值進(jìn)行非線(xiàn)性變換并輸出激活結(jié)果。

在離散的色彩空間中，圖像和卷積核可以分別表征為 (H, W, C) 和 (k_1, k_2, c) 的三維張量，其中 m、n、c 分別表示第 c 個(gè)圖像通道上第 m 行和第 n 列的像素。前兩個(gè)參數(shù)表示空間坐標(biāo)，而第三個(gè)參數(shù)表示色彩的通道。

如果一個(gè)卷積核在彩色圖像上滑動(dòng)運(yùn)算，那么多維張量的卷積運(yùn)算可以表示為：

卷積過(guò)程可以用符號(hào) ? 表示。對(duì)于灰度標(biāo)量圖來(lái)說(shuō)，卷積過(guò)程可以表示為，

圖 3.1：卷積神經(jīng)網(wǎng)絡(luò)

我們?cè)趫?zhí)行卷積后需要使用非線(xiàn)性激活函數(shù)而得到特征圖：

其中σ為 ReLU 激活函數(shù)。池化層 P_p,q|m,n 可以通過(guò)選取卷積層中較大值的 m,n 來(lái)完成構(gòu)建，池化層的構(gòu)建可以寫(xiě)為，

池化層 P^p,q 的輸出可以級(jí)聯(lián)轉(zhuǎn)化為一個(gè)長(zhǎng)度為 p*q 的向量，然后我們可以將該向量饋送到全連接網(wǎng)絡(luò)以進(jìn)行分類(lèi)，隨后 l-1 層向量化的數(shù)據(jù)點(diǎn)

可以通過(guò)以下方程計(jì)算：

長(zhǎng)向量從 l 層饋送到 L+1 層的全連接網(wǎng)絡(luò)。如果全連接層有 L 個(gè)、神經(jīng)元有 n 個(gè)，那么 l 可以表示第一個(gè)全連接層，L 表示最后一個(gè)全連接層，L+1 為圖 3.2 展示的分類(lèi)層，全連接層中的前向傳播過(guò)程可以表示為：

圖 3.2：全連接層中的前向傳播過(guò)程

如圖 3.3 所示，我們考慮全連接層 l 中的單個(gè)神經(jīng)元 (j)。輸入值 a_l-1,i 分別與權(quán)重 w_ij 求加權(quán)和并加上偏置項(xiàng) b_l,j。然后我們將最后層的輸入值 z_l,i 饋送到非線(xiàn)性激活函數(shù)σ。最后層的輸入值可通過(guò)以下方程計(jì)算，

其中 z_l,i 為 l 層中神經(jīng)元 j 的激活函數(shù)的輸入值。

因此，第 l 層的輸出為

圖 3.3：第 l 層中神經(jīng)元 j 的前向傳播過(guò)程

其中 a^l 是

W^l 是

同樣地，最后一層 L 的輸出值是

其中

將這些擴(kuò)展到分類(lèi)層，則神經(jīng)元單元 (i) 在 L + 1 層的最終輸出預(yù)測(cè)值 y_i hat 可以表示為：

如果預(yù)測(cè)值是 y_i hat，實(shí)際標(biāo)注值為 y_i，那么該模型的性能可以通過(guò)以下?lián)p失函數(shù)方程來(lái)計(jì)算。根據(jù) Eqn.2.14，交叉熵?fù)p失函數(shù)為：

以上就是正向傳播的簡(jiǎn)要數(shù)學(xué)過(guò)程，本論文還著重介紹了反向傳播的數(shù)學(xué)過(guò)程，不過(guò)限于篇幅我們并不在本文中展示，感興趣的讀者可以查閱原論文。

4、結(jié)語(yǔ)

本文通過(guò)概述對(duì)卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)作出了解釋?zhuān)渲邪ú煌募せ詈瘮?shù)和損失函數(shù)，同時(shí)詳細(xì)解釋了前饋與反向傳播的各個(gè)步驟。出于數(shù)學(xué)簡(jiǎn)明性的考慮，我們以灰度圖像作為輸入信息。卷積核步長(zhǎng)值取 1，使用 Padding。中間層和最后層的非線(xiàn)性轉(zhuǎn)換通過(guò) ReLU 和 sigmoid 激活函數(shù)完成。交叉熵?fù)p失函數(shù)用來(lái)測(cè)量模型的性能。但是，需要大量的優(yōu)化和正則化步驟以最小化損失函數(shù)，增加學(xué)習(xí)率，避免模型的過(guò)擬合。本文試圖只考慮帶有梯度下降優(yōu)化的典型卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的制定。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754