摘要：但是由于神經(jīng)網(wǎng)絡(luò)的許多細(xì)節(jié)并未過分深入比如層數(shù)和每層神經(jīng)元數(shù)的設(shè)定，過擬合等，初建的網(wǎng)絡(luò)實(shí)際上和真實(shí)的網(wǎng)絡(luò)還是有一定差距的。和神經(jīng)網(wǎng)絡(luò)中其他層不同，輸出層的神經(jīng)元一般不會有激活函數(shù)，最后的輸出層大多用于表示分類評分值。

【DL-CV】激活函數(shù)及其選擇<前篇---后篇>【DL-CV】卷積神經(jīng)網(wǎng)絡(luò)

在介紹了線性分類器，激活函數(shù)，損失函數(shù)，反向傳播這些基礎(chǔ)的原理后，已經(jīng)可以嘗試自行搭建像樣的神經(jīng)網(wǎng)絡(luò)了。但是由于神經(jīng)網(wǎng)絡(luò)的許多細(xì)節(jié)并未過分深入（比如層數(shù)和每層神經(jīng)元數(shù)的設(shè)定，過擬合等），初建的網(wǎng)絡(luò)實(shí)際上和真實(shí)的網(wǎng)絡(luò)還是有一定差距的。本篇將對這些細(xì)節(jié)知識點(diǎn)進(jìn)行補(bǔ)充，以便更好地理解和使用神經(jīng)網(wǎng)絡(luò)。

經(jīng)典的神經(jīng)網(wǎng)絡(luò)由輸入層，隱藏層和輸出層組成；其中隱藏層可以多層，輸入輸出層只能各一層；通常輸入層和輸出層的神經(jīng)元（也可叫“單元”）個(gè)數(shù)是定的，隱藏層的神經(jīng)元個(gè)數(shù)由權(quán)重W的大小決定。

和神經(jīng)網(wǎng)絡(luò)中其他層不同，輸出層的神經(jīng)元一般不會有激活函數(shù)，最后的輸出層大多用于表示分類評分值。

這些層也叫全連接層（fully-connected layer），因?yàn)榍昂髢蓪拥纳窠?jīng)元是完全成對連接的，但是在同一層內(nèi)的神經(jīng)元之間沒有連接。

所謂神經(jīng)網(wǎng)絡(luò)的層數(shù)n不計(jì)輸入層。

輸出層的結(jié)果輸入到損失函數(shù)計(jì)算損失。

一個(gè)具體例子如下圖

左圖是一個(gè)2層神經(jīng)網(wǎng)絡(luò)，輸入層有3個(gè)神經(jīng)元，隱藏層由4個(gè)神經(jīng)元組成，輸出層由2個(gè)神經(jīng)元組成。右圖是一個(gè)3層神經(jīng)網(wǎng)絡(luò)，有兩個(gè)含4個(gè)神經(jīng)元的隱藏層，輸入層有3個(gè)神經(jīng)元，輸出層只有一個(gè)神經(jīng)元

網(wǎng)絡(luò)的尺寸：衡量神經(jīng)網(wǎng)絡(luò)的尺寸的標(biāo)準(zhǔn)有兩個(gè)——神經(jīng)元個(gè)數(shù)（不計(jì)輸入層），和參數(shù)個(gè)數(shù)。繼續(xù)以上圖為例
左圖網(wǎng)絡(luò)有6個(gè)神經(jīng)元，3*4 + 2*4 = 20個(gè)權(quán)重（也就是多少條線），和6個(gè)偏置值（數(shù)值上等于神經(jīng)元個(gè)數(shù)），共26個(gè)可學(xué)習(xí)參數(shù)。
右圖網(wǎng)絡(luò)有9個(gè)神經(jīng)元，3*4 + 4*4 + 4*1 = 32個(gè)權(quán)重，9個(gè)偏置值，共41個(gè)可學(xué)習(xí)參數(shù)

全連接層這種網(wǎng)狀結(jié)構(gòu)使得神經(jīng)網(wǎng)絡(luò)算法使用矩陣向量操作變得簡單和高效，輸入數(shù)據(jù)可用矩陣存儲，每層神經(jīng)元的激活值可以用矩陣存儲，每層所有的連接強(qiáng)度（權(quán)重W）也可以用矩陣儲存，實(shí)現(xiàn)正向傳播只需不斷重復(fù)矩陣乘法和激活函數(shù)即可

#一個(gè)三層神經(jīng)網(wǎng)絡(luò)的正向傳播
# 激活函數(shù)使用ReLU
def relu(x):
    x[x<0]=0
    
x = np.random.randn(100, 3072) # 假設(shè)輸入是100個(gè)樣本（32*32圖像）的數(shù)據(jù)，每行是該樣本的像素?cái)?shù)據(jù)32*32*3
h1 = relu(np.dot(x, W1) + b1) # 計(jì)算第一個(gè)隱藏層的激活數(shù)據(jù)（二維矩陣，每行對應(yīng)該樣本的激活數(shù)據(jù)）
h2 = relu(np.dot(h1, W2) + b2) # 計(jì)算第二個(gè)隱藏層的激活數(shù)據(jù)
out = np.dot(h2, W3) + b3 # 輸出（二維矩陣，每行對應(yīng)該樣本的輸出得分）
# 之后把輸出喂給損失函數(shù)即可

全連接層的神經(jīng)網(wǎng)絡(luò)相當(dāng)于一系列函數(shù)組成的大函數(shù)。那這個(gè)大函數(shù)的表達(dá)能力如何？
研究表明,選取了適當(dāng)?shù)姆蔷€性激活函數(shù)后，只要有一個(gè)隱藏層，神經(jīng)網(wǎng)絡(luò)就可以近似任何連續(xù)函數(shù)。這意味著理論上隱藏層的層數(shù)并不影響神經(jīng)網(wǎng)絡(luò)的表達(dá)能力（它們都是一樣的）。但在實(shí)踐中表現(xiàn)并不如此，多層網(wǎng)絡(luò)會比單層網(wǎng)絡(luò)好；而且層數(shù)也不是越多越好，通常3層神經(jīng)網(wǎng)絡(luò)會比2層神經(jīng)網(wǎng)絡(luò)好，但繼續(xù)增加層數(shù)只會增加計(jì)算量而性能變化不大。

要設(shè)多少個(gè)隱藏層，每個(gè)隱藏層的大小怎樣？探討這個(gè)問題，我們用一個(gè)比較實(shí)驗(yàn)引入。這是一個(gè)平面二分類問題，我們訓(xùn)練三個(gè)不同的神經(jīng)網(wǎng)絡(luò)來跑一下，每個(gè)神經(jīng)網(wǎng)絡(luò)都只有一個(gè)隱藏層，但每個(gè)隱藏層的神經(jīng)元數(shù)不一樣（分別3，6，20個(gè)）

上圖中點(diǎn)表示數(shù)據(jù)，顏色代表不同的類別。由圖可知，神經(jīng)元越多，決策邊界越復(fù)雜越分散（嘗試把所有數(shù)據(jù)都分好），這看起來是個(gè)優(yōu)勢，畢竟這樣可以分類更復(fù)雜的數(shù)據(jù)；但這也可能潛藏著一個(gè)致命的缺陷——對訓(xùn)練數(shù)據(jù)的過擬合（overfitting），即網(wǎng)絡(luò)對數(shù)據(jù)中的噪聲有很強(qiáng)的擬合力，導(dǎo)致訓(xùn)練集上表現(xiàn)得很好，但是在測試集中表現(xiàn)不理想；過擬合的出現(xiàn)使得網(wǎng)絡(luò)的泛化能力（generalization）降低。相反的，神經(jīng)元較少的網(wǎng)絡(luò)會用比較寬泛的方式去分類數(shù)據(jù)，它將數(shù)據(jù)看做是兩個(gè)大塊，并把個(gè)別在綠色區(qū)域內(nèi)的紅點(diǎn)看做噪聲，但這樣可以獲得更好的泛化能力。

通過實(shí)驗(yàn)這樣看來大網(wǎng)絡(luò)小網(wǎng)絡(luò)各有利弊??！但是在這里我拋出結(jié)論——不要因過擬合的風(fēng)險(xiǎn)而對更大網(wǎng)絡(luò)抱有擔(dān)憂，就大膽的使用吧。深度學(xué)習(xí)中有許多抑制過擬合的方法（正則化，噪音輸入，dropout等），使用大網(wǎng)絡(luò)配合這些方法遠(yuǎn)比單純減少網(wǎng)絡(luò)尺寸好得多。
不減少網(wǎng)絡(luò)尺寸的原因是小網(wǎng)絡(luò)很難用梯度下降法進(jìn)行有效訓(xùn)練，往往訓(xùn)練出來的參數(shù)都不太好；梯度下降法更適合深度較大網(wǎng)絡(luò)的訓(xùn)練

之前提到的正則化就是一個(gè)抑制過擬合的好方法（當(dāng)然前提是設(shè)置得當(dāng)），對于同一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，正則化強(qiáng)度越大，決策邊界越平滑，抑制過擬合能力越強(qiáng)。