摘要：每傳遞一層，就相當于執(zhí)行一次線性分類器和激活函數(shù)，其輸出可作為下一個線性分類器的輸入繼續(xù)往下傳遞。像這樣多個線性分類器疊加起來，那種網(wǎng)絡(luò)結(jié)構(gòu)就成型了。

【DL-CV】計算機視覺前置了解<前篇---后篇>【DL-CV】損失函數(shù)，SVM損失與交叉熵損失

神經(jīng)網(wǎng)絡(luò)的變種很多，各種模型滿天飛，但是相信大家見得最多的是這種

這是多層感知器（multilayer perceptron/MLP），不加特效的最原始的神經(jīng)網(wǎng)絡(luò)，經(jīng)典中的經(jīng)典。（如無特別注釋，神經(jīng)網(wǎng)絡(luò)通常指經(jīng)典的mlp神經(jīng)網(wǎng)絡(luò)）。在接觸其他熱門變種如卷積神經(jīng)網(wǎng)絡(luò)前，我們會好好和MLP這位小朋友玩，了解他的特性，調(diào)教教導他，這樣遇到其他小朋友才會有法可教，最終征服所有孩子成為孩子王啦。
然而要搞好MLP也是一個漫長的過程，作為第一步，首先來了解線性分類器，并看看它是如何解決圖像分類問題的

現(xiàn)在有輸入的圖像數(shù)組x，以及一堆參數(shù)W和b，如何組合它們將圖像的像素值映射為各個分類類別的得分？最簡單的方式就是乘起來求和（線性組合），這就是一個線性分類器。該方法可以地延伸到神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)上

其形式就是一個函數(shù) $$f(x,W,b) = {W*x+b}$$這里的x是圖像數(shù)據(jù)/特征值展開成的列向量；W是參數(shù)矩陣，稱其為權(quán)重（weights）；b叫偏置值（bias），與W*x形狀相同。
但更多時候我們會把W與b合并在一起,然后給x增加一維并用1填充這一維，變成 $f(x,W_{new}) = {W_{new}*x}$ 的形式，這種變換是等價的

注：除了W*x外，x*W也是可以的，取決于x是列向量還是行向量。

將每行W和b看做一個模板：假設(shè)我們把函數(shù)直接用于評分

如圖，每種顏色都是服務(wù)于某個的類評分的，相當于W和b的每一行都是一個小的分類器/模板。上圖的結(jié)果很不理想（貓被硬說成是狗），當然后面會有方法實現(xiàn)學習功能讓其通過訓練集自學到更好的W和b，使得計算出來的類別分值情況和訓練集中圖像數(shù)據(jù)的真實類別標簽相符。在這你可以暫時忽略這些問題只關(guān)注函數(shù)本身原理。

將圖像看做高維度的點：既然圖像被伸展成為了一個高維度的列向量，那么我們可以把圖像看做這個高維度空間中的一個點。整個數(shù)據(jù)集就是一個點的集合，每個點都帶有1個分類標簽。W和b的作用就相當于在這個空間中劃線分開這些點，W相當于斜率（使線旋轉(zhuǎn)），b相當于截距（使線平移）

以紅色的汽車分類器為例，紅線表示空間中汽車分類分數(shù)為0的點的集合，紅色的箭頭表示分值上升的方向。所有紅線右邊的點的分數(shù)值均為正，且線性升高。紅線左邊的點分值為負，且線性降低。

函數(shù)我都懂，但這和本文開始的那張圖有什么關(guān)系？
答案就在藏在矩陣乘法，矩陣的乘法形成了網(wǎng)狀結(jié)構(gòu)。每條連線對應(yīng)權(quán)重的一個值，傳遞時進行乘法操作；所以上層所有的神經(jīng)元（儲存特征值或輸入的單元）與下層一個神經(jīng)元的連線對應(yīng)一行權(quán)重，傳遞時進行線性組合后加上偏置值，得到的結(jié)果還要通過激活函數(shù)（后面再講）最終的到特征值。每傳遞一層，就相當于執(zhí)行一次線性分類器和激活函數(shù)，其輸出可作為下一個線性分類器的輸入繼續(xù)往下傳遞。像這樣多個線性分類器疊加起來，那種網(wǎng)絡(luò)結(jié)構(gòu)就成型了。

另外補充一下：實際上我們不會/很少用單層神經(jīng)網(wǎng)絡(luò)，使用一個線性分類器就實現(xiàn)對圖像分類的評分是不現(xiàn)實的，因為這樣提取的特征信息太淺了，往往因為顏色或形狀相近就會被歸為同類。正確做法應(yīng)該是使用多層網(wǎng)絡(luò)，對淺層特征進行再組合獲得深層特征，最后才根據(jù)深層特征值來評分