摘要：為什么呢本文將對這一問題進(jìn)行解疑并介紹多種多種激活函數(shù)。激活函數(shù)就是用來引入這個非線性因素的，下面介紹幾種常見的激活函數(shù)及其優(yōu)缺點(diǎn)正負(fù)號表示。如果想了解更多可上網(wǎng)搜激活函數(shù)選擇在同一個模型中，激活函數(shù)不會混搭使用，選定一個就用一個。

【DL-CV】反向傳播，（隨機(jī)）梯度下降<前篇---后篇>【DL-CV】神經(jīng)網(wǎng)絡(luò)的補(bǔ)充

在介紹線性分類器的時候，提到了激活函數(shù)，還提到線性分類器的輸出要經(jīng)過激活函數(shù)才能作為下一層網(wǎng)絡(luò)的輸入。為什么呢？本文將對這一問題進(jìn)行解疑并介紹多種多種激活函數(shù)。

假如神經(jīng)網(wǎng)絡(luò)只由多個線性分類組器合而成，那無論怎樣組合，他們對數(shù)據(jù)的操作永遠(yuǎn)都是線性變換而已，復(fù)雜度有限，只能實(shí)現(xiàn)線性分類而不能實(shí)現(xiàn)非線性分類，但現(xiàn)實(shí)中的數(shù)據(jù)往往不是線性可分的。為了解決這個問題，就要給神經(jīng)網(wǎng)絡(luò)引入非線性因素，提高神經(jīng)網(wǎng)絡(luò)模型的表達(dá)能力（學(xué)習(xí)更復(fù)雜的映射）。激活函數(shù)就是用來引入這個非線性因素的，下面介紹幾種常見的激活函數(shù)及其優(yōu)缺點(diǎn)（正負(fù)號表示）。

其數(shù)學(xué)公式及其圖像如下

它把輸入壓縮到(0,1)區(qū)間內(nèi)，有兩端飽和的特性，對于很大的正數(shù)它輸出趨近與1，對于絕對值很小的負(fù)數(shù)它輸出趨近于0。
這個函數(shù)曾經(jīng)非常流行，但是由于其缺點(diǎn)（主要是兩邊飽和）飽受詬病，現(xiàn)在沒什么人用了

（-）梯度消失：當(dāng)輸入過大或過小時,由圖可知局部梯度幾乎為0，經(jīng)過鏈?zhǔn)椒▌t后梯度也幾乎為0，你會失去梯度流的反饋，使權(quán)重幾乎不更新

（-）非零中心：sigmoid的輸出均大于零（不是零均值），即給下一層神經(jīng)元的x都大于零，$sigma(W*x+b)$，假如這里的x全是正數(shù),那么經(jīng)過反向傳播${?Lover ?W}會全正或全負(fù)$，于是所有權(quán)重值都會往一個方向更新，這樣訓(xùn)練效率非常低。

其數(shù)學(xué)公式及其圖像如下（雙曲正切）

形狀和sigmoid很像，也是兩端飽和，不同的是它把輸入壓縮到(-1,1)區(qū)間內(nèi)。

（+）以零為中心

（-）梯度消失

比sigmoid好了一點(diǎn)，沒有非零中心的問題

其數(shù)學(xué)公式及其圖像如下

就是個取最大值得函數(shù)，當(dāng)輸入為負(fù)數(shù)，輸出為0；當(dāng)輸入為正數(shù)，輸出還是這個數(shù)

（+）在正區(qū)間不會飽和（一個優(yōu)勢）:在正區(qū)間梯度可傳遞

（+）計(jì)算成本低

（+）使用ReLU之后，權(quán)重收斂速度比sigmoid/tanh快（約6倍）

（-）非零中心

（-）在負(fù)區(qū)間梯度消失：某些權(quán)重永遠(yuǎn)不會更新，我們稱這種情況叫“dead ReLU”。導(dǎo)致這種情況頻發(fā)的原因主要有權(quán)重初始化不好或?qū)W習(xí)率太高

雖然有“dead ReLU”的情況發(fā)生，但這并不阻礙它成為優(yōu)秀的激活函數(shù)，實(shí)際應(yīng)用中其表現(xiàn)不錯，是非常常用的激活函數(shù)

其數(shù)學(xué)公式及其圖像如下

ReLU的變種，負(fù)區(qū)間不再是0，而是給它一個很小的斜率（上圖是0.01，也可以是其他常數(shù)）

（+）ReLU的優(yōu)點(diǎn)

（+）不會出現(xiàn)梯度消失的情況

關(guān)于其效果沒有清晰的定論，有的實(shí)驗(yàn)表現(xiàn)好，有些則不好

其實(shí)還可以把那個斜率當(dāng)作可以反向傳播和學(xué)習(xí)的參數(shù)α,然后就變成了Parametric ReLU（PReLU）激活函數(shù)
$$f(x)=max(alpha x,x)$$

其數(shù)學(xué)公式及其圖像如下

全名指數(shù)線性單元Exponential Linear Units，α是一個可調(diào)整的參數(shù)，它控制著ELU負(fù)值部分在何時飽和

（+）ReLU的優(yōu)點(diǎn)

（+）輸出均值接近零

（+）負(fù)飽和機(jī)制，使模型對噪音有更強(qiáng)的魯棒性

關(guān)于其詳細(xì)介紹可看此論文，或者看看論文導(dǎo)讀

這個函數(shù)有點(diǎn)奇，我覺得它直接改變了原有MLP網(wǎng)絡(luò)的結(jié)構(gòu)，以至于形成了maxout網(wǎng)絡(luò)，其本身就集成了激活函數(shù)的功能。
$$f(x)=max_{jin [1,k]}z_{j}$$
k是需人為設(shè)定的參數(shù)，k=1，網(wǎng)絡(luò)就類相當(dāng)于普通的MLP網(wǎng)絡(luò)；k>1,就變身成maxout網(wǎng)絡(luò)了。這個函數(shù)的原理如下圖，筆者文字表達(dá)欠佳，需作圖才能展示出來。如果想了解更多可上網(wǎng)搜“maxout激活函數(shù)”

在同一個模型中，激活函數(shù)不會混搭使用，選定一個就用一個。一般最好的經(jīng)驗(yàn)法則是使用ReLU函數(shù)，但是要謹(jǐn)慎的調(diào)節(jié)學(xué)習(xí)率。像LReLU，PReLU，ELU，Maxout這些函數(shù)則實(shí)驗(yàn)性強(qiáng)一點(diǎn)（實(shí)用性弱一點(diǎn)），但也可以試下。tanh和sigmoid就em....，算了吧。

除了這里介紹的6個外，還有一些其他的激活函數(shù)（如有著喪心病狂證明的SeLU），感興趣的可以去查一下