資訊專欄INFORMATION COLUMN
摘要：比如說，我們在邏輯回歸中用到的函數(shù)就是一種激勵函數(shù)，因?yàn)閷τ谇蠛偷慕Y(jié)果輸入，函數(shù)總會輸出一個(gè)之間的值，我們可以認(rèn)為這個(gè)值表明信號的強(qiáng)度或者神經(jīng)元被激活和傳導(dǎo)信號的概率。通過激勵函數(shù)引入非線性因素后，使神經(jīng)網(wǎng)絡(luò)的表示能力更強(qiáng)了。
?
大家都知道，人腦的基本計(jì)算單元叫做神經(jīng)元?，F(xiàn)代生物學(xué)表明，人的神經(jīng)系統(tǒng)中大概有860億神經(jīng)元，而這數(shù)量巨大的神經(jīng)元之間大約是通過1014?1015個(gè)突觸連接起來的。上面這一幅示意圖，粗略地描繪了一下人體神經(jīng)元與我們簡化過后的數(shù)學(xué)模型。每個(gè)神經(jīng)元都從樹突接受信號，同時(shí)順著某個(gè)軸突傳遞信號。而每個(gè)神經(jīng)元都有很多軸突和其他的神經(jīng)元樹突連接。而我們可以看到右邊簡化的神經(jīng)元計(jì)算模型中，信號也是順著軸突(比如x0)傳遞，然后在軸突處受到激勵(w0倍)然后變成w0x0。我們可以這么理解這個(gè)模型：在信號的傳導(dǎo)過程中，突觸可以控制傳導(dǎo)到下一個(gè)神經(jīng)元的信號強(qiáng)弱(數(shù)學(xué)模型中的權(quán)重w)，而這種強(qiáng)弱是可以學(xué)習(xí)到的。在基本生物模型中，樹突傳導(dǎo)信號到神經(jīng)元細(xì)胞，然后這些信號被加和在一塊兒了，如果加和的結(jié)果被神經(jīng)元感知超過了某種閾值，那么神經(jīng)元就被激活，同時(shí)沿著軸突向下一個(gè)神經(jīng)元傳導(dǎo)信號。在我們簡化的數(shù)學(xué)計(jì)算模型中，我們假定有一個(gè)『激勵函數(shù)』來控制加和的結(jié)果對神經(jīng)元的刺激程度，從而控制著是否激活神經(jīng)元和向后傳導(dǎo)信號。比如說，我們在邏輯回歸中用到的sigmoid函數(shù)就是一種激勵函數(shù)，因?yàn)閷τ谇蠛偷慕Y(jié)果輸入，sigmoid函數(shù)總會輸出一個(gè)0-1之間的值，我們可以認(rèn)為這個(gè)值表明信號的強(qiáng)度、或者神經(jīng)元被激活和傳導(dǎo)信號的概率。
?
我們知道深度學(xué)習(xí)的理論基礎(chǔ)是神經(jīng)網(wǎng)絡(luò)，在單層神經(jīng)網(wǎng)絡(luò)中（感知機(jī)），輸入和輸出計(jì)算關(guān)系如下圖所示：
?
可見，輸入與輸出是一個(gè)線性關(guān)系，對于增加了多個(gè)神經(jīng)元之后，計(jì)算公式也是類似，如下圖：
?
這樣的模型就只能處理一些簡單的線性數(shù)據(jù)，而對于非線性數(shù)據(jù)則很難有效地處理（也可通過組合多個(gè)不同線性表示，但這樣更加復(fù)雜和不靈活），如下圖所示：
?
那么，通過在神經(jīng)網(wǎng)絡(luò)中加入非線性激勵函數(shù)后，神經(jīng)網(wǎng)絡(luò)就有可能學(xué)習(xí)到平滑的曲線來實(shí)現(xiàn)對非線性數(shù)據(jù)的處理了。如下圖所示：
?
因此，神經(jīng)網(wǎng)絡(luò)中激勵函數(shù)的作用通俗上講就是將多個(gè)線性輸入轉(zhuǎn)換為非線性的關(guān)系。如果不使用激勵函數(shù)的話，神經(jīng)網(wǎng)絡(luò)的每層都只是做線性變換，即使是多層輸入疊加后也還是線性變換。通過激勵函數(shù)引入非線性因素后，使神經(jīng)網(wǎng)絡(luò)的表示能力更強(qiáng)了。
下面介紹幾個(gè)常用的激勵函數(shù)這z
1、sigmoid 函數(shù)
?
這應(yīng)該是神經(jīng)網(wǎng)絡(luò)中使用最頻繁的激勵函數(shù)了，它把一個(gè)實(shí)數(shù)壓縮至0到1之間，當(dāng)輸入的數(shù)字非常大的時(shí)候，結(jié)果會接近1，當(dāng)輸入非常大的負(fù)數(shù)時(shí)，則會得到接近0的結(jié)果。在早期的神經(jīng)網(wǎng)絡(luò)中使用得非常多，因?yàn)樗芎玫亟忉屃松窠?jīng)元受到刺激后是否被激活和向后傳遞的場景（0：幾乎沒有被激活，1：完全被激活），不過近幾年在深度學(xué)習(xí)的應(yīng)用中比較少見到它的身影，因?yàn)槭褂胹igmoid函數(shù)容易出現(xiàn)梯度彌散或者梯度飽和。當(dāng)神經(jīng)網(wǎng)絡(luò)的層數(shù)很多時(shí)，如果每一層的激勵函數(shù)都采用sigmoid函數(shù)的話，就會產(chǎn)生梯度彌散的問題，因?yàn)槔梅聪騻鞑ジ聟?shù)時(shí)，會乘以它的導(dǎo)數(shù)，所以會一直減小。如果輸入的是比較大或者比較小的數(shù)（例如輸入100，經(jīng)Sigmoid函數(shù)后結(jié)果接近于1，梯度接近于0），會產(chǎn)生飽和效應(yīng)，導(dǎo)致神經(jīng)元類似于死亡狀態(tài)。
【小白科普】什么是飽和呢？
2、tanh 函數(shù)
?
tanh函數(shù)將輸入值壓縮至-1到1之間。該函數(shù)與Sigmoid類似，也存在著梯度彌散或梯度飽和的缺點(diǎn)。
3、ReLU函數(shù)
?
ReLU是修正線性單元（The Rectified Linear Unit）的簡稱，近些年來在深度學(xué)習(xí)中使用得很多，可以解決梯度彌散問題，因?yàn)樗膶?dǎo)數(shù)等于1或者就是0。相對于sigmoid和tanh激勵函數(shù)，對ReLU求梯度非常簡單，計(jì)算也很簡單，可以非常大程度地提升隨機(jī)梯度下降的收斂速度。（因?yàn)镽eLU是線性的，而sigmoid和tanh是非線性的）。
但ReLU的缺點(diǎn)是比較脆弱，隨著訓(xùn)練的進(jìn)行，可能會出現(xiàn)神經(jīng)元死亡的情況，例如有一個(gè)很大的梯度流經(jīng)ReLU單元后，那權(quán)重的更新結(jié)果可能是，在此之后任何的數(shù)據(jù)點(diǎn)都沒有辦法再激活它了。如果發(fā)生這種情況，那么流經(jīng)神經(jīng)元的梯度從這一點(diǎn)開始將永遠(yuǎn)是0。也就是說，ReLU神經(jīng)元在訓(xùn)練中不可逆地死亡了。
4、Leaky ReLU 函數(shù)
?
Leaky ReLU主要是為了避免梯度消失，當(dāng)神經(jīng)元處于非激活狀態(tài)時(shí)，允許一個(gè)非0的梯度存在，這樣不會出現(xiàn)梯度消失，收斂速度快。它的優(yōu)缺點(diǎn)跟ReLU類似。
5、ELU 函數(shù)
?
ELU在正值區(qū)間的值為x本身，這樣減輕了梯度彌散問題（x>0區(qū)間導(dǎo)數(shù)處處為1），這點(diǎn)跟ReLU、Leaky ReLU相似。而在負(fù)值區(qū)間，ELU在輸入取較小值時(shí)具有軟飽和的特性，提升了對噪聲的魯棒性
下圖是ReLU、LReLU、ELU的曲線比較圖：
6、Maxout 函數(shù)
?
Maxout也是近些年非常流行的激勵函數(shù)，簡單來說，它是ReLU和Leaky ReLU的一個(gè)泛化版本，當(dāng)w1、b1設(shè)置為0時(shí)，便轉(zhuǎn)換為ReLU公式。
因此，Maxout繼承了ReLU的優(yōu)點(diǎn)，同時(shí)又沒有“一不小心就掛了”的擔(dān)憂。但相比ReLU，因?yàn)橛?次線性映射運(yùn)算，因此計(jì)算量也會翻倍。（原文出處https://blog.csdn.net/Stephen...）
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/44823.html
摘要：活動結(jié)束單文件組件使用構(gòu)建工具創(chuàng)建項(xiàng)目，綜合來看單文件組件應(yīng)該是最好的定義組件的方式，而且不會帶來額外的模版語法的學(xué)習(xí)成本。 前端組件化開發(fā)已經(jīng)是一個(gè)老生常談的話題了，組件化讓我們的開發(fā)效率以及維護(hù)成本帶來了質(zhì)的提升。 當(dāng)然因?yàn)楝F(xiàn)在的系統(tǒng)越來越復(fù)雜龐大，所以開發(fā)與維護(hù)成本就變得必須要考慮的問題，因此滋生出了目前的三大前端框架 Vue、Angular、React。 那今天我們就來看看 V...
摘要：由于采用了無損壓縮，相比古老的格式，尺寸較小，而且支持透明和動畫。采用無損壓縮，是基于直接色的位圖格式。正是因?yàn)槠涓咂焚|(zhì)，無損壓縮，非常適合用于源文件或需要二次編輯的圖片格式的保存。 前言 在大多數(shù)的web頁面中，圖片占到了頁面大小的60%-70%。因此在web開發(fā)中，不同的場景使用合適的圖片格式對web頁面的性能和體驗(yàn)是很重要的。圖片格式種類非常多，本文僅針對幾種web應(yīng)用中常用的圖...
摘要：由于采用了無損壓縮，相比古老的格式，尺寸較小，而且支持透明和動畫。采用無損壓縮，是基于直接色的位圖格式。正是因?yàn)槠涓咂焚|(zhì)，無損壓縮，非常適合用于源文件或需要二次編輯的圖片格式的保存。 前言 在大多數(shù)的web頁面中，圖片占到了頁面大小的60%-70%。因此在web開發(fā)中，不同的場景使用合適的圖片格式對web頁面的性能和體驗(yàn)是很重要的。圖片格式種類非常多，本文僅針對幾種web應(yīng)用中常用的圖...
摘要：由于采用了無損壓縮，相比古老的格式，尺寸較小，而且支持透明和動畫。采用無損壓縮，是基于直接色的位圖格式。正是因?yàn)槠涓咂焚|(zhì)，無損壓縮，非常適合用于源文件或需要二次編輯的圖片格式的保存。 前言 在大多數(shù)的web頁面中，圖片占到了頁面大小的60%-70%。因此在web開發(fā)中，不同的場景使用合適的圖片格式對web頁面的性能和體驗(yàn)是很重要的。圖片格式種類非常多，本文僅針對幾種web應(yīng)用中常用的圖...
摘要：序述說到刪除數(shù)組特定元素你可能不止一種方法可以實(shí)現(xiàn)下面且來看看我總結(jié)的這幾種方法可能會對你有所幫助源數(shù)組偽刪除什么是偽刪除呢就是說將數(shù)組元素值設(shè)置為刪除后的數(shù)組是這個(gè)樣子的不過要注意這意味著數(shù)組也就是變量的長度保持不變完全刪除是什么是完全刪 序述 說到刪除數(shù)組特定元素你可能不止一種方法可以實(shí)現(xiàn), 下面且來看看我總結(jié)的這幾種方法,可能會對你有所幫助！ 源數(shù)組 var arr = [Geo...
閱讀 3474·2021-11-08 13:20
閱讀 3398·2021-09-30 09:48
閱讀 2602·2021-09-29 09:41
閱讀 620·2021-09-22 15:04
閱讀 2539·2021-08-23 09:44
閱讀 3723·2020-12-03 17:26
閱讀 1038·2019-08-30 14:10
閱讀 1603·2019-08-29 18:34
