摘要：現(xiàn)為谷歌軟件工程師。盡管存在這兩個問題，目前仍是最常用的，在搭建人工神經(jīng)網(wǎng)絡(luò)的時候推薦優(yōu)先嘗試函數(shù)人們?yōu)榱私鉀Q，提出了將的前半段設(shè)為而非。

夏飛，清華大學(xué)計算機(jī)軟件學(xué)士，卡內(nèi)基梅隆大學(xué)人工智能碩士。現(xiàn)為谷歌軟件工程師。

TLDR (or the take-away)

優(yōu)先使用ReLU (Rectified Linear Unit) 函數(shù)作為神經(jīng)元的activation function:

背景

深度學(xué)習(xí)的基本原理是基于人工神經(jīng)網(wǎng)絡(luò)，信號從一個神經(jīng)元進(jìn)入，經(jīng)過非線性的activation function，傳入到下一層神經(jīng)元；再經(jīng)過該層神經(jīng)元的activate，繼續(xù)往下傳遞，如此循環(huán)往復(fù)，直到輸出層。正是由于這些非線性函數(shù)的反復(fù)疊加，才使得神經(jīng)網(wǎng)絡(luò)有足夠的capacity來抓取復(fù)雜的pattern，在各個領(lǐng)域取得state-of-the-art的結(jié)果。顯而易見，activation function在深度學(xué)習(xí)中舉足輕重，也是很活躍的研究領(lǐng)域之一。目前來講，選擇怎樣的activation function不在于它能否模擬真正的神經(jīng)元，而在于能否便于優(yōu)化整個深度神經(jīng)網(wǎng)絡(luò)。

下面我們簡單聊一下各類函數(shù)的特點以及為什么現(xiàn)在優(yōu)先推薦ReLU函數(shù)。

Sigmoid函數(shù)

Sigmoid函數(shù)是深度學(xué)習(xí)領(lǐng)域開始時使用頻率較高的activation function。它是便于求導(dǎo)的平滑函數(shù)，其導(dǎo)數(shù)為，這是優(yōu)點。然而，Sigmoid有三大缺點：

容易出現(xiàn)gradient vanishing

函數(shù)輸出并不是zero-centered

冪運算相對來講比較耗時

Gradient Vanishing

優(yōu)化神經(jīng)網(wǎng)絡(luò)的方法是Back Propagation，即導(dǎo)數(shù)的后向傳遞：先計算輸出層對應(yīng)的loss，然后將loss以導(dǎo)數(shù)的形式不斷向上一層網(wǎng)絡(luò)傳遞，修正相應(yīng)的參數(shù)，達(dá)到降低loss的目的。 Sigmoid函數(shù)在深度網(wǎng)絡(luò)中常常會導(dǎo)致導(dǎo)數(shù)逐漸變?yōu)?，使得參數(shù)無法被更新，神經(jīng)網(wǎng)絡(luò)無法被優(yōu)化。

原因在于兩點：

在上圖中容易看出，當(dāng)中較大或較小時，導(dǎo)數(shù)接近0，而后向傳遞的數(shù)學(xué)依據(jù)是微積分求導(dǎo)的鏈?zhǔn)椒▌t，當(dāng)前層的導(dǎo)數(shù)需要之前各層導(dǎo)數(shù)的乘積，幾個小數(shù)的相乘，結(jié)果會很接近0

Sigmoid導(dǎo)數(shù)的較大值是0.25，這意味著導(dǎo)數(shù)在每一層至少會被壓縮為原來的1/4，通過兩層后被變?yōu)?/16，…，通過10層后為1/1048576。請注意這里是“至少”，導(dǎo)數(shù)達(dá)到較大值這種情況還是很少見的。

輸出不是zero-centered

Sigmoid函數(shù)的輸出值恒大于0，這會導(dǎo)致模型訓(xùn)練的收斂速度變慢。

舉例來講，對，如果所有均為正數(shù)或負(fù)數(shù)，那么其對的導(dǎo)數(shù)總是正數(shù)或負(fù)數(shù)，這會導(dǎo)致如下圖紅色箭頭所示的階梯式更新，這顯然并非一個好的優(yōu)化路徑。深度學(xué)習(xí)往往需要大量時間來處理大量數(shù)據(jù)，模型的收斂速度是尤為重要的。所以，總體上來講，訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)盡量使用zero-centered數(shù)據(jù) (可以經(jīng)過數(shù)據(jù)預(yù)處理實現(xiàn)) 和zero-centered輸出。

冪運算相對耗時

相對于前兩項，這其實并不是一個大問題，我們目前是具備相應(yīng)計算能力的，但面對深度學(xué)習(xí)中龐大的計算量，較好是能省則省 :-)。之后我們會看到，在ReLU函數(shù)中，需要做的僅僅是一個thresholding，相對于冪運算來講會快很多。

tanh函數(shù)

tanh讀作Hyperbolic Tangent，如上圖所示，它解決了zero-centered的輸出問題，然而，gradient vanishing的問題和冪運算的問題仍然存在。

ReLU函數(shù)

ReLU函數(shù)其實就是一個取較大值函數(shù)，注意這并不是全區(qū)間可導(dǎo)的，但是我們可以取sub-gradient，如上圖所示。ReLU雖然簡單，但卻是近幾年的重要成果，有以下幾大優(yōu)點：

解決了gradient vanishing問題 (在正區(qū)間)

計算速度非?？?，只需要判斷輸入是否大于0

收斂速度遠(yuǎn)快于sigmoid和tanh

ReLU也有幾個需要特別注意的問題：

ReLU的輸出不是zero-centered

Dead ReLU Problem，指的是某些神經(jīng)元可能永遠(yuǎn)不會被激活，導(dǎo)致相應(yīng)的參數(shù)永遠(yuǎn)不能被更新。有兩個主要原因可能導(dǎo)致這種情況產(chǎn)生: (1) 非常不幸的參數(shù)初始化，這種情況比較少見 (2) learning rate太高導(dǎo)致在訓(xùn)練過程中參數(shù)更新太大，不幸使網(wǎng)絡(luò)進(jìn)入這種狀態(tài)。解決方法是可以采用Xavier初始化方法，以及避免將learning rate設(shè)置太大或使用adagrad等自動調(diào)節(jié)learning rate的算法。

盡管存在這兩個問題，ReLU目前仍是最常用的activation function，在搭建人工神經(jīng)網(wǎng)絡(luò)的時候推薦優(yōu)先嘗試！

Leaky ReLU函數(shù)

人們?yōu)榱私鉀QDead ReLU Problem，提出了將ReLU的前半段設(shè)為而非0。另外一種直觀的想法是基于參數(shù)的方法，即Parametric ReLU:，其中可由back propagation學(xué)出來。理論上來講，Leaky ReLU有ReLU的所有優(yōu)點，外加不會有Dead ReLU問題，但是在實際操作當(dāng)中，并沒有完全證明Leaky ReLU總是好于ReLU。

ELU (Exponential Linear Units) 函數(shù)

ELU也是為解決ReLU存在的問題而提出，顯然，ELU有ReLU的基本所有優(yōu)點，以及：

不會有Dead ReLU問題

輸出的均值接近0，zero-centered

它的一個小問題在于計算量稍大。類似于Leaky ReLU，理論上雖然好于ReLU，但在實際使用中目前并沒有好的證據(jù)ELU總是優(yōu)于ReLU。

小結(jié)

建議使用ReLU函數(shù)，但是要注意初始化和learning rate的設(shè)置；可以嘗試使用Leaky ReLU或ELU函數(shù)；不建議使用tanh，尤其是sigmoid函數(shù)。

參考資料

Udacity Deep Learning Courses

Stanford CS231n Course

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754