資訊專欄INFORMATION COLUMN
摘要：什么是激活函數(shù)，它在神經(jīng)網(wǎng)絡(luò)模型中是如何使用的激活函數(shù)對于人工神經(jīng)網(wǎng)絡(luò)模型去學(xué)習(xí)理解非常復(fù)雜和非線性的函數(shù)來說具有十分重要的作用。線性函數(shù)一個一級多項式。
什么是人工神經(jīng)網(wǎng)絡(luò)？
現(xiàn)在，我相信我們大家都很熟悉什么是A-NN了，但接下來請允許我按照自己的理解給A-NN下個定義——它是一個強健有力的，同時也非常復(fù)雜的機器學(xué)習(xí)技術(shù)，它可以模仿人類的大腦，繼而模仿大腦的運作。
正如我們的人腦一樣，在一個層次上和神經(jīng)元網(wǎng)絡(luò)中有數(shù)百萬個神經(jīng)元，這些神經(jīng)元通過一種稱之為synapses（突觸）的結(jié)構(gòu)彼此緊緊相連。它可以通過 Axons（軸突），將電信號從一個層傳遞到另一個層。這就是我們?nèi)祟悓W(xué)習(xí)事物的方式。 每當(dāng)我們看到、聽到、感覺和思考時，一個突觸（電脈沖）從層次結(jié)構(gòu)中的一個神經(jīng)元被發(fā)射到另一個神經(jīng)元，這使我們能夠從我們出生的那一天起，就開始學(xué)習(xí)、記住和回憶我們?nèi)粘Ｉ钪械臇|西。
好的，接下來我保證大家看到的不再是生物學(xué)領(lǐng)域的知識了。
什么是激活函數(shù)，它在神經(jīng)網(wǎng)絡(luò)模型中是如何使用的？
激活函數(shù)（Activation functions）對于人工神經(jīng)網(wǎng)絡(luò)模型去學(xué)習(xí)、理解非常復(fù)雜和非線性的函數(shù)來說具有十分重要的作用。它們將非線性特性引入到我們的網(wǎng)絡(luò)中。其主要目的是將A-NN模型中一個節(jié)點的輸入信號轉(zhuǎn)換成一個輸出信號。該輸出信號現(xiàn)在被用作堆疊中下一個層的輸入。
而在A-NN中的具體操作是這樣的，我們做輸入（X）和它們對應(yīng)的權(quán)重（W）的乘積之和，并將激活函數(shù)f（x）應(yīng)用于其獲取該層的輸出并將其作為輸入饋送到下一個層。
問題是，為什么我們不能在不激活輸入信號的情況下完成此操作呢？
如果我們不運用激活函數(shù)的話，則輸出信號將僅僅是一個簡單的線性函數(shù)。線性函數(shù)一個一級多項式?，F(xiàn)如今，線性方程是很容易解決的，但是它們的復(fù)雜性有限，并且從數(shù)據(jù)中學(xué)習(xí)復(fù)雜函數(shù)映射的能力更小。一個沒有激活函數(shù)的神經(jīng)網(wǎng)絡(luò)將只不過是一個線性回歸模型（Linear regression Model）罷了，它功率有限，并且大多數(shù)情況下執(zhí)行得并不好。我們希望我們的神經(jīng)網(wǎng)絡(luò)不僅僅可以學(xué)習(xí)和計算線性函數(shù)，而且還要比這復(fù)雜得多。同樣是因為沒有激活函數(shù)，我們的神經(jīng)網(wǎng)絡(luò)將無法學(xué)習(xí)和模擬其他復(fù)雜類型的數(shù)據(jù)，例如圖像、視頻、音頻、語音等。這就是為什么我們要使用人工神經(jīng)網(wǎng)絡(luò)技術(shù)，諸如深度學(xué)習(xí)（Deep learning），來理解一些復(fù)雜的事情，一些相互之間具有很多隱藏層的非線性問題，而這也可以幫助我們了解復(fù)雜的數(shù)據(jù)。
那么為什么我們需要非線性函數(shù)？
非線性函數(shù)是那些一級以上的函數(shù)，而且當(dāng)繪制非線性函數(shù)時它們具有曲率?，F(xiàn)在我們需要一個可以學(xué)習(xí)和表示幾乎任何東西的神經(jīng)網(wǎng)絡(luò)模型，以及可以將輸入映射到輸出的任意復(fù)雜函數(shù)。神經(jīng)網(wǎng)絡(luò)被認為是通用函數(shù)近似器（Universal Function Approximators）。這意味著他們可以計算和學(xué)習(xí)任何函數(shù)。幾乎我們可以想到的任何過程都可以表示為神經(jīng)網(wǎng)絡(luò)中的函數(shù)計算。
而這一切都歸結(jié)于這一點，我們需要應(yīng)用激活函數(shù)f（x），以便使網(wǎng)絡(luò)更加強大，增加它的能力，使它可以學(xué)習(xí)復(fù)雜的事物，復(fù)雜的表單數(shù)據(jù)，以及表示輸入輸出之間非線性的復(fù)雜的任意函數(shù)映射。因此，使用非線性激活函數(shù)，我們便能夠從輸入輸出之間生成非線性映射。
激活函數(shù)的另一個重要特征是：它應(yīng)該是可以區(qū)分的。我們需要這樣做，以便在網(wǎng)絡(luò)中向后推進以計算相對于權(quán)重的誤差（丟失）梯度時執(zhí)行反向優(yōu)化策略，然后相應(yīng)地使用梯度下降或任何其他優(yōu)化技術(shù)優(yōu)化權(quán)重以減少誤差。
只要永遠記住要做：
“輸入時間權(quán)重，添加偏差和激活函數(shù)”
最流行的激活函數(shù)類型
1.Sigmoid函數(shù)或者Logistic函數(shù)
2.Tanh?—?Hyperbolic tangent（雙曲正切函數(shù)）
3.ReLu -Rectified linear units（線性修正單元）
Sigmoid激活函數(shù)：它是一個f（x）= 1/1 + exp（-x）形式的激活函數(shù)。它的值區(qū)間在0和1之間，是一個S形曲線。它很容易理解和應(yīng)用，但使其不受歡迎的主要原因是：
·梯度消失問題
·其次，它的輸出不是以0為中心。它的梯度更新在不同的方向上且走得太遠。 0
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/4552.html
摘要：可以參見以下相關(guān)閱讀創(chuàng)造更多數(shù)據(jù)上一小節(jié)說到了有了更多數(shù)據(jù)，深度學(xué)習(xí)算法通常會變的更好。 導(dǎo)語我經(jīng)常被問到諸如如何從深度學(xué)習(xí)模型中得到更好的效果的問題，類似的問題還有：我如何提升準確度如果我的神經(jīng)網(wǎng)絡(luò)模型性能不佳，我能夠做什么？對于這些問題，我經(jīng)常這樣回答，我并不知道確切的答案，但是我有很多思路，接著我會列出了我所能想到的所有或許能夠給性能帶來提升的思路。為避免一次次羅列出這樣一個簡單的列表...
摘要：希望大家在這浮夸的前端圈里，保持冷靜，堅持每天花分鐘來學(xué)習(xí)與思考。 今天的React題沒有太多的故事…… 半個月前出了248個Vue的知識點，受到很多朋友的關(guān)注，都強烈要求再出多些React相前的面試題，受到大家的邀請，我又找了20多個React的使用者，他們給出了328道React的面試題，由我整理好發(fā)給大家，同時發(fā)布在了前端面試每日3+1的React專題，希望對大家有所幫助，同時大...
摘要：前端面試每日題，以面試題來驅(qū)動學(xué)習(xí)，每天進步一點讓努力成為一種習(xí)慣，讓奮斗成為一種享受相信堅持的力量項目地址推薦歡迎跟一起折騰前端，系統(tǒng)整理前端知識，目前正在折騰，打算打通算法與數(shù)據(jù)結(jié)構(gòu)的任督二脈。 《論語》，曾子曰：吾日三省吾身（我每天多次反省自己）。 前端面試每日3+1題，以面試題來驅(qū)動學(xué)習(xí)，每天進步一點！ 讓努力成為一種習(xí)慣，讓奮斗成為一種享受！相信 堅持 的力量?。?！ 項目...
摘要：前端面試每日題，以面試題來驅(qū)動學(xué)習(xí)，每天進步一點讓努力成為一種習(xí)慣，讓奮斗成為一種享受相信堅持的力量項目地址推薦歡迎跟一起折騰前端，系統(tǒng)整理前端知識，目前正在折騰，打算打通算法與數(shù)據(jù)結(jié)構(gòu)的任督二脈。 《論語》，曾子曰：吾日三省吾身（我每天多次反省自己）。 前端面試每日3+1題，以面試題來驅(qū)動學(xué)習(xí)，每天進步一點！ 讓努力成為一種習(xí)慣，讓奮斗成為一種享受！相信 堅持 的力量?。?！ 項目...
摘要：注意，鼠標點擊后不松開，此偽類一直激活，直到松開鼠標。哪些偽類會同時激活并影響顯示效果第一，其實和兩個偽類之間順序無所謂。此時鏈接依然存在，只是已經(jīng)被訪問過，所以偽類不再激活。 博主的博客地址：Stillwater的個人博客轉(zhuǎn)載請注明原文鏈接 一、標簽常用的偽類概述 a:link{color:blue} ...
閱讀 931·2021-11-24 09:38
閱讀 947·2021-11-23 09:51
閱讀 2955·2021-11-16 11:44
閱讀 1785·2021-09-22 15:52
閱讀 1688·2021-09-10 11:20
閱讀 1412·2019-08-30 13:47
閱讀 1309·2019-08-29 12:36
閱讀 3341·2019-08-26 10:43
