摘要：摘要本文著重介紹了深度學(xué)習(xí)的一些關(guān)鍵術(shù)語，其中包括生物神經(jīng)元，多層感知器，前饋神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)最近取得了令人吃驚的成就。人工神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)架構(gòu)最初是由深度學(xué)習(xí)的腦神經(jīng)尤其是神經(jīng)元所啟發(fā)的。

摘要： 本文著重介紹了深度學(xué)習(xí)的一些關(guān)鍵術(shù)語，其中包括生物神經(jīng)元，多層感知器（MLP），前饋神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)。對于初學(xué)者來說，掌握它們可以防止在學(xué)習(xí)請教時(shí)的尷尬~

深度學(xué)習(xí)已經(jīng)成為編程界的一股潮流，因?yàn)槠湓谠S多領(lǐng)域取得了令人難以置信的成功，使其在研究和工業(yè)領(lǐng)域廣受歡迎。那么到底什么是深度學(xué)習(xí)呢？深度學(xué)習(xí)是應(yīng)用深層神經(jīng)網(wǎng)絡(luò)技術(shù)：即利用具有多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來解決問題的過程。深度學(xué)習(xí)是一個(gè)過程，如數(shù)據(jù)挖掘，它采用深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，它是特定類型的機(jī)器學(xué)習(xí)算法。

深度學(xué)習(xí)最近取得了令人吃驚的成就。但，至少在我看來，謹(jǐn)記一些事情是很重要的：

深度學(xué)習(xí)不是萬能的——它不是一個(gè)解決所有問題的萬能的解決方案。

它不是傳說中的王牌算法——深度學(xué)習(xí)不會(huì)取代所有其他機(jī)器學(xué)習(xí)算法和數(shù)據(jù)科學(xué)技術(shù)、或者至少它還沒有證明如此。

有期望是必要的——盡管最近它在所有類型的分類問題上取得了很大進(jìn)展，特別是計(jì)算機(jī)視覺和自然語言處理以及強(qiáng)化學(xué)習(xí)和其他領(lǐng)域，當(dāng)代深度學(xué)習(xí)并沒有擴(kuò)展到處理非常復(fù)雜的問題，如“解決世界和平”。

深度學(xué)習(xí)和人工智能并不是同義詞。

深度學(xué)習(xí)可以通過附加的過程和工具來幫助解決問題，從而為數(shù)據(jù)科學(xué)提供了極大的幫助。當(dāng)從這個(gè)角度觀察時(shí)，深度學(xué)習(xí)對數(shù)據(jù)科學(xué)領(lǐng)域是非常有價(jià)值的補(bǔ)充。

如上圖所示，深度學(xué)習(xí)其本質(zhì)就是數(shù)據(jù)挖掘，因?yàn)椋ㄉ疃龋┥窠?jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)（過程與體系結(jié)構(gòu)）。同樣可以看到的事實(shí)是，深度神經(jīng)網(wǎng)絡(luò)與當(dāng)代人工智能有很大關(guān)系，至少兩者可以交織在一起（然而，它們不是同一事物，人工智能是具有許多其他算法以及超越神經(jīng)網(wǎng)絡(luò)的技術(shù)）。還需要注意的是深度學(xué)習(xí)/深度神經(jīng)網(wǎng)絡(luò)與計(jì)算機(jī)視覺、自然語言處理和生成模型之間的聯(lián)系，鑒于近年來在這些領(lǐng)域取得的巨大進(jìn)步，深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)技術(shù)的聯(lián)系是微妙的，但這種聯(lián)系具有特別重要的意義。

那么，讓我們來看看一些與深度學(xué)習(xí)相關(guān)的術(shù)語。

1. 深度學(xué)習(xí)：

如上所述，深度學(xué)習(xí)是應(yīng)用深度神經(jīng)網(wǎng)絡(luò)技術(shù)解決問題的過程。深度神經(jīng)網(wǎng)絡(luò)是具有最小隱藏層的神經(jīng)網(wǎng)絡(luò)（見下文）。像數(shù)據(jù)挖掘一樣，深度學(xué)習(xí)是指一個(gè)過程，它采用深層神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，其是特定類型的機(jī)器學(xué)習(xí)算法。

2. 人工神經(jīng)網(wǎng)絡(luò)（ANN）：

機(jī)器學(xué)習(xí)架構(gòu)最初是由深度學(xué)習(xí)的腦神經(jīng)（尤其是神經(jīng)元）所啟發(fā)的。實(shí)際上，多帶帶的人工神經(jīng)網(wǎng)絡(luò)（非深度變種）已經(jīng)存在了很長時(shí)間，并且歷史上能夠解決某些類型的問題。然而，相對最近，神經(jīng)網(wǎng)絡(luò)架構(gòu)被設(shè)計(jì)出來，其中包括隱藏的神經(jīng)元層（不僅僅是輸入層和輸出層），而且這種復(fù)雜程度增加了深度學(xué)習(xí)的能力，并提供了一套更強(qiáng)大的問題解決工具。

人工神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上與深度神經(jīng)網(wǎng)絡(luò)有很大的不同，因此沒有明確的神經(jīng)網(wǎng)絡(luò)定義。所有人工神經(jīng)網(wǎng)絡(luò)通常引用的特征是擁有自適應(yīng)加權(quán)集合，以及將輸入的非線性函數(shù)逼近神經(jīng)元的能力。

3. 生物神經(jīng)元

通常，生物神經(jīng)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)之間存在明確的聯(lián)系。流行的出版物宣傳了人工神經(jīng)網(wǎng)絡(luò)在某種程度上是人類（或其他生物）大腦中發(fā)生的確切復(fù)本，但這顯然是不準(zhǔn)確的。充其量，早期的人工神經(jīng)網(wǎng)絡(luò)受到生物學(xué)的啟發(fā)。兩者之間的抽象關(guān)系不比原子與太陽系的組成和功能之間的抽象比較明確。

也就是說，如果僅僅了解人工神經(jīng)網(wǎng)絡(luò)的靈感，它確實(shí)能讓我們看到生物神經(jīng)元如何在很高的水平上工作。

我們感興趣的生物神經(jīng)元的主要組成部分是：

核：保存遺傳信息（即，DNA）。

細(xì)胞主體：處理輸入激活，并將其轉(zhuǎn)換成輸出激活。

樹突：從其他神經(jīng)元接受激活。

軸突：傳遞激活到其他神經(jīng)元。

軸突末梢：與相鄰的樹突形成神經(jīng)元之間的突觸。

被稱為神經(jīng)遞質(zhì)的化學(xué)物質(zhì)然后擴(kuò)散穿過軸突末端和鄰近的樹突之間的突觸間隙，構(gòu)成神經(jīng)傳遞。神經(jīng)元的基本操作是激活神經(jīng)元，處理，然后通過其軸突末端再傳播出軸突，穿過突觸間隙并到達(dá)許多接受神經(jīng)元的樹突，重復(fù)這個(gè)過程。

4. 感知器

感知器是一個(gè)簡單的線性二元分類器。感知器獲取輸入和相關(guān)權(quán)重（表示相對輸入重要性），并將它們組合以產(chǎn)生輸出，然后用于分類。感知器已經(jīng)存在了很長時(shí)間，早期的實(shí)現(xiàn)可以追溯到20世紀(jì)50年代，其中第一個(gè)涉及早期的ANN實(shí)現(xiàn)。

5. 多層感知機(jī)（MLP）

多層感知機(jī)（MLP）是幾個(gè)完全相鄰連接的感知機(jī)層的實(shí)現(xiàn)，形成一個(gè)簡單的前饋神經(jīng)網(wǎng)絡(luò)（見下文）。這種多層感知機(jī)具有單感知機(jī)不具備的非線性激活功能的優(yōu)勢。

6. 前饋神經(jīng)網(wǎng)絡(luò)

前饋神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的最簡單形式，其中的連接是非周期性的。原始的人工神經(jīng)網(wǎng)絡(luò)，前饋網(wǎng)絡(luò)中的信息從輸入節(jié)點(diǎn)（隱藏層）向輸出節(jié)點(diǎn)單向前進(jìn)，沒有周期存在。前饋網(wǎng)絡(luò)不同于后來的經(jīng)常性網(wǎng)絡(luò)架構(gòu)（RNN）（見下文），其中連接形成有向循環(huán)。

7. 經(jīng)常性神經(jīng)網(wǎng)絡(luò)（RNN）

與上述前饋神經(jīng)網(wǎng)絡(luò)相比，遞歸神經(jīng)網(wǎng)絡(luò)的連接形成有向循環(huán)。這種雙向流動(dòng)允許使用內(nèi)部的時(shí)間狀態(tài)表示，這反過來又允許序列處理，并且提供了識(shí)別語音和手寫的能力。

8. 激活函數(shù)

在神經(jīng)網(wǎng)絡(luò)中，激活函數(shù)通過組合網(wǎng)絡(luò)的加權(quán)輸入產(chǎn)生輸出決策邊界。激活函數(shù)的范圍是從線性到sigmoid（邏輯）再到雙曲線（相切）和超越。為了采用反向傳播（見下文），網(wǎng)絡(luò)中必須利用可區(qū)分的激活函數(shù)。

9. 反向傳播

我曾經(jīng)遇到過的最簡潔、最基本的反向傳播定義是數(shù)據(jù)科學(xué)家Mikio L. Braun 對Quora給出了以下答案：

BP只是個(gè)別錯(cuò)誤的漸變下降，你可以將神經(jīng)網(wǎng)絡(luò)的預(yù)測與期望的輸出進(jìn)行比較，然后根據(jù)神經(jīng)網(wǎng)絡(luò)的權(quán)重計(jì)算誤差的梯度。這將給你一個(gè)參數(shù)權(quán)重空間的方向，在這個(gè)空間中誤差會(huì)變小。

10. 成本函數(shù)

在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，必須評估網(wǎng)絡(luò)輸出的正確性。由于我們知道訓(xùn)練數(shù)據(jù)的正確輸出，所以可以比較訓(xùn)練的輸出。成本函數(shù)衡量實(shí)際產(chǎn)出與訓(xùn)練產(chǎn)出之間的差異。實(shí)際產(chǎn)出和預(yù)期產(chǎn)出之間的零成本意味著網(wǎng)絡(luò)一直在盡可能地進(jìn)行訓(xùn)練，這顯然是理想的。

那么，通過什么機(jī)制來調(diào)整成本函數(shù)，并將其最小化呢？

11. 梯度消失

梯度下降是一種用于尋找局部函數(shù)最小值的優(yōu)化算法。盡管不能保證全局最小值，但梯度下降法對于精確求解或者難以求解的函數(shù)特別有用，例如將導(dǎo)數(shù)設(shè)置為零并求解。

如上所述，在神經(jīng)網(wǎng)絡(luò)的情況下，隨機(jī)梯度下降用于對網(wǎng)絡(luò)參數(shù)做出明智的調(diào)整，目的是最小化成本函數(shù)，從而使網(wǎng)絡(luò)的實(shí)際輸出更接近于迭代地達(dá)到預(yù)期的輸出。這種迭代最小化成本過程采用的是微積分，即微分。在訓(xùn)練步驟之后，網(wǎng)絡(luò)權(quán)重根據(jù)成本函數(shù)的梯度和網(wǎng)絡(luò)的當(dāng)前權(quán)重來接收更新，以便下一個(gè)訓(xùn)練步驟的結(jié)果可能更接近正確（通過較小的成本函數(shù)測量）。反向傳播（錯(cuò)誤的后向傳播）是用于將這些更新分發(fā)給網(wǎng)絡(luò)的方法。

12. 消失漸變問題

反向傳播使用鏈?zhǔn)揭?guī)則來計(jì)算梯度，其中朝向n層神經(jīng)網(wǎng)絡(luò)的“前”（輸入）的層將其小數(shù)更新的梯度值乘以n倍，然后將該穩(wěn)定值用作更新。這意味著梯度將呈指數(shù)形式下降，這是一個(gè)n值較大的問題，而前面的層次需要越來越多的時(shí)間進(jìn)行有效訓(xùn)練。

13. 卷積神經(jīng)網(wǎng)絡(luò)

通常與計(jì)算機(jī)視覺和圖像識(shí)別相關(guān)聯(lián)，卷積神經(jīng)網(wǎng)絡(luò)（CNN）采用卷積的數(shù)學(xué)概念來模擬生物視覺皮層的神經(jīng)連接網(wǎng)格。

首先，如Denny Britz所描述的那樣，卷積可以被認(rèn)為是圖像矩陣表示上的滑動(dòng)窗口（參見下文）。

這個(gè)概念在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的實(shí)現(xiàn)導(dǎo)致神經(jīng)元集合專用于處理圖像部分，至少在計(jì)算機(jī)視覺中被使用時(shí)。在其他領(lǐng)域（如自然語言處理）中使用時(shí)，也可以使用相同的方法，因?yàn)檩斎耄▎卧~，句子等）可以排列在矩陣中并以類似的方式處理。

14. 長短期記憶網(wǎng)絡(luò)（LSTM）

長短期記憶網(wǎng)絡(luò)（LSTM）是一種經(jīng)常性神經(jīng)網(wǎng)絡(luò)，它經(jīng)過優(yōu)化，可以從相關(guān)事件之間的時(shí)間相關(guān)數(shù)據(jù)中學(xué)習(xí)，這些數(shù)據(jù)可能具有未定義或未知的時(shí)間長度。他們特殊的架構(gòu)允許持久性，給ANN帶來“記憶”。LSTM網(wǎng)絡(luò)最近在手寫識(shí)別和自動(dòng)語音識(shí)別方面取得了突破。

這只是深度學(xué)習(xí)術(shù)語的一小部分，并且隨著你對機(jī)器學(xué)習(xí)研究了解，許多其他的概念正在等待你的探索。

文章原標(biāo)題《deep-learning-key-terms-explained》

作者：Matthew Mayo

詳細(xì)內(nèi)容請查看原文