成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

「深度神經(jīng)網(wǎng)絡(luò)」（deep neural network）具體是怎樣工作的？

X_AirDu / 3221人閱讀

摘要：微軟研究人員在深度神經(jīng)網(wǎng)絡(luò)上取得突破，使其在性能上能趕上目前較先進(jìn)的語(yǔ)音識(shí)別技術(shù)。上沒(méi)寫那個(gè)，不過(guò)我已經(jīng)不大懂了，順帶鏈接還有給的微軟原文鏈接以下為兩個(gè)回答何曉寧多層的好處是可以用較少的參數(shù)表示復(fù)雜的函數(shù)。

微軟研究人員在深度神經(jīng)網(wǎng)絡(luò)（deep neural network）上取得突破，
使其在性能上能趕上目前較先進(jìn)的語(yǔ)音識(shí)別技術(shù)。
http://software.solidot.org/article.pl?sid=11/08/29/0917205&from=rss

我只記得關(guān)于@李開復(fù) 的介紹里面說(shuō)的很多用概率才能解決，包括語(yǔ)音識(shí)別，
那么這一次是什么原理，能深入淺出地講解嗎？求講課。。

Wiki 上沒(méi)寫那個(gè) deep，不過(guò)我已經(jīng)不大懂了，順帶鏈接：
http://en.wikipedia.org/wiki/Neural_network
還有 Solidot 給的微軟原文鏈接：
https://research.microsoft.com/en-us/news/features/speechrecognition-082911.aspx

以下為兩個(gè)回答：

何曉寧：

多層的好處是可以用較少的參數(shù)表示復(fù)雜的函數(shù)。

在監(jiān)督學(xué)習(xí)中，以前的多層神經(jīng)網(wǎng)絡(luò)的問(wèn)題是容易陷入局部極值點(diǎn)。如果訓(xùn)練樣本足夠充分覆蓋未來(lái)的樣 本，那么學(xué)到的多層權(quán)重可以很好的用來(lái)預(yù)測(cè)新的測(cè)試樣本。但是很多任務(wù)難以得到足夠多的標(biāo)記樣本，在這種情況下，簡(jiǎn)單的模型，比如線性回歸或者決策樹往往 能得到比多層神經(jīng)網(wǎng)絡(luò)更好的結(jié)果（更好的泛化性，更差的訓(xùn)練誤差）。
非監(jiān)督學(xué)習(xí)中，以往沒(méi)有有效的方法構(gòu)造多層網(wǎng)絡(luò)。多層神經(jīng)網(wǎng)絡(luò)的頂層是底層特 征的高級(jí)表示，比如底層是像素點(diǎn)，上一層的結(jié)點(diǎn)可能表示橫線，三角； 而頂層可能有一個(gè)結(jié)點(diǎn)表示人臉。一個(gè)成功的算法應(yīng)該能讓生成的頂層特征較大化的代表底層的樣例。如果對(duì)所有層同時(shí)訓(xùn)練，時(shí)間復(fù)雜度會(huì)太高； 如果每次訓(xùn)練一層，偏差就會(huì)逐層傳遞。這會(huì)面臨跟上面監(jiān)督學(xué)習(xí)中相反的問(wèn)題，會(huì)嚴(yán)重欠擬合。

2006年，hinton提出了在非監(jiān)督數(shù)據(jù)上建立多層神經(jīng)網(wǎng)絡(luò)的一個(gè)有效方法，簡(jiǎn)單的說(shuō)，分為兩步，一是每次訓(xùn)練一層網(wǎng)絡(luò)，二是調(diào)優(yōu)使原始表示x向上生成的高級(jí)表示r和該高級(jí)表示r向下生成的x"盡可能一致。方法是
1，首先逐層構(gòu)建單層神經(jīng)元，這樣每次都是訓(xùn)練一個(gè)單層網(wǎng)絡(luò)。
2， 當(dāng)所有層訓(xùn)練完后，hinton使用wake-sleep算法進(jìn)行調(diào)優(yōu)。將除最頂層的其它層間的權(quán)重變?yōu)殡p向的，這樣最頂層仍然是一個(gè)單層神經(jīng)網(wǎng)絡(luò)，而其 它層則變?yōu)榱藞D模型。向上的權(quán)重用于”認(rèn)知“，向下的權(quán)重用于”生成“。然后使用Wake-Sleep算法調(diào)整所有的權(quán)重。讓認(rèn)知和生成達(dá)成一致，也就是 保證生成的最頂層表示能夠盡可能正確的復(fù)原底層的結(jié)點(diǎn)。比如頂層的一個(gè)結(jié)點(diǎn)表示人臉，那么所有人臉的圖像應(yīng)該激活這個(gè)結(jié)點(diǎn)，并且這個(gè)結(jié)果向下生成的圖像應(yīng) 該能夠表現(xiàn)為一個(gè)大概的人臉圖像。Wake-Sleep算法分為醒(wake)和睡(sleep)兩個(gè)部分。
2.1，wake階段，認(rèn)知過(guò)程，通過(guò)外界的特征和向上的權(quán)重（認(rèn)知權(quán)重）產(chǎn)生每一層的抽象表示（結(jié)點(diǎn)狀態(tài)），并且使用梯度下降修改層間的下行權(quán)重（生成權(quán)重）。也就是“如果現(xiàn)實(shí)跟我想像的不一樣，改變我的權(quán)重使得我想像的東西就是這樣的“。
2.2，sleep階段，生成過(guò)程，通過(guò)頂層表示（醒時(shí)學(xué)得的概念）和向下權(quán)重，生成底層的狀態(tài)，同時(shí)修改層間向上的權(quán)重。也就是“如果夢(mèng)中的景象不是我腦中的相應(yīng)概念，改變我的認(rèn)知權(quán)重使得這種景象在我看來(lái)就是這個(gè)概念“。

由于自動(dòng)編碼器（auto-encoder，即上面說(shuō)的神經(jīng)網(wǎng)絡(luò)。廣義上的自動(dòng)編碼器指所有的從低級(jí)表示得到高級(jí)表示，并能從高級(jí)表示生成低級(jí)表示的近似的 結(jié)構(gòu)，狹義上指的是其中的一種，谷歌的貓臉識(shí)別用的）有聯(lián)想功能，也就是缺失部分輸入也能得到正確的編碼，所以上面說(shuō)的算法也可以用于有監(jiān)督學(xué)習(xí)，訓(xùn)練時(shí) y做為頂層網(wǎng)絡(luò)輸入的補(bǔ)充，應(yīng)用時(shí)頂層網(wǎng)絡(luò)生成y"。

匿名用戶：

人工神經(jīng)網(wǎng)絡(luò)是一個(gè)有很悠久歷史的結(jié)構(gòu), 應(yīng)該是在20世紀(jì)五十年代后期就出現(xiàn)了的. 經(jīng)過(guò)了很多年的發(fā)展, 依然有超多的局限, 比如訓(xùn)練時(shí)間長(zhǎng), 效率地下等等. 在19世紀(jì)的晚期, 又漸漸消失了.?

直 到近幾年, 由于Deep Learning的研究出現(xiàn)了比較大的突破, Deep Neural Network應(yīng)該是伴隨著Deep Learning一起出現(xiàn)的一種人工神經(jīng)網(wǎng)絡(luò)的重大改良. 其模擬了人腦的一些特性,比如人腦具有一個(gè)深度的結(jié)構(gòu),每深入一層就進(jìn)行一次抽象, 認(rèn)知的時(shí)候逐層進(jìn)行, 逐層進(jìn)行抽象. 這種結(jié)構(gòu)在解決一些復(fù)雜的問(wèn)題的時(shí)候有非常明顯地突破性表現(xiàn). 突破了傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法的很多局限, 是當(dāng)下非常熱門的研究領(lǐng)域.
如果樓主感興趣, 可以自行搜索Deep Learning, 比如 wiki : http://en.wikipedia.org/wiki/Deep_learning
還有一個(gè)網(wǎng)站 http://deeplearning.net/tutorials/ 也有不少的內(nèi)容.

提問(wèn)者提出的Deep Neural Network, 并非一定指某個(gè)特定的結(jié)構(gòu), 因?yàn)樯疃葘W(xué)習(xí)在人工神經(jīng)網(wǎng)絡(luò)上的改良有非常多種, 根據(jù)各個(gè)實(shí)際的應(yīng)用也有不同的改良方法, 可以更多地關(guān)注Deep Learning 即可.

挖個(gè)坑, 寫完期末最后一門企業(yè)系統(tǒng)架構(gòu)的作業(yè), 如果還沒(méi)有人來(lái)回答的話, 我就補(bǔ)充一些關(guān)于Deep Learning 的資料. 想看的記得提醒我...

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/4287.html

相關(guān)文章

  • 深度學(xué)習(xí)調(diào)參入門，有哪些技巧？

    摘要：本文將分享一些自己關(guān)于深度學(xué)習(xí)模型調(diào)試技巧的總結(jié)思考以為主。不過(guò)以卷積神經(jīng)網(wǎng)絡(luò)為代表的深層神經(jīng)網(wǎng)絡(luò)一直被詬病，這對(duì)于模型在工業(yè)界的應(yīng)用推廣還是帶來(lái)了一定的阻礙。 作者楊軍，從事大規(guī)模機(jī)器學(xué)習(xí)系統(tǒng)研發(fā)及應(yīng)用相關(guān)工作。本文將分享一些自己關(guān)于深度學(xué)習(xí)模型調(diào)試技巧的總結(jié)思考（以CNN為主）。最近因?yàn)橐恍┬枰?，參與了一些CNN建模調(diào)參的工作，出于個(gè)人習(xí)性，我并不習(xí)慣于通過(guò)單純的trial-and-er...

    Developer 評(píng)論0 收藏0

  • Deep Learning（深度學(xué)習(xí)）學(xué)習(xí)筆記整理

    摘要：深度學(xué)習(xí)學(xué)習(xí)筆記整理系列作者聲明該的學(xué)習(xí)系列是整理自網(wǎng)上很大牛和機(jī)器學(xué)習(xí)專家所無(wú)私奉獻(xiàn)的資料的。但是自年以來(lái)，機(jī)器學(xué)習(xí)領(lǐng)域，取得了突破性的進(jìn)展。 Deep Learning（深度學(xué)習(xí)）學(xué)習(xí)筆記整理系列 [email protected] http://blog.csdn.net/zouxy09 作者：Zouxy version 1.0? 2013-04-08聲明：1）該Deep Lea...

    Cheriselalala 評(píng)論0 收藏0

  • 128篇論文，21大領(lǐng)域，深度學(xué)習(xí)最值得看的資源全在這了

    摘要：對(duì)于大多數(shù)想上手深度學(xué)習(xí)的小伙伴來(lái)說(shuō)，我應(yīng)當(dāng)從那篇論文開始讀起這是一個(gè)亙古不變的話題。接下來(lái)的論文將帶你深入理解深度學(xué)習(xí)方法深度學(xué)習(xí)在前沿領(lǐng)域的不同應(yīng)用。 對(duì)于大多數(shù)想上手深度學(xué)習(xí)的小伙伴來(lái)說(shuō)，我應(yīng)當(dāng)從那篇論文開始讀起？這是一個(gè)亙古不變的話題。而對(duì)那些已經(jīng)入門的同學(xué)來(lái)說(shuō)，了解一下不同方向的論文，也是不時(shí)之需。有沒(méi)有一份完整的深度學(xué)習(xí)論文導(dǎo)引，讓所有人都可以在里面找到想要的內(nèi)容呢？有！今天就給...

    tracymac7 評(píng)論0 收藏0

  • 《DeepLearning.ai 深度學(xué)習(xí)筆記》發(fā)布，黃海廣博士整理

    摘要：在這堂課中，學(xué)生將可以學(xué)習(xí)到深度學(xué)習(xí)的基礎(chǔ)，學(xué)會(huì)構(gòu)建神經(jīng)網(wǎng)絡(luò)，包括和等。課程中也會(huì)有很多實(shí)操項(xiàng)目，幫助學(xué)生更好地應(yīng)用自己學(xué)到的深度學(xué)習(xí)技術(shù)，解決真實(shí)世界問(wèn)題。 深度學(xué)習(xí)入門首推課程就是吳恩達(dá)的深度學(xué)習(xí)專項(xiàng)課程系列的 5 門課。該專項(xiàng)課程最大的特色就是內(nèi)容全面、通俗易懂并配備了豐富的實(shí)戰(zhàn)項(xiàng)目。今天，給大家推薦一份關(guān)于該專項(xiàng)課程的核心筆記！這份筆記只能用兩個(gè)字形容：全面！ showImg(...

    wenhai.he 評(píng)論0 收藏0

  • 神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)簡(jiǎn)史第四部分：深度學(xué)習(xí)終迎偉大復(fù)興

    摘要：主流機(jī)器學(xué)習(xí)社區(qū)對(duì)神經(jīng)網(wǎng)絡(luò)興趣寡然。對(duì)于深度學(xué)習(xí)的社區(qū)形成有著巨大的影響。然而，至少有兩個(gè)不同的方法對(duì)此都很有效應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)單梯度下降適用于信號(hào)和圖像，以及近期的逐層非監(jiān)督式學(xué)習(xí)之后的梯度下降。 我們終于來(lái)到簡(jiǎn)史的最后一部分。這一部分，我們會(huì)來(lái)到故事的尾聲并一睹神經(jīng)網(wǎng)絡(luò)如何在上世紀(jì)九十年代末擺脫頹勢(shì)并找回自己，也會(huì)看到自此以后它獲得的驚人先進(jìn)成果?！冈噯?wèn)機(jī)器學(xué)習(xí)領(lǐng)域的任何一人，是什...

    Simon_Zhou 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<