資訊專(zhuān)欄INFORMATION COLUMN
摘要：論文鏈接會(huì)上其他科學(xué)家認(rèn)為反向傳播在人工智能的未來(lái)仍然起到關(guān)鍵作用。既然要從頭再來(lái)，的下一步是什么值得一提的是，與他的谷歌同事和共同完成的論文已被大會(huì)接收。
三十多年前，深度學(xué)習(xí)著名學(xué)者 Geoffrey Hinton 參與完成了論文《Experiments on Learning by Back Propagation》，提出了反向傳播這一深刻影響人工智能領(lǐng)域的方法。今天的他又一次呼吁研究者們對(duì)反向傳播保持懷疑態(tài)度，并準(zhǔn)備在理論體系上推倒重來(lái)。
Geoffrey Hinton 很是懷疑當(dāng)前干著粗重活的人工智能
1986 年，Geoffrey Hinton 與別人合作了一篇論文（《Experiments on Learning by Back Propagation》）；三十多年后，這篇論文成為了人工智能爆發(fā)的中心。但是 Hinton 說(shuō)他先前的突破性方法應(yīng)該擯棄，轉(zhuǎn)而去發(fā)現(xiàn)一種通向 AI 的新路徑。Hinton，這位多倫多大學(xué)的榮譽(yù)退休教授兼谷歌研究員，說(shuō)道他現(xiàn)在「深度懷疑」反向傳播，正是這一笨重方法催生出了當(dāng)今 AI 領(lǐng)域的絕大多數(shù)進(jìn)展，包括圖像與語(yǔ)音識(shí)別?！肝业挠^點(diǎn)是擯棄一切，從頭再來(lái)。」Hinton 說(shuō)。
論文《Experiments on Learning by Back Propagation》鏈接：http://www.cs.toronto.edu/~fritz/absps/bptr.pdf
會(huì)上其他科學(xué)家認(rèn)為反向傳播在人工智能的未來(lái)仍然起到關(guān)鍵作用。但是 Hinton 認(rèn)為，要想實(shí)現(xiàn)實(shí)質(zhì)進(jìn)展，必須創(chuàng)造全新的方法?！窶ax Planck 說(shuō)：科學(xué)每經(jīng)歷一次葬禮就前進(jìn)一步。未來(lái)依靠對(duì)我所說(shuō)的一切持懷疑態(tài)度的研究生?！?/p>
運(yùn)作機(jī)制：在反向傳播中，標(biāo)簽或「權(quán)重」用于在類(lèi)腦神經(jīng)層中展示圖像或聲音。權(quán)重可以逐層調(diào)整，直到該網(wǎng)絡(luò)能夠在最少錯(cuò)的情況下執(zhí)行智能功能。
但是 Hinton 認(rèn)為這樣是為了讓神經(jīng)網(wǎng)絡(luò)自行做到「無(wú)監(jiān)督學(xué)習(xí)」，他說(shuō)：「我猜想這意味著拋棄反向傳播，這不是大腦工作的方式，很明顯我們并不需要標(biāo)注所有數(shù)據(jù)?！?/p>
axios 文章中 Hinton「擯棄一切，從頭再來(lái)」的觀點(diǎn)，在推特上引起了熱烈反響，Pedro Domingos、李飛飛等多人轉(zhuǎn)推。李飛飛評(píng)論道：「反向傳播非常重要，它就像是飛機(jī)上的勞斯萊斯引擎，雖然飛機(jī)無(wú)法做到像飛鳥(niǎo)一樣機(jī)敏而靈活?！顾终f(shuō)：「贊同 Hinton 關(guān)于沒(méi)有工具是永恒的觀點(diǎn)，甚至反向傳播或者深度學(xué)習(xí)也不例外。因此，基礎(chǔ)研究的繼續(xù)異常重要?！笹ary Marcus 也對(duì)這一觀點(diǎn)做出了回應(yīng)：「深度學(xué)習(xí)并不完美，我們需要另起爐灶。Hinton 佐證了我二十年前講過(guò)的這句話(huà)。」
既然要從頭再來(lái)，Hinton 的下一步是什么？值得一提的是，Hinton 與他的谷歌同事 Sara Sabour 和 Nicholas Frosst 共同完成的論文《Dynamic Routing Between Capsules》已被 NIPS 2017 大會(huì)接收。研究人員提出的容器（capsule）概念正是 Hinton 對(duì)于未來(lái)人工智能形態(tài)的探索。不可否認(rèn)的是，在無(wú)監(jiān)督學(xué)習(xí)的道路上，我們還有很長(zhǎng)的一段路要走。
論文：Dynamic Routing Between Capsules
大會(huì)論文鏈接：https://nips.cc/Conferences/2017/Schedule?showEvent=9167
摘要：capsule 是一組神經(jīng)元，其活動(dòng)向量展示特定實(shí)體類(lèi)型的實(shí)例化參數(shù)，如對(duì)象或?qū)ο蟛糠?。我們使用活?dòng)向量的長(zhǎng)度表征實(shí)體存在的概率，縱向代表實(shí)例化參數(shù)。同一水平的活躍 capsule 通過(guò)變換矩陣對(duì)更高級(jí)別的 capsule 的實(shí)例化參數(shù)進(jìn)行預(yù)測(cè)。當(dāng)多個(gè)預(yù)測(cè)一致時(shí)，更高級(jí)別的 capsule 變的活躍。我們展示了判別訓(xùn)練的多層 capsule 系統(tǒng)在 MNIST 數(shù)據(jù)集上達(dá)到了頂尖的性能，比識(shí)別高度重疊的數(shù)字的卷積網(wǎng)絡(luò)的性能優(yōu)越很多。為了達(dá)到這些結(jié)果，我們使用迭代的路由協(xié)議機(jī)制：較低級(jí)別的 capsule 偏向于將輸出發(fā)送至高級(jí)別的 capsule，有了來(lái)自低級(jí)別 capsule 的預(yù)測(cè)，高級(jí)別 capsule 的活動(dòng)向量具備大標(biāo)量積。?
原文鏈接：https://www.axios.com/ai-pioneer-advocates-starting-over-2485537027.html
歡迎加入本站公開(kāi)興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/4608.html
摘要：然而反向傳播自誕生起，也受到了無(wú)數(shù)質(zhì)疑。主要是因?yàn)椋聪騻鞑C(jī)制實(shí)在是不像大腦。他集結(jié)了來(lái)自和多倫多大學(xué)的強(qiáng)大力量，對(duì)這些替代品進(jìn)行了一次評(píng)估。號(hào)選手，目標(biāo)差傳播，。其中來(lái)自多倫多大學(xué)和，一作和來(lái)自，來(lái)自多倫多大學(xué)。 32年前，人工智能、機(jī)器學(xué)習(xí)界的泰斗Hinton提出反向傳播理念，如今反向傳播已經(jīng)成為推動(dòng)深度學(xué)習(xí)爆發(fā)的核心技術(shù)。然而反向傳播自誕生起，也受到了無(wú)數(shù)質(zhì)疑。這些質(zhì)疑來(lái)自各路科學(xué)家...
摘要：在最近的一次人工智能會(huì)議上，表示自己對(duì)于反向傳播非常懷疑，并提出應(yīng)該拋棄它并重新開(kāi)始。在人工智能多年的發(fā)展過(guò)程中，反向傳播已經(jīng)成為了深度學(xué)習(xí)不可或缺的一部分。最后，我們會(huì)將這些規(guī)則組合成可用于任意神經(jīng)網(wǎng)絡(luò)的反向傳播算法。 現(xiàn)在的深度學(xué)習(xí)發(fā)展似乎已經(jīng)陷入了大型化、深度化的怪圈，我們?cè)O(shè)計(jì)的模型容易被對(duì)抗樣本欺騙，同時(shí)又需要大量的訓(xùn)練數(shù)據(jù)——在無(wú)監(jiān)督學(xué)習(xí)上我們?nèi)〉玫耐黄七€很少。作為反向傳播這一深度...
摘要：的研究興趣涵蓋大多數(shù)深度學(xué)習(xí)主題，特別是生成模型以及機(jī)器學(xué)習(xí)的安全和隱私。與以及教授一起造就了年始的深度學(xué)習(xí)復(fù)興。目前他是僅存的幾個(gè)仍然全身心投入在學(xué)術(shù)界的深度學(xué)習(xí)教授之一。 Andrej Karpathy特斯拉 AI 主管Andrej Karpathy 擁有斯坦福大學(xué)計(jì)算機(jī)視覺(jué)博士學(xué)位，讀博期間師從現(xiàn)任 Google AI 首席科學(xué)家李飛飛，研究卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理上的應(yīng)...
摘要：近日，該論文的一作終于在上公開(kāi)了該論文中的代碼。該項(xiàng)目上線(xiàn)天便獲得了個(gè)，并被了次。 當(dāng)前的深度學(xué)習(xí)理論是由Geoffrey Hinton大神在2007年確立起來(lái)的，但是如今他卻認(rèn)為，CNN的特征提取層與次抽樣層交叉存取，將相同類(lèi)型的相鄰特征檢測(cè)器的輸出匯集到一起是大有問(wèn)題的。去年9月，在多倫多接受媒體采訪(fǎng)時(shí)，Hinton大神斷然宣稱(chēng)要放棄反向傳播，讓整個(gè)人工智能從頭再造。10月，人們關(guān)注已久...
摘要：在最近的一次大會(huì)上，表示，他對(duì)反向傳播深表懷疑，并認(rèn)為我的觀點(diǎn)是將它完全摒棄，然后重新開(kāi)始。相對(duì)于對(duì)象函數(shù)計(jì)算反向傳播。通常，目標(biāo)函數(shù)是預(yù)測(cè)分布與實(shí)際分布之間差異的量度。所以也許無(wú)監(jiān)督的學(xué)習(xí)不需要目標(biāo)函數(shù)，但是它仍然可能需要反向傳播。 Geoffrey Hinton終于公開(kāi)闡述了他對(duì)那些早已令許多人惶恐不安的事物的看法。在最近的一次AI大會(huì)上，Hinton表示，他對(duì)反向傳播深表懷疑，并認(rèn)為：...
閱讀 2589·2023-04-26 01:44
閱讀 2620·2021-09-10 10:50
閱讀 1450·2019-08-30 15:56
閱讀 2348·2019-08-30 15:44
閱讀 546·2019-08-29 11:14
閱讀 3454·2019-08-26 11:56
閱讀 3042·2019-08-26 11:52
閱讀 949·2019-08-26 10:27
