摘要：年的深度學(xué)習(xí)研討會(huì)，壓軸大戲是關(guān)于深度學(xué)習(xí)未來(lái)的討論。他認(rèn)為，有潛力成為深度學(xué)習(xí)的下一個(gè)重點(diǎn)。認(rèn)為這樣的人工智能恐懼和奇點(diǎn)的討論是一個(gè)巨大的牽引。

2015年ICML的深度學(xué)習(xí)研討會(huì)，壓軸大戲是關(guān)于深度學(xué)習(xí)未來(lái)的討論?；谄胶饪紤]，組織方分別邀請(qǐng)了來(lái)自工業(yè)界和學(xué)術(shù)界的六位專(zhuān)家開(kāi)展這次圓桌討論。組織者之一Kyunghyun Cho（Bengio的博士后）在飛機(jī)上憑記憶寫(xiě)下本文總結(jié)了討論的內(nèi)容，他謹(jǐn)慎地表示一些轉(zhuǎn)述不夠準(zhǔn)確，歡迎大家評(píng)論補(bǔ)充。但這篇總結(jié)仍然不失借鑒意義。

六位專(zhuān)家包括：Yoshua Bengio（蒙特利爾大學(xué)），Neil Lawrence（謝菲爾德大學(xué)），Juergen Schmidhuber（IDSIA），Demis Hassabis（Google DeepMind），Yann LeCun（Facebook，NYU）和Kevin Murphy（Google）。Max Welling（阿姆斯特丹大學(xué)）主持了討論。

深度學(xué)習(xí)的現(xiàn)狀與未來(lái)

Bengio首先指出，雖然在過(guò)去的一年已經(jīng)取得巨大的進(jìn)步，自然語(yǔ)言處理（NLP）尚未通過(guò)深度學(xué)習(xí)來(lái)革命。他認(rèn)為，NLP有潛力成為深度學(xué)習(xí)的下一個(gè)重點(diǎn)。此外，他希望更多的努力投資到無(wú)監(jiān)督學(xué)習(xí)，這與LeCun，Hassabis和Schmidhuber產(chǎn)生共鳴。

有趣的是，六位圓桌嘉賓中的四位，LeCun，Hassabis，Lawrence和Murphy，都認(rèn)為醫(yī)藥醫(yī)療健康是深度機(jī)器學(xué)習(xí)的下一個(gè)大的事件。他們表示有興趣的有些領(lǐng)域是醫(yī)學(xué)圖像分析（LeCun）和藥物研發(fā)（Hassabis）。對(duì)此，我認(rèn)為L(zhǎng)awrence已經(jīng)推入了這個(gè)方向（他當(dāng)天的演講談到DeepHealth），并且將他的方法與Google DeepMind和Facebook的方法相比較會(huì)很有意思。

LeCun和Hassabis都選擇了問(wèn)答和自然語(yǔ)言對(duì)話(huà)系統(tǒng)作為下一個(gè)重點(diǎn)。尤其是，我喜歡LeCun如何在知識(shí)、其收購(gòu)和神經(jīng)網(wǎng)絡(luò)（或作為實(shí)際，任何機(jī)器學(xué)習(xí)模型）規(guī)劃的基礎(chǔ)上和在結(jié)合推理的背景下推出這些。這被Hassabis和Schmidhuber所呼應(yīng)。

Schmidhuber和Hassabis認(rèn)為順序決策應(yīng)該是下一個(gè)重要的研究課題。Schmidhuber的卷尾猴例子是令人振奮并且有趣的（這不僅是因?yàn)樗e(cuò)誤地把它宣布成一個(gè)卡布奇諾猴）。為了在一棵樹(shù)的頂端挑選水果，卷尾猴毫不費(fèi)力地規(guī)劃了一個(gè)子目標(biāo)序列（例如，步行到樹(shù)下，爬上樹(shù)，搶水果，…）。Schmidhuber認(rèn)為，我們將在10年內(nèi)使機(jī)器擁有動(dòng)物的智力水平（如Capuchin智能手機(jī)？）。

與其他嘉賓略有不同，Lawrence和Murphy更感興趣的是將深度學(xué)習(xí)的成果轉(zhuǎn)化到人類(lèi)不能很好解決的任務(wù)/數(shù)據(jù)集（現(xiàn)在，讓我把這些類(lèi)型的任務(wù)稱(chēng)為“非認(rèn)知”任務(wù)）。Lawrence指出，到目前為止，深度學(xué)習(xí)的成果已經(jīng)很大程度上被限制于人類(lèi)毫不費(fèi)力的任務(wù)上，但未來(lái)可能是非認(rèn)知（non-cognitive）任務(wù)。當(dāng)談到這些非認(rèn)知任務(wù)，Murphy認(rèn)為訓(xùn)練模型的解釋性將變得更有價(jià)值。

Murphy和Schmidhuber解釋到，分層規(guī)劃、知識(shí)獲取和執(zhí)行非認(rèn)知任務(wù)的能力自然引起了自動(dòng)化實(shí)驗(yàn)室的想法。在這種自動(dòng)化實(shí)驗(yàn)室，一臺(tái)機(jī)器將積極規(guī)劃其目標(biāo)來(lái)拓展其世界的知識(shí)（通過(guò)觀察和實(shí)驗(yàn)），并且可以深入了解世界（解釋性）。

產(chǎn)業(yè) vs. 學(xué)術(shù)

LeCun有一個(gè)令人驚訝的觀點(diǎn)，認(rèn)為工業(yè)實(shí)驗(yàn)室和學(xué)術(shù)實(shí)驗(yàn)室在基礎(chǔ)設(shè)施之間的差距會(huì)隨著時(shí)間的推移縮小，而不是擴(kuò)大。這很好，但我比他更悲觀。

LeCun繼續(xù)解釋在Facebook AI Research（FAIR）的開(kāi)放性的研究工作。他表示，產(chǎn)業(yè)（不是特指FAIR）應(yīng)該促進(jìn)開(kāi)放性科學(xué)有三個(gè)原因：（1）這是研究水平整體提升的方式，（2）這使得公司對(duì)未來(lái)的雇員、研究員更具吸引力，（3）不同公司在研究方面有競(jìng)爭(zhēng)，這是保持領(lǐng)先他人的方式。

令我驚訝的是，Hassabis表示，Google DeepMind和FAIR已經(jīng)同意共享基于Torch的軟件框架的研究。我依稀記得聽(tīng)到這個(gè)正在討論是在這幾個(gè)星期或幾個(gè)月前，但顯然它已經(jīng)發(fā)生了。我相信，這將進(jìn)一步加快FAIR和DeepMind的研究。然而，它對(duì)其他研究機(jī)構(gòu)（如大學(xué)）對(duì)于擁有世界上最集中的深度學(xué)習(xí)的兩地共享和使用相同的代碼庫(kù)是否有益還有待觀察。

Hassabis，Lawrence，Murphy和Bengio都認(rèn)為工業(yè)實(shí)驗(yàn)室提供的巨大資源對(duì)于學(xué)術(shù)實(shí)驗(yàn)室不一定是個(gè)問(wèn)題。Lawrence指出，相比其他那些數(shù)據(jù)驅(qū)動(dòng)的公司（想想Google和Facebook），世界上的大多數(shù)公司忍受著大量數(shù)據(jù)的痛苦，而不是在享受它，這將為學(xué)術(shù)實(shí)驗(yàn)室的研究人員打開(kāi)一個(gè)大的機(jī)會(huì)。Murphy近期比較了美俄太空競(jìng)賽時(shí)期兩國(guó)的學(xué)術(shù)研究。資源的缺乏證明可能是有用的，甚至對(duì)于算法突破是有必要的，Bengio和Hassabis發(fā)現(xiàn)它依然重要。此外，Hassabis建議尋找那些人們可以很容易制造人為數(shù)據(jù)的任務(wù)或問(wèn)題，比如游戲。

Schmidhuber的回答是這里最獨(dú)特的一個(gè)。他認(rèn)為，真正運(yùn)行AI代理的代碼是非常簡(jiǎn)短的，甚至高中生都能玩轉(zhuǎn)它。換句話(huà)說(shuō)，不用有任何擔(dān)心會(huì)有行業(yè)壟斷AI及其研究。

炒作和可能的第二個(gè)NN冬天

曾多次被記者問(wèn)到過(guò)度炒作的問(wèn)題，LeCun提到，過(guò)度炒作是危險(xiǎn)的，有四個(gè)因素：（1）需要資金的自欺欺人的學(xué)者，（2）需要資金的創(chuàng)業(yè)者，（3）資助機(jī)構(gòu)管理資金的項(xiàng)目經(jīng)理以及（4）失敗的新聞界（可能也需要資金、工資）。最近，在深度學(xué)習(xí)領(lǐng)域，第四因素起到了重要的作用，而奇怪的是，并非所有的新聞報(bào)道都是Google和Facebook公關(guān)機(jī)器的結(jié)果。相反，如果記者們?cè)趯?xiě)潛在的廢話(huà)之前呼喚研究員的話(huà)，LeCun會(huì)更喜歡。

LeCun和Bengio認(rèn)為，一個(gè)既避免過(guò)度炒作、又加快研究進(jìn)度的潛在的解決方案是開(kāi)放的審查制度，其中，（真正的）科學(xué)家、研究人員把自己的成果放在網(wǎng)上并且公開(kāi)發(fā)表評(píng)論，以便讓人們看到文章的兩面（以及為什么單文本不會(huì)造成奇異性）。進(jìn)一步推動(dòng)它，Murphy指出了開(kāi)源軟件研究的重要性，使用它，其他人可以更容易地理解論文中新提出方法的軟弱性和局限性。不過(guò)，他指出，當(dāng)寫(xiě)文章時(shí)，作者自己清楚地說(shuō)明自己方法的局限性是非常重要的。當(dāng)然，這需要Leon Bottou在他的全體會(huì)議演講上提到的（評(píng)審應(yīng)鼓勵(lì)局限性的討論，而不是因?yàn)榫窒扌远⑦@些文章）。

同樣，Lawrence建議，研究人員和科學(xué)家應(yīng)緩慢但穩(wěn)步地多接近公眾。如果我們不能相信記者的話(huà)，我們可能需要自己動(dòng)手。他指出的一個(gè)很好的例子是由Ryan Adams和Katherine Gorman展示的“Talking Machines”。

Hassabis贊同過(guò)度炒作是危險(xiǎn)的，但也認(rèn)為不會(huì)再有第三個(gè)AI/NN冬天了。因?yàn)槲覀儸F(xiàn)在知道了什么導(dǎo)致以前的AI/NN冬天，并且我們已經(jīng)在不過(guò)度承諾方面做得更好。如果我可以在這里補(bǔ)充我自己的觀點(diǎn)，我同意Hassabis，尤其是因?yàn)樯窠?jīng)網(wǎng)絡(luò)現(xiàn)在被廣泛部署于商業(yè)應(yīng)用（想想Google Voice），這將更加難以再有另一個(gè)NN冬季（我的意思是，它起作用?。?。

Schmidhuber也同意所有其他嘉賓，認(rèn)為不會(huì)再有任何更多的AI/NN冬天，但是因?yàn)榱硪粋€(gè)原因：硬件技術(shù)的進(jìn)步。他聽(tīng)起來(lái)好像他相信所有必要的算法組件已經(jīng)開(kāi)發(fā)并且一定程度上在目前形式的數(shù)碼電腦上得到了驗(yàn)證。他認(rèn)為這是一時(shí)機(jī)：從在發(fā)展通用AI方面取得更大進(jìn)步，轉(zhuǎn)移到不適合神經(jīng)網(wǎng)絡(luò)、更具體的回歸神經(jīng)網(wǎng)絡(luò)的硬件技術(shù)上。

Murphy的一個(gè)評(píng)論是我最喜歡的：“這簡(jiǎn)直是人類(lèi)的天性?！?/p>

人工智能恐懼和奇點(diǎn)

顯然DeepMind的Hassabis近期已經(jīng)從知名人士如Elon Musk，Stephen Hawking和Bill Gates中脫穎而出，成為的人工智能恐懼（AI fear）的核心。Hassabis向Musk介紹了AI，這可能讓他感到震驚。然而，在最近幾個(gè)月，Hassabis已經(jīng)說(shuō)服了Musk，并且和Hawking就這一點(diǎn)也有三個(gè)小時(shí)的長(zhǎng)聊。據(jù)他介紹，Hawking現(xiàn)在不太擔(dān)心。不過(guò)，他強(qiáng)調(diào)，我們必須為未來(lái)做好準(zhǔn)備，不要害怕。

Murphy認(rèn)為這樣的人工智能恐懼和奇點(diǎn)的討論是一個(gè)巨大的牽引。目前，世界上許多其他重大的問(wèn)題需要立即得到更多的關(guān)注，如氣候變化和傳播的不平等現(xiàn)象。這種人工智能恐懼是一個(gè)簡(jiǎn)單的超跌的炒作，需要停下來(lái)，直到Bengio和LeCun同意。同樣，Lawrence沒(méi)有找到人工智能恐懼真正擔(dān)心的問(wèn)題。相反，他更關(guān)注的是數(shù)字寡頭和數(shù)據(jù)的不平等問(wèn)題。

LeCun的一個(gè)有趣的評(píng)論是，我們必須要小心區(qū)分智能和素質(zhì)（quality）。大多數(shù)有問(wèn)題的人類(lèi)行為，由于許多擔(dān)心類(lèi)似人類(lèi)的人工智能，是由人類(lèi)素質(zhì)而不是智能造成的。任何智能機(jī)不需要繼承人的素質(zhì)。

Schmidhuber對(duì)此事有非常獨(dú)特的觀點(diǎn)。他認(rèn)為，我們將看到人工智能代理商社區(qū)由聰明的人和糊涂的人組成。他們會(huì)對(duì)彼此更感興趣（正如十歲的女孩對(duì)其他十歲的女孩更感興趣并且一起閑逛，以及卷尾猴對(duì)其他卷尾猴有興趣并一起出行），并且對(duì)人類(lèi)不怎么感興趣。此外，他認(rèn)為人工智能代理商會(huì)比人類(lèi)（或者說(shuō)他自己）顯著聰明，沒(méi)有這些人類(lèi)的素質(zhì)，他不像是自己，這與LeCun的言論一致。

聽(tīng)眾提問(wèn)

不幸的是，Q&A時(shí)間我拿著麥克風(fēng)到處跑，無(wú)法針對(duì)好問(wèn)題和專(zhuān)家回復(fù)進(jìn)行記錄和注釋。

我記得一個(gè)來(lái)自Tieleman的問(wèn)題。他詢(xún)問(wèn)了嘉賓有關(guān)他們?cè)谥鲃?dòng)學(xué)習(xí)、探索方面的觀點(diǎn)，作為有效監(jiān)督學(xué)習(xí)的一個(gè)選擇。Schmidhuber和Murphy進(jìn)行了回答，在我透露他們的答復(fù)之前，我真的很喜歡它。總而言之（或我盡可能肯定我的記憶），積極探索會(huì)自然而然的發(fā)生，作為獎(jiǎng)勵(lì)更好解釋世界的結(jié)果。周?chē)澜绲闹R(shí)和它的積累應(yīng)該得到回報(bào)，并較大限度該獎(jiǎng)勵(lì)，代理人或算法將積極探索周邊地區(qū)（甚至沒(méi)有監(jiān)督）。Murphy表示，這可能反映嬰兒如何在沒(méi)有太多的監(jiān)督信號(hào)，甚至沒(méi)有太多的無(wú)監(jiān)督信號(hào)的情況下（他們積極探索的方式通過(guò)允許嬰兒收集高質(zhì)量的無(wú)監(jiān)督例子來(lái)彌補(bǔ)無(wú)監(jiān)督例子的缺乏）這么快就學(xué)會(huì)。

我很榮幸可以直接向Hassabis，LeCun和Murphy詢(xún)問(wèn)最后的問(wèn)題：如果他們（有意或無(wú)意）建立了一個(gè)真正工作的AI代理（不管什么意思），公司會(huì)怎么做？他們會(huì)掩蓋它，認(rèn)為世界還沒(méi)有為此做好準(zhǔn)備嗎？他們會(huì)因?yàn)樯虡I(yè)的潛在機(jī)會(huì)而保密嗎？

他們都表示，不會(huì)發(fā)生這樣的情況（一次事故導(dǎo)致有思維的機(jī)器）。而且，正因?yàn)槿绱?，LeCun沒(méi)有找到它相關(guān)的，因?yàn)檫@將逐漸發(fā)生，這是許多工業(yè)界和學(xué)術(shù)界的科學(xué)家都加入進(jìn)來(lái)共同努力的結(jié)果。Hassabis認(rèn)同LeCun的做法，也無(wú)法想象，這樣的發(fā)現(xiàn)既然已經(jīng)發(fā)生了，就可以被容納（可能是人類(lèi)歷史上較好的漏洞）。不過(guò)，他主張為未來(lái)做好準(zhǔn)備：我們，人類(lèi)，將有機(jī)會(huì)使用真正有思維的機(jī)器，它們擁有我們分享的情緒。Murphy同意LeCun和Hassabis。他連同LeCun做了關(guān)于最近發(fā)布電影的評(píng)論，Ex-Machina（順便說(shuō)一下，這是今年到目前為止我的最?lèi)?ài)）：這是一個(gè)美麗的拍攝電影，但不會(huì)在現(xiàn)實(shí)中發(fā)生。

我同意他們所提出的觀點(diǎn)。不過(guò)，在我的問(wèn)題背后還有另外一個(gè)原因，很不幸的是沒(méi)有被他們討論（無(wú)疑是由于時(shí)間的限制）。也就是說(shuō)，一旦我們有正在“思考”的算法或機(jī)器，而且說(shuō)出幾個(gè)商業(yè)公司開(kāi)發(fā)的最重要的幾個(gè)部分（像Hassabis，LeCun和Murphy那樣的），我們就在這些關(guān)鍵部件上有權(quán)利，這些至關(guān)重要的組件屬于這些公司還是個(gè)人？他們將不得不做出公開(kāi)（像人工智能的普遍權(quán)利）嗎？以及最重要的是誰(shuí)將決定所有這些？

結(jié)論？

很顯然，目前還沒(méi)有定論。這是一個(gè)持續(xù)的努力，而我或者我們的組織者，希望這個(gè)圓桌討論會(huì)可以成功落地，至少給深度學(xué)習(xí)及一般人工智能的未來(lái)路徑帶來(lái)些許光明（然而，Lawrence通過(guò)引用Zoubin Ghahramani的話(huà)“如果鳥(niǎo)的飛行稱(chēng)為飛行，那么飛機(jī)的飛行稱(chēng)為人造飛行？”來(lái)指出這個(gè)詞的荒謬）。

但是，讓我指出我已經(jīng)找到的個(gè)人覺(jué)得非常有趣的、令人振奮的幾件事情：

無(wú)監(jiān)督學(xué)習(xí)作為強(qiáng)化學(xué)習(xí)和自動(dòng)化實(shí)驗(yàn)室：不用只是考慮每一個(gè)多帶帶的、未標(biāo)記的例子，我們應(yīng)該讓一個(gè)模型選擇性的考慮未標(biāo)記示例的一個(gè)子集，以較大化限定于積累知識(shí)量的獎(jiǎng)勵(lì)。

過(guò)度炒作可以在很大程度上避免研究人員在發(fā)布成果和理念方面的積極參與，而不是讓非專(zhuān)業(yè)人士向非專(zhuān)業(yè)人士解釋。播客、開(kāi)放的審查和博客有一定幫助，但也有可能是沒(méi)有一個(gè)正確的答案。

我不認(rèn)為工業(yè)界與學(xué)術(shù)界之間有任何的協(xié)議。不過(guò)，我覺(jué)得所有的三位學(xué)術(shù)專(zhuān)家以及其他產(chǎn)業(yè)專(zhuān)家都贊同，他們每個(gè)人都有自己的角色（有時(shí)是重疊的），朝著一個(gè)宏偉目標(biāo)。

深度學(xué)習(xí)已經(jīng)在人類(lèi)擅長(zhǎng)的領(lǐng)域（例如視覺(jué)和語(yǔ)音）獲得了成功，并且未來(lái)我們作為研究者還應(yīng)該探索人類(lèi)并不擅長(zhǎng)（或者在一年又一年的專(zhuān)門(mén)培訓(xùn)后變得擅長(zhǎng)）的任務(wù)、數(shù)據(jù)集。在這個(gè)意義上，醫(yī)藥、保健似乎是大部分專(zhuān)家感興趣并且愿意投資的一個(gè)領(lǐng)域。