摘要：年深度學(xué)習(xí)取得的驚人突破將在年以一種非常有力的方式延續(xù)下去。整理了一份年深度學(xué)習(xí)的預(yù)測(cè)清單。谷歌將繼續(xù)以的開發(fā)項(xiàng)目給世界帶來(lái)驚喜。深度學(xué)習(xí)發(fā)現(xiàn)了通用函數(shù)近似器。深度學(xué)習(xí)研究信息將減少年對(duì)于從事深度學(xué)習(xí)研究的人來(lái)說(shuō)已經(jīng)很困難了。

【網(wǎng)易智能訊1月4日消息】我有一種預(yù)感，2018年可能是一切都發(fā)生戲劇性變化的一年。2017年深度學(xué)習(xí)取得的驚人突破將在2018年以一種非常有力的方式延續(xù)下去。2017年的研究工作將會(huì)轉(zhuǎn)移到日常的軟件應(yīng)用中。

整理了一份2018年深度學(xué)習(xí)的預(yù)測(cè)清單。

1、大部分深度學(xué)習(xí)硬件初創(chuàng)公司會(huì)失敗 許多深度學(xué)習(xí)硬件創(chuàng)業(yè)公司將開始在2018年最終交付他們的成品。大部分走向蕭條，因?yàn)樗麄儧]有提供好的軟件來(lái)支持新解決方案。這些公司擁有硬件作為他們的DNA。不幸的是，在深度學(xué)習(xí)領(lǐng)域，軟件也同樣重要。這些創(chuàng)業(yè)公司大多不懂軟件，也不理解開發(fā)軟件的成本。這些公司可能會(huì)交付產(chǎn)品，但不會(huì)運(yùn)行良久。

易實(shí)現(xiàn)的收縮陣列（systolic array）解決方案已經(jīng)被采用，因此不會(huì)有2017年那樣的10倍性能升級(jí)。研究人員將這些tensor cores不僅用于推斷，還用于加快訓(xùn)練速度。

英特爾的解決方案將繼續(xù)被推遲，而且可能會(huì)令人失望。記錄顯示英特爾無(wú)法在2017年中期發(fā)布，交付時(shí)間難以預(yù)測(cè)，這太遲了，而且會(huì)很糟糕。

谷歌將繼續(xù)以TPU的開發(fā)項(xiàng)目給世界帶來(lái)驚喜。或許，谷歌會(huì)通過(guò)將其IP授權(quán)給其他半導(dǎo)體廠商來(lái)涉足硬件業(yè)務(wù)。如果它繼續(xù)成為除英偉達(dá)以外唯一真正的玩家，這將是有意義的。

2、基于新隨機(jī)梯度下降（SGD）的元學(xué)習(xí) 2017年，元學(xué)習(xí)領(lǐng)域的大量研究成果出現(xiàn)。隨著研究群體對(duì)元學(xué)習(xí)的整體理解能力加強(qiáng)，隨機(jī)梯度下降（SGD）的舊范式將被擱置，取而代之的是一種更有效的方法，兼具開發(fā)和探索性。

非監(jiān)督學(xué)習(xí)的進(jìn)步將是漸進(jìn)的，但主要是由元學(xué)習(xí)算法驅(qū)動(dòng)的。

3、生成模型驅(qū)動(dòng)了一種新的建模方法 生成模型不斷發(fā)展。目前，大多數(shù)研究都是在生成圖像和語(yǔ)音方面進(jìn)行的。不過(guò)，我們應(yīng)當(dāng)看到這些方法結(jié)合工具被用于復(fù)雜系統(tǒng)的建模。其中的一個(gè)應(yīng)用領(lǐng)域是經(jīng)濟(jì)建模。

4、“自對(duì)弈”（Self-play）是自動(dòng)的知識(shí)創(chuàng)造 AlphaGo Zero和AlphaZero之間從零開始學(xué)習(xí)到“自對(duì)弈”學(xué)習(xí)是一次巨大的飛躍，在我看來(lái)，它和深度學(xué)習(xí)的到來(lái)有著同樣的影響。深度學(xué)習(xí)發(fā)現(xiàn)了通用函數(shù)近似器（Universal Function Approximators）。強(qiáng)化學(xué)習(xí)“自對(duì)弈”發(fā)現(xiàn)了普遍的知識(shí)創(chuàng)造。

期待看到更多與“自對(duì)弈”（Self-play）相關(guān)的進(jìn)步。

5、直覺機(jī)器將彌合語(yǔ)義鴻溝 這是我最大膽的預(yù)測(cè)。我們將彌合直覺機(jī)器和理性機(jī)器之間的語(yǔ)義鴻溝。

雙過(guò)程理論（兩個(gè)認(rèn)知機(jī)器的概念，一個(gè)是無(wú)模型的，另一個(gè)是基于模型的）將會(huì)是更普遍的概念，即我們應(yīng)該如何構(gòu)建新的人工智能。在2018年，人工直覺的概念將不再是一個(gè)邊緣概念，而是一個(gè)普遍接受的概念。

6、解釋能力（Explainability）是無(wú)法實(shí)現(xiàn)的，我們只能假裝 解釋能力存在兩個(gè)問(wèn)題。更常見的問(wèn)題是，解釋對(duì)人們來(lái)說(shuō)有太多的規(guī)則需要去掌握。第二個(gè)問(wèn)題不太為人所知，那就是機(jī)器將會(huì)創(chuàng)造出完全陌生的概念，無(wú)法解釋。我們已經(jīng)在AlphaGo Zero和Alpha Zero的戰(zhàn)略中看到了這一點(diǎn)。人類會(huì)觀察到，此舉是非常規(guī)的，但他們可能沒有能力去理解這一舉動(dòng)背后的邏輯。

在我看來(lái)，這是一個(gè)無(wú)法解決的問(wèn)題。取而代之的是，機(jī)器將變得非常善于“偽裝解釋”。簡(jiǎn)而言之，可解釋的機(jī)器的目的是理解一個(gè)人能夠自如地理解或能從直覺上理解的各種解釋。然而，在大多數(shù)情況下，對(duì)人類來(lái)說(shuō)，完整的解釋是不可能的。

我們必須通過(guò)創(chuàng)造“假解釋”來(lái)在深度學(xué)習(xí)中取得進(jìn)展。

7、深度學(xué)習(xí)研究信息將減少 2017年對(duì)于從事深度學(xué)習(xí)研究的人來(lái)說(shuō)已經(jīng)很困難了。提交到ICLR 2018會(huì)議的論文數(shù)量約為4,000篇。一個(gè)研究人員每天要閱讀10篇論文，僅僅是為了能與會(huì)議同步。

在這個(gè)領(lǐng)域，問(wèn)題變得更加嚴(yán)重，因?yàn)樗械睦碚摽蚣芏荚诓粩嗤晟浦?。為了在理論空間上取得進(jìn)步，我們需要尋找更先進(jìn)的數(shù)學(xué)知識(shí)，讓我們有更好的洞察力。這將是一項(xiàng)艱苦的工作，因?yàn)榇蠖鄶?shù)深度學(xué)習(xí)研究人員沒有相應(yīng)的數(shù)學(xué)背景來(lái)理解這類系統(tǒng)的復(fù)雜性。深度學(xué)習(xí)需要來(lái)自復(fù)雜性理論的研究人員，但這種類型的研究人員卻很少。

由于論文太多，理論也不完善，我們只能看到今天我們所處的不受歡迎的狀態(tài)。

此外，人工智能（AGI）的總體路線圖也缺失了。這個(gè)理論很弱，因此，我們能做的最好的事情就是創(chuàng)建一個(gè)包含與人類認(rèn)知相關(guān)的里程碑的路線圖。我們只有一個(gè)源自認(rèn)知心理學(xué)的推測(cè)理論的框架。這是一種糟糕的情況，因?yàn)閬?lái)自這些領(lǐng)域的經(jīng)驗(yàn)證據(jù)充其量只能是零星的。

深度學(xué)習(xí)研究論文在2018年可能會(huì)增加兩倍或四倍。

8、工業(yè)化通過(guò)教學(xué)環(huán)境進(jìn)行 深度學(xué)習(xí)系統(tǒng)的發(fā)展，是通過(guò)具體的教學(xué)環(huán)境的發(fā)展而實(shí)現(xiàn)的。我在這里和這里更詳細(xì)地討論這個(gè)問(wèn)題。如果你想找到教學(xué)技巧的最高級(jí)形式，你只需要看看學(xué)習(xí)網(wǎng)絡(luò)是如何訓(xùn)練的。我們都希望在這一領(lǐng)域取得更多進(jìn)展。

預(yù)計(jì)將有更多公司披露其內(nèi)部基礎(chǔ)設(shè)施，以說(shuō)明他們?nèi)绾未笠?guī)模部署深度學(xué)習(xí)。

9、對(duì)話認(rèn)知產(chǎn)生 我們衡量AGI進(jìn)展的方法是過(guò)時(shí)的。需要一種新的范式來(lái)解決現(xiàn)實(shí)世界中的動(dòng)態(tài)(即非平穩(wěn))復(fù)雜性。我們應(yīng)該在新的一年里看到更多關(guān)于這個(gè)新領(lǐng)域的報(bào)道。我將在3月1日至2日在阿姆斯特丹舉行的信息能源2018上談?wù)撨@種新的對(duì)話認(rèn)知范式。

10、對(duì)人工智能倫理使用的需求將會(huì)增加。 如今，人們?cè)絹?lái)越意識(shí)到自動(dòng)化失控造成的意外會(huì)帶來(lái)的災(zāi)難性后果。我們今天在Facebook、Twitter、谷歌、亞馬遜等網(wǎng)站上發(fā)現(xiàn)的簡(jiǎn)單自動(dòng)化可能會(huì)對(duì)社會(huì)產(chǎn)生不必要的影響。

我們需要理解部署能夠預(yù)測(cè)人類行為的機(jī)器的倫理道德。面部識(shí)別是我們掌握的最危險(xiǎn)的能力之一。能夠生成與現(xiàn)實(shí)難以區(qū)分的媒體的算法將會(huì)成為一個(gè)大問(wèn)題。我們作為社會(huì)的一員，需要開始把人工智能僅僅作為一個(gè)造福社會(huì)的整體，而不是作為一種增加不平等的武器。

預(yù)計(jì)在接下來(lái)的一年里會(huì)有更多關(guān)于道德的討論。然而，不要期待新的監(jiān)管規(guī)定。在理解人工智能對(duì)社會(huì)的影響方面，政策制定者仍然落后。我不指望他們停止玩弄政治，開始解決社會(huì)真正的問(wèn)題。美國(guó)人口已經(jīng)成為眾多安全漏洞的受害者，但我們還沒有看到任何新的立法或倡議來(lái)解決這個(gè)嚴(yán)重的問(wèn)題。所以不要屏住呼吸，我們的領(lǐng)導(dǎo)人會(huì)突然發(fā)現(xiàn)智慧。

準(zhǔn)備迎接沖擊，這就是我現(xiàn)在所擁有的一切。2018年將是重要的一年，我們最好系緊安全帶，準(zhǔn)備迎接沖擊。