摘要：年實驗室團(tuán)隊采用了深度學(xué)習(xí)獲勝，失敗率僅。許多其他參賽選手也紛紛采用這一技術(shù)年，所有選手都使用了深度學(xué)習(xí)。和他的同事運(yùn)用深度學(xué)習(xí)系統(tǒng)贏得了美元。深度學(xué)習(xí)，似乎是解決

三年前，在山景城（加利福尼亞州）秘密的谷歌X實驗室里，研究者從YouTube視頻中選取了大約一千萬張靜態(tài)圖片，并且導(dǎo)入到Google Brain —— 一個由1000臺電腦組成的像幼兒大腦一樣的神經(jīng)網(wǎng)絡(luò)?；ㄙM(fèi)了三天時間尋找模式之后，Google Brain 能夠只靠自己就能區(qū)分出某些特定的分類：人臉，身體，還有——貓！

Google Brain發(fā)現(xiàn)，互聯(lián)網(wǎng)上充斥著貓的照片，這個發(fā)現(xiàn)讓人感到很有趣。但這也是深度學(xué)習(xí)復(fù)興中的里程碑：一門發(fā)展三十余年，擁有大量數(shù)據(jù)及處理能力的技術(shù)，幫助計算機(jī)解決一些人們可以直觀解決的繁瑣的問題，小至人臉識別，大到語言理解。

深度學(xué)習(xí)使計算機(jī)中的神經(jīng)網(wǎng)絡(luò)重新煥發(fā)生機(jī)，這一直是計算機(jī)領(lǐng)域的古老想法。這些系統(tǒng)，零星的被腦中密集的聯(lián)通神經(jīng)細(xì)胞所影響，在實驗的基礎(chǔ)上，通過調(diào)整神經(jīng)元直接連接的參數(shù)來模仿人類學(xué)習(xí)的過程。Google Brain， 有大約一百萬模擬神經(jīng)元，十億個模擬神經(jīng)連結(jié)（突觸），比之前的深度神經(jīng)網(wǎng)絡(luò)大十倍。 該項目創(chuàng)建者 Andrew Ng（吳恩達(dá)），已經(jīng)再一次地把深度學(xué)習(xí)系統(tǒng)擴(kuò)大了10倍，如今吳恩達(dá)的身份是百度首席科學(xué)家。

這些先進(jìn)技術(shù)使那些盼望電腦能像人類一樣思考的想法越來越接近現(xiàn)實。過去幾年中，像谷歌、蘋果和IBM 這類公司都已經(jīng)野心勃勃的啟動了相關(guān)研究。對普通用戶來說，深度學(xué)習(xí)的成果體現(xiàn)在越來越聰明的軟件層面，比如智能地進(jìn)行照片分類、理解口頭命令、翻譯外語文章等。對于工廠和科學(xué)家們，深度學(xué)習(xí)計算機(jī)能搜索潛在的候選藥物，繪制大腦中真實的神經(jīng)網(wǎng)絡(luò)或者預(yù)測蛋白質(zhì)的功能。

「人工智能一直在失敗中進(jìn)步。它可能成為另一個leapfrog（蛙跳）」紐約大學(xué)數(shù)據(jù)科學(xué)中心主任、深度學(xué)習(xí)研究者Yann LeCun說到。

「接下來幾年我們將目睹許多大魚吃小魚的事例，許多人將進(jìn)入深度學(xué)習(xí)的大潮中，」加州伯克利分校的計算機(jī)圖像識別研究者Jitendra Malik很同意這個觀點(diǎn)，但就長遠(yuǎn)而言，深度學(xué)習(xí)可能不會占上風(fēng)；一些研究者追求那些有保障的技術(shù)?！肝沂遣豢芍撜摺筂alik說?！笗r間將會告訴人們哪些技術(shù)更適合。」

受大腦啟發(fā) ??

如果追溯到20世紀(jì)50年代，計算機(jī)還是一個新鮮產(chǎn)物，第一代人工智能研究者急切地幻想成熟的人工智能技術(shù)近在眼前。但當(dāng)研究者發(fā)現(xiàn)實際的知識里蘊(yùn)含著巨大復(fù)雜度時，他們漸漸不再樂觀，尤其是遇到一個感知問題，比如說人臉與面具或猴子臉的區(qū)別到底在哪里。許多研究者與學(xué)者花了幾十年時間對計算機(jī)識別物體所必備的不同特征的規(guī)則進(jìn)行手動編程。「找出特征是件難事，耗費(fèi)很多時間，并且需要專業(yè)知識，」Ng說到，「你得想想有沒有更好的方法?！?/p>

20世紀(jì)80年代，神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)似乎是個更好的解決方案。這些系統(tǒng)能夠從抓取的數(shù)據(jù)中生成自己的規(guī)則，提供一種采用受大腦啟發(fā)機(jī)制的對稱性來完成類大腦功能。這種策略需要模擬神經(jīng)元并將之組織成多個層次。當(dāng)系統(tǒng)面對一張圖片時，學(xué)習(xí)系統(tǒng)的第一層僅能簡單區(qū)分其中的明暗像素點(diǎn)。下一層就能意識到某些像素點(diǎn)構(gòu)成了邊界；再往下一層就能區(qū)別水平和垂直線條。最后一層能識別出眼睛，并且認(rèn)識到人臉中通常有的兩只眼睛。(見“臉部識別”圖)。

Malik說，第一個深度學(xué)習(xí)程序表現(xiàn)的并不比更簡單的系統(tǒng)好，除此之外，使用起來還需要技巧。他說，「神經(jīng)網(wǎng)絡(luò)是需要管理的優(yōu)雅藝術(shù)。其中包含著些許黑色魔法」。神經(jīng)網(wǎng)絡(luò)需要學(xué)習(xí)大量實例，就像小孩收集現(xiàn)實世界的信息一樣。80年代到90年代，由于沒有太多的數(shù)字信息可用，計算機(jī)要花費(fèi)很長的時間去確定有些什么信息。因此，這一時期的技術(shù)應(yīng)用非常少，其中一個是由LeCun開發(fā)的技術(shù)，現(xiàn)在被銀行用于手寫支票識別。

然而，直到本世紀(jì)初，諸如LeCun、他的前導(dǎo)師——加拿大多倫多大學(xué)計算機(jī)科學(xué)家Geoffrey Hinton等深度學(xué)習(xí)倡導(dǎo)者們都相信，計算能力的增強(qiáng)以及數(shù)字?jǐn)?shù)據(jù)爆炸將會 再次推動這項研究的發(fā)展。 George Dahl，Hinton的學(xué)生說，「我們想要向世界證明，這些深度神經(jīng)網(wǎng)絡(luò)確實有用并能有所助益?！?/p>

起初，Hinton、Dahl和其他幾個人解決了困難但有商業(yè)重要性的語音識別問題。2009年，研究報告指出，經(jīng)過經(jīng)典數(shù)據(jù)——三小時錄音和轉(zhuǎn)錄語音——訓(xùn)練后，在口語轉(zhuǎn)為文本的準(zhǔn)確率上，他們的深度學(xué)習(xí)網(wǎng)絡(luò)破了紀(jì)錄，這項紀(jì)錄由標(biāo)準(zhǔn)、基于規(guī)則的傳統(tǒng)套路保持了十來年。Dahl，這個在微軟實習(xí)期間，將深度學(xué)習(xí)技術(shù)帶到了微軟的人說，他們的成功吸引了主流智能手機(jī)廠商的注意。「幾年之后，他們都轉(zhuǎn)向了深度學(xué)習(xí)」。比如，蘋果手機(jī)語音助手Siri，正是以深度學(xué)習(xí)為基礎(chǔ)的。

巨大飛躍

當(dāng)谷歌在安卓手機(jī)操作系統(tǒng)中采用以深度學(xué)習(xí)為基礎(chǔ)的語音識別技術(shù)時，單詞錯誤大幅度降低25%。Hinton認(rèn)為，在這個領(lǐng)域有所進(jìn)展，非常困難。「這就象畢十次技術(shù)突破之功于一役?！?/p>

與此同時，Ng說服谷歌讓他使用谷歌數(shù)據(jù)和計算機(jī)來建造谷歌大腦。谷歌大腦對貓的識別，是一次頗為吸引人的計算機(jī)進(jìn)行無監(jiān)督學(xué)習(xí)的展示（但僅憑這點(diǎn)，并不能說明其具有商業(yè)可行性）——無監(jiān)督學(xué)習(xí)是最難的機(jī)器學(xué)習(xí)任務(wù)，因為被輸入計算機(jī)的信息沒有攜帶任何諸如姓名、題目或種類等的解釋標(biāo)簽。但是，不久，Ng就遇到了麻煩，谷歌之外，幾乎沒有哪個研究者擁有從事深度學(xué)習(xí)的工具。他說，「磨了許多嘴皮子，那些沮喪的研究生們還是會跑過來跟我說，沒有1,000臺電腦，也能開展研究？」

所以，回到斯坦福后，Ng開始使用圖形處理器GPUs——一種為家用電腦游戲開發(fā)的超快芯片，開發(fā)更大、更便宜的深度學(xué)習(xí)網(wǎng)絡(luò)。其他人正這么干著，Ng說，「在硬件上投入大約100,000美元，我們就能用64個GPU制造出一臺擁有百億連接的深度學(xué)習(xí)網(wǎng)絡(luò)?！?/p>

勝利的機(jī)器

但是,說服計算機(jī)視覺科學(xué)家需要更多的籌碼：他們希望看到標(biāo)準(zhǔn)測試的成績。Malik記得Hinton曾經(jīng)問過他，「你是個懷疑論者，如何能夠說服你？」Malik回答說，國際著名賽事——ImageNet的勝利。

比賽中，每個團(tuán)隊用大約1百萬張圖片組成的數(shù)據(jù)組來訓(xùn)練計算機(jī)程序， ?這1百萬張圖片被人工標(biāo)注了所屬類別。訓(xùn)練后，計算機(jī)程序就要接受測試：將程序未曾見過的相似圖片歸到所屬類別。每張圖片，程序均有5次機(jī)會，如果5次均錯，則視為測試失敗。過去的獲勝者失敗率約為25%。2012年Hinton實驗室團(tuán)隊采用了深度學(xué)習(xí)獲勝，失敗率僅15%。

LeCun說，「深度學(xué)習(xí)完勝任何其他技術(shù)」，不過他并非戰(zhàn)隊成員。 勝利讓Hinton贏得了谷歌兼職工作 。2013年5月，公司將成果用于升級更新Google+圖片搜索。

Malik被說服了，「在科學(xué)領(lǐng)域，你不得不隨經(jīng)驗證據(jù)的變化，適時而動，這場比賽結(jié)果就是證據(jù)」。后來他修改了技術(shù)，在另一場視覺識別競賽中，打破了比賽記錄。許多其他參賽選手也紛紛采用這一技術(shù)：2013年，所有ImageNet選手都使用了深度學(xué)習(xí)。

在圖像和語音識別上取得巨大勝利后， ?人們對將深度學(xué)習(xí)運(yùn)用到自然語言理解——比如，很好地理解人類對話以轉(zhuǎn)述或回答問題——以及語言翻譯，越來越感興趣。同樣，當(dāng)前這些任務(wù)是靠硬編碼規(guī)則以及明文本的統(tǒng)計分析完成的。這些技術(shù)的最先近成果可以在諸如谷歌翻譯這樣的軟件中找到，該翻譯軟件能夠生成用戶理解的翻譯結(jié)果（盡管有時很搞笑），但是，和順暢的人工翻譯相比，還差得遠(yuǎn)?！肝磥?，深度學(xué)習(xí)會比現(xiàn)在表現(xiàn)地更好」，眾包專家Lius von Ahn說，他的公司Duolingo(位于Pittsburgh, Pennsylvania)，（眾包）依賴于人而不是計算機(jī)進(jìn)行文本翻譯，「所有人都同意時是嘗試不同的方法的時候了」。

深度科學(xué)

與此同時，深度學(xué)習(xí)也被證明有助于完成各種科學(xué)任務(wù)，Hinton說，「深度網(wǎng)絡(luò)確實擅于發(fā)現(xiàn)數(shù)據(jù)集中的模式」。2012年，默克（Merck)藥物公司表示，在有效備選藥物的預(yù)測上，任何打敗公司機(jī)器程序的選手，將會獲得公司給出的賞金。比賽任務(wù)是，從數(shù)據(jù)庫中獲取三千多萬小分子，每個小分子有成千上萬種化學(xué)性質(zhì)描述，以此為基礎(chǔ)，預(yù)測每個小分子對15種不同的目標(biāo)分子的反應(yīng)。Dahl和他的同事運(yùn)用深度學(xué)習(xí)系統(tǒng)贏得了22,000美元?！肝覀兏倪M(jìn)了默克程序基準(zhǔn)，提高了約15%」他說。

生物學(xué)家和機(jī)器計算研究人員（包括麻省理工學(xué)院的 Sebastian Seung）正在使用深度學(xué)習(xí)來幫助他們研究大腦切片的三維圖像。這些圖像中有表示神經(jīng)元聯(lián)結(jié)的亂如團(tuán)麻的線；它們要先被標(biāo)定出來，然后才能用于繪制和計量。過去，追蹤標(biāo)定線條的工作由本科生來完成，但是隨著項目的開展，面對將會出現(xiàn)的數(shù)百萬神經(jīng)元，追蹤標(biāo)定工作的自動化將是解決問題的辦法。深度學(xué)習(xí)，似乎是解決自動化的較佳手段。Sebastian Seung正在使用一個深度學(xué)習(xí)程序去繪制視網(wǎng)膜中的一大片神經(jīng)元，再將結(jié)果轉(zhuǎn)發(fā)給一個叫做EyeWire的眾包游戲上，由志愿者們?nèi)徯！?/p>

威廉·斯坦?！ぶZ貝爾（William Stafford Noble,），西雅圖華盛頓大學(xué)的計算機(jī)科學(xué)家，已經(jīng)使用深度學(xué)習(xí)教授一個程序如何查看一連串的氨基酸并預(yù)見其聚合成的蛋白質(zhì)結(jié)構(gòu)—比如，氨基酸不同的部分會形成多肽鏈還是α螺旋，或者溶劑浸入該結(jié)構(gòu)中的孔隙是否容易。一直以來，諾貝爾都是在一個小數(shù)據(jù)集基礎(chǔ)上訓(xùn)練該程序，接下來的幾個月，他將進(jìn)一步深入到蛋白質(zhì)數(shù)據(jù)庫：一個目前有著將近10萬個蛋白質(zhì)結(jié)構(gòu)的全球數(shù)據(jù)庫。

深度學(xué)習(xí)也能為計算機(jī)科學(xué)家們帶來巨大經(jīng)濟(jì)利益：Dahl正在考慮創(chuàng)業(yè)良機(jī)，LeCun上個月被Facebook聘去領(lǐng)導(dǎo)一個新的人工智能部門。這種技術(shù)（深度學(xué)習(xí)）為人工智能的實踐成功奠定了基礎(chǔ)?！干疃葘W(xué)習(xí)剛好符合一個特性—如果你給它越多數(shù)據(jù)它會變得越來越好，」Ng提到?！干疃葘W(xué)習(xí)算法并不僅僅如此，但是，毋庸置疑，它是較好的—當(dāng)然，也是最簡單的。那就是他是AI能夠得以實現(xiàn)的巨大保障的原因所在?！?/p>

不是所有的研究人員都對深度學(xué)習(xí)方案，堅定不移。Oren Etzioni，西雅圖艾倫人工智能研究所（ Allen Institute for Artificial Intelligence，去年9月成立，目標(biāo)是發(fā)展人工智能）的主管Oren Etzioni說，他將不會再靠大腦獲得靈感。「和我們發(fā)明飛機(jī)時一樣，」他說，「最成功的飛機(jī)設(shè)計并不是以鳥類生物為模型?！笶tzioni的具體目標(biāo)是發(fā)明一種電腦，它可以在瀏覽了一堆文書之后，通過標(biāo)準(zhǔn)化小學(xué)科學(xué)知識測試（最終直至通過大學(xué)入學(xué)考試）。為了通過考試，電腦必須要學(xué)會閱讀和理解圖表和文字。艾倫研究所將如何做到這一點(diǎn)還是未知數(shù)——但是對于Etzioni來說，神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)并不是推薦的解決方案。

另一個與之抗衡的方案是，依靠一種可依據(jù)輸入事實進(jìn)行推理的電腦，而不是讓電腦從抓取數(shù)據(jù)自己生成事實。因此，可以采用斷言（ assertions）進(jìn)行編程，諸如「所有女孩都是人類」。接下來，當(dāng)面對帶有女孩的文本時，它就能做出如下判斷：這個女孩是一個人。為了囊括世間的普通常識，需要數(shù)以千記（如果不是數(shù)百萬）的斷言。 這和微軟的沃森電腦工作原理大致相同，眾所周知，2011年，這臺電腦在電視節(jié)目 Jeopardy中戰(zhàn)勝了較高級人類選手。即便如此，Rob High（位于德克薩斯州的公司首席技術(shù)官）聲稱，他們已經(jīng)嘗試性地使用深度學(xué)習(xí)，提升Watson的模式識別能力。

谷歌也在對沖賭注風(fēng)險。盡管基于Hinton的深度學(xué)習(xí)網(wǎng)絡(luò)，谷歌的圖片標(biāo)識（picture tagging)能力獲得新的進(jìn)展，公司也設(shè)有其他投入更為龐大的部門。在2012年12月，谷歌雇用了未來學(xué)家Ray Kurzweil來探索讓計算機(jī)從經(jīng)驗中學(xué)習(xí)的不同方式——其采用的技術(shù)，并不局限于深度學(xué)習(xí)。去年五月，谷歌得到了來自本拿比（ Burnaby），一臺加拿大研制出的量子計算機(jī)（參見《自然》雜志498,286-288；2013）。這臺電腦是非人工智能難題的保障，諸如，頗有難度的數(shù)學(xué)計算——盡管它可以，在理論上，被用于深度學(xué)習(xí)。

盡管已經(jīng)取得了一些成就，深度學(xué)習(xí)依然處在嬰兒期?！杆俏磥淼囊徊糠郑笵ahl說道?！钙婷钪幵谟?，我們做了這么多，卻僅觸及了冰山一角?！棺詈?，他補(bǔ)充道，「我們才剛剛起步」。