摘要：人工智能的主流算法深度學(xué)習(xí)的歷史，堪稱(chēng)也是深度學(xué)習(xí)三劍客和共同走過(guò)的年艱難而輝煌的不悔人生。之后使用一種稱(chēng)為監(jiān)督學(xué)習(xí)的方法來(lái)訓(xùn)練感知器，以正確區(qū)分不同形狀。表示，多層次神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)并不會(huì)使感知器強(qiáng)大到有實(shí)用價(jià)值。

人工智能的主流算法Deep Learning深度學(xué)習(xí)的歷史，堪稱(chēng)Deep History, 也是深度學(xué)習(xí)三劍客Geoff Hinton, Yann LeCun 和Yoshua Bengio共同走過(guò)的30年艱難而輝煌的不悔人生。他們?nèi)绾螐漠?dāng)年的地下小團(tuán)體成為今天引領(lǐng)人工智能的風(fēng)云人物，我們來(lái)看看其中的精彩故事。

Geoff Hinton，谷歌大腦研究小組的負(fù)責(zé)人，出生在英國(guó)，1977年在愛(ài)丁堡大學(xué)獲得博士學(xué)位，開(kāi)始對(duì)模擬神經(jīng)網(wǎng)絡(luò)著迷。之后在加拿大多倫多大學(xué)任教，2013年他的公司DNNresearch被Google收購(gòu)。他被稱(chēng)為深度學(xué)習(xí)教父。

Yann LeCun, Facebook人工智能研究小組FAIR的主任，出生在巴黎，在 Université Pierre et Marie Curie獲得博士學(xué)位。曾在AT&T Bell Labs工作多年，2003年起在紐約大學(xué)NYU任教，2013年獲小扎邀請(qǐng)加盟Facebook。

Yoshua Bengio – ?Université de Montréal大學(xué)教授。出生在法國(guó)，在McGill University獲得博士學(xué)位，曾在MIT跟隨Michael Jordan教授做博士后研究，后任職 AT&T Bell Labs，1993年起在Université de Montréal任教。

Geoff Hinton, Godfather of Deep Learning

Geoff Hinton 和Yann LeCun已成為深度學(xué)習(xí)的領(lǐng)袖人物，人們津津樂(lè)道于他們提出的后傳播算法Backpropagation。其實(shí)在人工智能的研究中，他們只是復(fù)活了一個(gè)早已被遺忘的理論。?

當(dāng)人工智能領(lǐng)域在20世紀(jì)50年代起步的時(shí)候，生物學(xué)家開(kāi)始提出簡(jiǎn)單的數(shù)學(xué)理論，來(lái)解釋智力和學(xué)習(xí)的能力如何產(chǎn)生于大腦神經(jīng)元之間的信號(hào)傳遞。當(dāng)時(shí)的核心思想一直保留到現(xiàn)在 － 如果這些細(xì)胞之間頻繁通信，神經(jīng)元之間的聯(lián)系將得到加強(qiáng)。由新的體驗(yàn)引發(fā)的神經(jīng)活動(dòng)的融合會(huì)調(diào)整大腦神經(jīng)元間的連接，以便在它下次出現(xiàn)時(shí)，更容易理解。

Frank Rosenblatt invented Perceptron?

這個(gè)故事要追溯到1956年，美國(guó)認(rèn)知心理學(xué)家弗蘭克·羅森布拉特（Frank Rosenblatt）基于神經(jīng)元的理論發(fā)明了一種模擬神經(jīng)元的方法。紐約時(shí)報(bào)稱(chēng)之為與"E-brain teaches itself." ?這個(gè)被Rosenblatt稱(chēng)為感知器Perceptron的發(fā)明，可以學(xué)習(xí)如何將簡(jiǎn)單的圖像分類(lèi)為三角形和正方形。當(dāng)時(shí)是在巨大的機(jī)器上實(shí)施模擬，纏繞著厚重的電線，但這為神經(jīng)網(wǎng)絡(luò)創(chuàng)立了理論和實(shí)驗(yàn)基礎(chǔ)。

Rosenblatts發(fā)明的電腦有八個(gè)模擬神經(jīng)元，由電機(jī)和撥號(hào)盤(pán)連接到400個(gè)光檢測(cè)器。每個(gè)神經(jīng)元都接收到來(lái)自光檢測(cè)器的信號(hào)的一部分，將它們組合起來(lái)，并且根據(jù)它們添加到哪里，輸出1或0。這些數(shù)字組成對(duì)感知器所看到的事物的描述。當(dāng)然，最初的結(jié)果完全無(wú)效。之后Rosenblatt使用一種稱(chēng)為監(jiān)督學(xué)習(xí)的方法來(lái)訓(xùn)練感知器，以正確區(qū)分不同形狀。他向感知器顯示一個(gè)圖像以及正確的答案，然后，機(jī)器將調(diào)整每個(gè)神經(jīng)元對(duì)其輸入信號(hào)的關(guān)注度，將這些“權(quán)重”轉(zhuǎn)移到將產(chǎn)生正確答案的設(shè)置。

Marvin Minsky and Seymour Papert at MIT?

在試過(guò)多次之后，這些調(diào)整使計(jì)算機(jī)具有足夠的智能，可正確地對(duì)之前從未見(jiàn)過(guò)的圖像進(jìn)行分類(lèi)。今天的深度學(xué)習(xí)網(wǎng)絡(luò)使用復(fù)雜的算法，并擁有數(shù)百萬(wàn)個(gè)模擬神經(jīng)元，它們之間有數(shù)十億個(gè)連接，也是以同樣的方式訓(xùn)練的。 ??

Rosenblatt預(yù)測(cè)，感知器很快就能夠?qū)W會(huì)向人打招呼。他的想法成為人工智能新生領(lǐng)域的基石。當(dāng)時(shí)研究工作的重點(diǎn)是使感知器具有更復(fù)雜的網(wǎng)絡(luò)，排列成多個(gè)學(xué)習(xí)層的結(jié)構(gòu)，在圖層中連續(xù)傳遞圖像或其他數(shù)據(jù)，使感知器能夠解決更復(fù)雜的問(wèn)題。 ?

不幸的是，Rosenblatt的學(xué)習(xí)算法當(dāng)時(shí)對(duì)于多層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)不起作用。在1969年，曾與他一起上過(guò)高中的人工智能先驅(qū)，MIT的權(quán)威人士Marvin Minsky，和知名專(zhuān)家Seymour Papert一起，寫(xiě)了一本批評(píng)感知器學(xué)派的書(shū)Perceptrons，扼殺了當(dāng)時(shí)對(duì)神經(jīng)網(wǎng)絡(luò)的研究興趣。Minsky表示，多層次神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)并不會(huì)使感知器強(qiáng)大到有實(shí)用價(jià)值。人工智能學(xué)者們也因此放棄了學(xué)習(xí)式軟件的想法。他們轉(zhuǎn)而使用邏輯來(lái)產(chǎn)生智能 - 比如下棋的能力。神經(jīng)網(wǎng)絡(luò)則被推到了計(jì)算機(jī)科學(xué)的邊緣。

Geoff Hinton and Yann Lecun

盡管如此，20世紀(jì)80年代初，LeCun在巴黎讀博士時(shí)，第一次讀到感知器perceptrons還是被迷住了。 “我很驚訝，這種算法很有價(jià)值，不知道為什么人們會(huì)放棄它?！??他在圖書(shū)館度過(guò)了幾天，瘋狂尋找感知器消失之前發(fā)表的論文。然后他發(fā)現(xiàn)，在美國(guó)有一小群研究人員正在秘密地繼續(xù)神經(jīng)網(wǎng)絡(luò)的工作。 “這是一個(gè)非常地下的運(yùn)動(dòng)，” 他說(shuō)。在文章中仔細(xì)避開(kāi)“神經(jīng)”和“學(xué)習(xí)”這樣的詞，以避免論文審稿人的拒絕，他們正在研究一些非常像羅森布拉特碰到的老問(wèn)題，嘗試如何采用多層結(jié)構(gòu)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。?

1985年，LeCun遇到了這個(gè)地下組織的核心人物Geoff Hinton，他很快加入了這個(gè)小團(tuán)隊(duì)。LeCun和Hinton很快成為好朋友，相互崇拜，他們一起成為恢復(fù)神經(jīng)網(wǎng)絡(luò)思想的小團(tuán)體的核心。他們認(rèn)為模擬自然智力中看到的核心機(jī)制是構(gòu)建人工智能的途徑。 “智能產(chǎn)生于人腦，所以從長(zhǎng)遠(yuǎn)來(lái)看，人工智能應(yīng)該像大腦系統(tǒng)一樣工作，”Hinton說(shuō)。

之后Lecun在貝爾實(shí)驗(yàn)室取得成功，他和Hinton等人完善了一個(gè)具有多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，稱(chēng)為反向傳播算法Backpropagation，引起了心理學(xué)家和計(jì)算機(jī)科學(xué)家的興趣。但是，在LeCun的支票識(shí)別項(xiàng)目結(jié)束之后，反向傳播似乎很難適用于其他問(wèn)題。而這時(shí)一個(gè)新的數(shù)據(jù)排序的方法是由貝爾實(shí)驗(yàn)室的研究員發(fā)明，它不涉及模擬神經(jīng)元，被視為數(shù)學(xué)上更為優(yōu)雅的方法。很快，這個(gè)方法成為很多互聯(lián)網(wǎng)公司的基石，如谷歌，亞馬遜和LinkedIn，它被用來(lái)訓(xùn)練過(guò)濾垃圾郵件的系統(tǒng)，或?yàn)槟扑]要購(gòu)買(mǎi)的東西。

Yoshua Bengio and Yann Lecun

但Lecun并未放棄多層神經(jīng)網(wǎng)絡(luò)的研究。2003年，他到紐約大學(xué)之后，就和Hinton, 及第三個(gè)合作者 －蒙特利爾大學(xué)教授Yoshua Bengio，一起組成了所謂的“深度學(xué)習(xí)的陰謀 Deep Learning Conspiracy”。為了證明神經(jīng)網(wǎng)絡(luò)是有用的，他們悄悄地開(kāi)發(fā)了更多層的神經(jīng)網(wǎng)絡(luò)，用更大的數(shù)據(jù)集來(lái)訓(xùn)練，并在更強(qiáng)大的計(jì)算機(jī)上運(yùn)行。 LeCun的手寫(xiě)識(shí)別系統(tǒng)已經(jīng)有五層神經(jīng)元，但這時(shí)他們已經(jīng)開(kāi)發(fā)了10層或更多的神經(jīng)元網(wǎng)絡(luò)。

?到了2010年，深度學(xué)習(xí)算法在很多實(shí)際應(yīng)用上開(kāi)始超越其他技術(shù)，例如圖像排序。 Microsoft，Google和IBM均將深度學(xué)習(xí)的算法添加到語(yǔ)音識(shí)別系統(tǒng)中。但神經(jīng)網(wǎng)絡(luò)對(duì)大多數(shù)研究人員來(lái)說(shuō)仍然很陌生，并未被廣泛接受。 2012年初，當(dāng)一篇取得視覺(jué)識(shí)別新紀(jì)錄的論文被一個(gè)領(lǐng)先的會(huì)議拒絕之后，LeCun甚至寫(xiě)了一封措辭激烈的信，最初是匿名公布的，他指責(zé)論文評(píng)審人員“無(wú)知”和“有偏見(jiàn)”。 ?

Geoff Hinton and his team won ImageNet Challenge

六個(gè)月后，一切都變了。 Hinton和兩位研究生采用深度學(xué)習(xí)算法，參加了ImageNet競(jìng)賽并獲得第一名。ImageNet大型視覺(jué)識(shí)別挑戰(zhàn)賽，要求軟件識(shí)別1,000種不同物體，從蚊帳到清真寺。Hinton帶領(lǐng)的多倫多大學(xué)團(tuán)隊(duì)在五次嘗試之內(nèi)，以85%的準(zhǔn)確度成功地識(shí)別出圖像中的物體，比第二名超出10個(gè)百分點(diǎn)。深度學(xué)習(xí)軟件的初始層的神經(jīng)元在優(yōu)化后可找出簡(jiǎn)單的特征，例如邊緣和角落，更深層的神經(jīng)元可找出更復(fù)雜的功能，如形狀，直至識(shí)別出狗或人。 ?

LeCun回憶說(shuō)，當(dāng)獲獎(jiǎng)?wù)呓榻B了他們的比賽結(jié)果之后，AI行業(yè)中長(zhǎng)期對(duì)神經(jīng)網(wǎng)絡(luò)不屑一顧的專(zhuān)家們蜂擁而至，來(lái)到他們的房間里 ?！昂冒?，現(xiàn)在我們認(rèn)同你，你贏了?！?/p>

此后，從事計(jì)算機(jī)視覺(jué)的學(xué)者們很快就放棄了之前的方法，深度學(xué)習(xí)算法從此成為人工智能研究的主流。鑒于Hinton團(tuán)隊(duì)在ImageNet大賽的成績(jī)，谷歌在2013年收購(gòu)了Hinton創(chuàng)立的公司DNNresearch。從此Hinton開(kāi)始同時(shí)參于Google Brain的研究。

Mark Zuckerberg and Yann LeCun

2013年12月，F(xiàn)acebook首席執(zhí)行官M(fèi)ark Zuckerberg突然出現(xiàn)在較大的神經(jīng)網(wǎng)絡(luò)研究會(huì)議上，并主持了一個(gè)派對(duì)，宣布LeCun加盟他們的人工智能研究中心FAIR，每周仍在紐約大學(xué)工作一天。?

LeCun至今仍然對(duì)Hinton 2012年在ImageNet大賽上的突破頗有感慨，這一年世界終于接受了他最早提出的觀點(diǎn)。 “在某種程度上，這應(yīng)該是從我的實(shí)驗(yàn)室出來(lái)的，” Hinton也表示贊同?！皩?duì)于Yann來(lái)說(shuō)，很可惜，這個(gè)突破不是他完成的?！?其實(shí)，對(duì)于贏得ImageNet挑戰(zhàn)背后的技術(shù)，LeCun的研究團(tuán)隊(duì)作出的貢獻(xiàn)較大。很可惜Lecun的學(xué)生們畢業(yè)的時(shí)間不湊巧，忙于其他事情，讓他們錯(cuò)過(guò)了參加ImageNet大賽?！?目前LeCun正在尋求深度學(xué)習(xí)的下一個(gè)突破，希望能和Hinton打個(gè)平手。

2015年5月，他們?nèi)寺?lián)名在美國(guó)《Nature自然》雜志上發(fā)表了一篇論文－Deep Learning深度學(xué)習(xí)。經(jīng)過(guò)30多年的不悔堅(jiān)持，深度學(xué)習(xí)的三劍客終于從最初的秘密小團(tuán)隊(duì)，成為AI主流研究的領(lǐng)袖人物，笑到了最后。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754