摘要:但是在當(dāng)時,幾乎沒有人看好深度學(xué)習(xí)的工作。年,與和共同撰寫了,這本因封面被人們親切地稱為花書的深度學(xué)習(xí)奠基之作,也成為了人工智能領(lǐng)域不可不讀的圣經(jīng)級教材。在年底,開始為深度學(xué)習(xí)的產(chǎn)業(yè)孵化助力。
蒙特利爾大學(xué)計(jì)算機(jī)科學(xué)系教授 Yoshua Bengio
從法國來到加拿大的時候,Yoshua Bengio只有12歲。他在加拿大度過了學(xué)生時代的大部分時光,在麥吉爾大學(xué)的校園中接受了從本科到博士的完整高等教育,隨后又前往麻省理工學(xué)院和貝爾實(shí)驗(yàn)室做博士后。1993年,他重回蒙特利爾,加入離麥吉爾大學(xué)不遠(yuǎn)的蒙特利爾大學(xué)擔(dān)任計(jì)算機(jī)科學(xué)與運(yùn)籌學(xué)系教授,繼續(xù)潛心進(jìn)行深度學(xué)習(xí)的研究。
從80年代到今天,深度學(xué)習(xí)從不被大多數(shù)人看好的“癡心妄想”,到席卷包括自然語言處理、計(jì)算機(jī)視覺、語音識別在內(nèi)的幾乎所有人工智能領(lǐng)域,其影響力已經(jīng)全面覆蓋了學(xué)術(shù)界、產(chǎn)業(yè)界以及人們的日常生活。Yoshua Bengio幾十年如一日的堅(jiān)守,證明了深度學(xué)習(xí)所蘊(yùn)含的、足以影響我們每個人生活的巨大價值。
深度學(xué)習(xí)的元老,超過137,000次學(xué)術(shù)引用,“AI圣經(jīng)”《Deep Learning》等一系列教科書級著作的作者,笑起來極富表現(xiàn)力的眉毛,這些是Yoshua Bengio大神給人們留下的標(biāo)志性印象。
深度學(xué)習(xí)的先驅(qū)
上世紀(jì)八九十年代的AI唱衰者們不會預(yù)料到深度學(xué)習(xí)在二十一世紀(jì)的成功。作為早期開拓者中的一員,Yoshua Bengio也歷經(jīng)了漫長的“AI寒冬”,在上世紀(jì)末的三十年中,人工智能曾兩度陷入歷史的較低谷。?
在Yoshua Bengio上大學(xué)的八十年代,深度學(xué)習(xí)在計(jì)算機(jī)科學(xué)中屬于非常冷門的理論,符號主義的經(jīng)典學(xué)派占據(jù)著學(xué)界與大學(xué)課堂的主流,但Yoshua Bengio這位獨(dú)樹一幟的學(xué)生卻偏偏對深度學(xué)習(xí)產(chǎn)生了強(qiáng)烈的興趣。用神經(jīng)網(wǎng)絡(luò)模擬人腦,用機(jī)器學(xué)習(xí)去揭開人類智慧誕生的奧秘,這對Bengio來說有著巨大的吸引力。就這樣,Bengio找到了他在接下來的30余年中始終鐘情的研究方向。
但是在當(dāng)時,幾乎沒有人看好深度學(xué)習(xí)的工作。因?yàn)閷ν豁?xiàng)任務(wù)來說,既然用傳統(tǒng)方法能更輕松地達(dá)到更好的效果,為什么要費(fèi)勁去訓(xùn)練神經(jīng)網(wǎng)絡(luò)呢?因此,大多數(shù)研究者都不愿意從事這一方向。上世界九十年代人們也曾短暫地看到神經(jīng)網(wǎng)絡(luò)的希望,但由于數(shù)據(jù)量和計(jì)算能力的限制,希望很快破滅了,神經(jīng)網(wǎng)絡(luò)仍然是癡心妄想。但即使人工智能處于低谷,Bengio仍然全身心地投入深度學(xué)習(xí)研究,不斷貢獻(xiàn)了許多新的研究成果。
直到2010到2012年,轉(zhuǎn)機(jī)才真正出現(xiàn)。隨著大數(shù)據(jù)的崛起和計(jì)算能力的大幅增長,突然之間,人們終于看到了深度學(xué)習(xí)所蘊(yùn)藏的真正力量,這使得深度學(xué)習(xí)一下子被推向人們目光的中心。Yoshua Bengio在過去20年中原本問津者寥寥的諸多科研積累,也迅速成為了人工智能界討論的焦點(diǎn),包括深度學(xué)習(xí)架構(gòu)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、對抗算法、表征學(xué)習(xí)等等。這些研究成果影響和啟發(fā)了后來的大量研究者,將深度學(xué)習(xí)應(yīng)用到自然語言處理、計(jì)算機(jī)視覺等人工智能的各個主要領(lǐng)域,對近年來深度學(xué)習(xí)的崛起和發(fā)展起到了巨大的推動作用。
1994年,在Yoshua Bengio與另一位深度學(xué)習(xí)元老級人物Yann LeCun共同完成的《Gradient-based learning applied to document recognition》論文中,首次提出了用反向傳播算法訓(xùn)練的多層神經(jīng)網(wǎng)絡(luò)LeNet5,它是世界上最早的也是最著名的卷積神經(jīng)網(wǎng)絡(luò)之一。
在2003年發(fā)表的《A neural probabilistic language model》中,Yoshua Bengio第一次提出用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來建立自然語言模型,這一思路和方法廣泛地影響了后人用神經(jīng)網(wǎng)絡(luò)做自然語言處理的研究。這一網(wǎng)絡(luò)結(jié)構(gòu)也被迅速引入自然語言處理的應(yīng)用實(shí)踐中并取得了良好的成效,比如最經(jīng)典的用于生成詞向量的word2vec模型,以及近年大熱的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯。Yoshua Bengio的另一篇著作《Learning Deep Architectures for AI》則提綱挈領(lǐng)地總結(jié)了深度學(xué)習(xí)架構(gòu)中學(xué)習(xí)算法的動機(jī)和原理,為相關(guān)的研究提供了理論指導(dǎo)。Yoshua Bengio發(fā)表的300多篇學(xué)術(shù)文章累計(jì)的學(xué)術(shù)引用次數(shù)已經(jīng)超過了驚人的137,000次。
2016年,Yoshua Bengio與Ian Goodfellow和Aaron Courville共同撰寫了《Deep Learning》,這本因封面被人們親切地稱為“花書”的深度學(xué)習(xí)奠基之作,也成為了人工智能領(lǐng)域不可不讀的“圣經(jīng)”級教材。
包括Yoshua Bengio在內(nèi)的深度學(xué)習(xí)先驅(qū)者們讓我們看到了支持長期研究的重要性,他們可貴的研究精神也值得人們敬佩。
雖然眼下深度學(xué)習(xí)風(fēng)頭正勁,但在幾年后甚至幾十年后,深度學(xué)習(xí)還會一直存在嗎?在Yoshua Bengio看來,人工智能研究者要不斷地提出和發(fā)展新的想法,這些新想法可能是受到現(xiàn)有技術(shù)和概念的啟發(fā)而誕生的,也將在未來成為新一輪想法的啟蒙。他也坦言,雖然人工智能現(xiàn)在已經(jīng)對社會和人類生活產(chǎn)生了巨大的影響,但在大多數(shù)情況下,人工智能表現(xiàn)出的智力還遠(yuǎn)遠(yuǎn)不及哺乳動物,人工智能還有太多潛能留待我們?nèi)グl(fā)掘。
無論如何,Yoshua Bengio的研究興趣將始終圍繞對智力生成機(jī)制的探索,并致力于讓人工智能的發(fā)展為所有人的利益服務(wù)。
教書育人,孵化技術(shù)
無論產(chǎn)業(yè)界的浪潮多么洶涌,在人工智能的研究大牛紛紛入伙科技公司的時候,Yoshua Bengio始終沒有離開他位于蒙特利爾大學(xué)校園中的三樓辦公室。
在這里,他繼續(xù)潛心科研和教學(xué)工作,為人工智能培養(yǎng)了許多杰出的下一代人才。在剛剛進(jìn)入蒙特利爾大學(xué)任教的時候,全校只有Yoshua Bengio一位教授從事深度學(xué)習(xí)算法的研究,他欣然接收所有對深度學(xué)習(xí)感興趣的學(xué)生,漸漸在蒙特利爾大學(xué)組織起研究團(tuán)隊(duì),與學(xué)術(shù)界建立聯(lián)系并開展合作。他建立了蒙特利爾學(xué)習(xí)算法研究所(Montreal Institute For Learning Algorithms, MILA)并擔(dān)任科學(xué)主任,并作為聯(lián)合主席共同進(jìn)行CIFAR機(jī)器與大腦學(xué)習(xí)項(xiàng)目的研究,也擔(dān)任著數(shù)據(jù)評估研究所(The institute for data valorization,IVADO)的科學(xué)聯(lián)合主任。
Yoshua Bengio長達(dá)15年的實(shí)驗(yàn)室組織與管理經(jīng)驗(yàn)也讓他形成了一套自己的方法論,“不要將每個學(xué)生束縛在他們自己的項(xiàng)目中,而要讓他們靈活合作。學(xué)生們與教授也不是一對一的關(guān)系,應(yīng)該將整個實(shí)驗(yàn)室的人組成一個大的網(wǎng)絡(luò)。”
對高校人才培養(yǎng)的執(zhí)著投入,不代表Yoshua Bengio對產(chǎn)業(yè)動向毫不關(guān)心,Yoshua Bengio希望現(xiàn)有的人工智能技術(shù)能更快地進(jìn)入人們的生活,真正幫助人們?nèi)ネ瓿筛鞣N各樣的任務(wù)。
在2016年底,Yoshua Bengio開始為深度學(xué)習(xí)的產(chǎn)業(yè)孵化助力。他作為聯(lián)合創(chuàng)始人創(chuàng)建了人工智能創(chuàng)業(yè)孵化器Element AI,鼓勵研究員和企業(yè)家們一同創(chuàng)立人工智能公司,將人工智能技術(shù)融入各行各業(yè),讓人工智能的商業(yè)化前景變?yōu)楝F(xiàn)實(shí)。在成立后的兩年中,Element AI已經(jīng)幫助數(shù)百位來自蒙特利爾大學(xué)和麥吉爾大學(xué)的研究人員完成了從科研技術(shù)到應(yīng)用產(chǎn)品的轉(zhuǎn)化,也幫助初創(chuàng)公司的企業(yè)家在這個飛速崛起的熱門領(lǐng)域中保持正確的前進(jìn)方向。
可以說,Yoshua Bengio不僅在人工智能研究上推動蒙特利爾成為了世界深度學(xué)習(xí)的一大重鎮(zhèn),也為他所期待的人工智能生態(tài)系統(tǒng)添磚加瓦,促成了蒙特利爾如今在人工智能領(lǐng)域的良好學(xué)術(shù)和創(chuàng)業(yè)氛圍。
現(xiàn)年54歲的Yoshua Bengio不僅學(xué)術(shù)著作等身,在大多數(shù)學(xué)術(shù)權(quán)威會議中,你都可以看到這張熟悉的面孔。他不僅是加拿大統(tǒng)計(jì)學(xué)習(xí)算法研究主席,在2009年擔(dān)任了機(jī)器學(xué)習(xí)較高級會議NIPS的主席,還在2013年?duì)款^創(chuàng)辦國際學(xué)習(xí)表征會議(ICLR),讓ICLR在短短幾年內(nèi)迅速躋身頂會行列,成為首屈一指的專注深度學(xué)習(xí)領(lǐng)域的較高級會議。
Yoshua Bengio也獲得了許多重量級的名譽(yù)和獎項(xiàng),他是加拿大皇家學(xué)院(RSC)及加拿大高等研究院(CIFAR)院士,且在2017年獲得了代表加拿大公民較高榮譽(yù)的“加拿大總督功勛獎”。盡管如此,Bengio在生活中一直保持著低調(diào),除了演講之外,很少出現(xiàn)在媒體和大眾的視線中。
參考資料:1. Yoshua Bengio個人主頁
http://www.iro.umontreal.ca/~bengioy/yoshua_en/
2. "Yoshua Bengio", Wikipedia.
https://en.wikipedia.org/wiki/Yoshua_Bengio
3. Microsoft AI Blog
https://blogs.microsoft.com/ai/
4. 對話Yoshua Bengio | 深度學(xué)習(xí)的昨天、今天和明天
https://www.msra.cn/zh-cn/news/features/faculty-summit-2017-yoshua-bengio-20170831
5. Yoshua Bengio經(jīng)驗(yàn)分享:如何做好學(xué)術(shù)研究?如何管好實(shí)驗(yàn)室?
https://www.leiphone.com/news/201808/IELI9Rpqa9p1wzSK.html
6. 深度學(xué)習(xí)三駕馬車首次同臺,“打情罵俏”展望未來
https://blog.csdn.net/gh13uy2ql0N5/article/details/78238215
聲明:文章收集于網(wǎng)絡(luò),如有侵權(quán),請聯(lián)系小編及時處理,謝謝!
商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法,實(shí)際應(yīng)用案例分享與討論,分析工具,ETL工具,數(shù)據(jù)倉庫,數(shù)據(jù)挖掘工具,報(bào)表系統(tǒng)等全方位知識
QQ群:81035754
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://systransis.cn/yun/4817.html
摘要:的研究興趣涵蓋大多數(shù)深度學(xué)習(xí)主題,特別是生成模型以及機(jī)器學(xué)習(xí)的安全和隱私。與以及教授一起造就了年始的深度學(xué)習(xí)復(fù)興。目前他是僅存的幾個仍然全身心投入在學(xué)術(shù)界的深度學(xué)習(xí)教授之一。 Andrej Karpathy特斯拉 AI 主管Andrej Karpathy 擁有斯坦福大學(xué)計(jì)算機(jī)視覺博士學(xué)位,讀博期間師從現(xiàn)任 Google AI 首席科學(xué)家李飛飛,研究卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺、自然語言處理上的應(yīng)...
摘要:主流機(jī)器學(xué)習(xí)社區(qū)對神經(jīng)網(wǎng)絡(luò)興趣寡然。對于深度學(xué)習(xí)的社區(qū)形成有著巨大的影響。然而,至少有兩個不同的方法對此都很有效應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)的簡單梯度下降適用于信號和圖像,以及近期的逐層非監(jiān)督式學(xué)習(xí)之后的梯度下降。 我們終于來到簡史的最后一部分。這一部分,我們會來到故事的尾聲并一睹神經(jīng)網(wǎng)絡(luò)如何在上世紀(jì)九十年代末擺脫頹勢并找回自己,也會看到自此以后它獲得的驚人先進(jìn)成果?!冈噯枡C(jī)器學(xué)習(xí)領(lǐng)域的任何一人,是什...
閱讀 2171·2021-10-08 10:15
閱讀 1201·2019-08-30 15:52
閱讀 525·2019-08-30 12:54
閱讀 1547·2019-08-29 15:10
閱讀 2698·2019-08-29 12:44
閱讀 3019·2019-08-29 12:28
閱讀 3371·2019-08-27 10:57
閱讀 2227·2019-08-26 12:24