摘要:于月日至日在意大利比薩舉行,主會于日開始。自然語言理解領(lǐng)域的較高級科學(xué)家受邀在發(fā)表主旨演講。深度學(xué)習(xí)的方法在這兩方面都能起到作用。下一個突破,將是信息檢索。深度學(xué)習(xí)在崛起,在衰退的主席在卸任的告別信中這樣寫到我們的大會正在衰退。
SIGIR全稱ACM SIGIR ,是國際計算機協(xié)會信息檢索大會的縮寫,這是一個展示信息檢索領(lǐng)域中各種新技術(shù)和新成果的重要國際論壇。SIGIR 2016于 7月17日至21日在意大利比薩(Pisa)舉行,主會于18日開始。
自然語言理解領(lǐng)域的較高級科學(xué)家Christopher Manning受邀在SIGIR2016發(fā)表主旨演講。
Christopher Manning是斯坦福大學(xué)計算機科學(xué)和語言學(xué)教授,曾在卡內(nèi)基梅隆大學(xué)和悉尼大學(xué)任教。Manning關(guān)注使用機器學(xué)習(xí)研究計算機語言難題,比如句法分析,計算機語義學(xué)、機器翻譯等,以及使用深度學(xué)習(xí)解決自然語言理解(NLP)難題。他還是 ACM Fellow, AAAI Fellow,ACL Fellow。
Manning說,信息檢索(IR)和NLP中,有許多問題都是重疊的。IR系統(tǒng)是從理解用戶需要和理解文檔中生成,進而能夠決定某一個文件是否能夠滿足用戶的需要。大多數(shù)的NLP做的也是一樣的事:NLP的目的是理解問題和文件的意思,以及關(guān)系。
NLP中深度學(xué)習(xí)方法的應(yīng)用,為計算機語義理解帶來了一個有效的工具。演講集中在兩個主題:一是NLP怎樣能幫助文本關(guān)系理解;二是深度學(xué)習(xí)如何從根本上實現(xiàn)這一目標(biāo)。
在這一方面,最成功的工具是新一代的分布式詞語表征:神經(jīng)詞匯嵌入。然而,除了詞義之外,我們還需要理解怎么分析大型文本的含義。這產(chǎn)生了兩個基本的要求,一個是理解人類語言表達的結(jié)構(gòu),另一個是分析含義。
深度學(xué)習(xí)的方法在這兩方面都能起到作用。最終,我們需要理解文本內(nèi)的關(guān)系,能夠處理例如自然語言推理、問答之類的問題。我會繼續(xù)關(guān)注這些領(lǐng)域的研究,有神經(jīng)網(wǎng)絡(luò)和沒有神經(jīng)網(wǎng)絡(luò)的都關(guān)注。
圖片來自微博xiangnanhe
2013年,深度學(xué)習(xí)在語音上獲得突破;2013年,在計算機視覺上獲得突破;2015年,在自然語言理解上獲得突破。下一個突破,將是信息檢索(IR)。
點擊閱讀原文可獲取Manning演講筆記。
下面是Manning在斯坦福大學(xué)關(guān)于自然語言理解和深度學(xué)習(xí)的演講,可以幫助我們更好地理解他所說的深度學(xué)習(xí)對自然語言理解的幫助。
大會另一場主旨演講 2:Vipin Kumar : 氣候大數(shù)據(jù)下深度學(xué)習(xí)的機會與挑戰(zhàn)
大量數(shù)據(jù)變得可用的背景下,探討機器學(xué)習(xí)的機遇與挑戰(zhàn)。
此外,本次大會上共接收了62篇完整論文,其中包括谷歌、微軟等大型公司的研究。中國有大量論文被接受,其中包括中科院、華為、百度、人民大學(xué)、清華大學(xué)、電子科技大學(xué)、武漢大學(xué)、華中師范大學(xué)、華東師范大學(xué)等研究機構(gòu)的論文。
深度學(xué)習(xí)在崛起,SIGIR在衰退
SIGIR的主席Charlie Clarke 在卸任的告別信中這樣寫到:“我們的大會正在衰退?!痹谌?nèi),這其實已經(jīng)是一個共識,不管是在大會的茶歇間隙還是熱烈的會前討論中,人們都會說到這一現(xiàn)象。
發(fā)生了什么?
現(xiàn)在,有人擔(dān)心,SIGIR可能不會再吸引那么多的相關(guān)的論文。這一種擔(dān)心基于下面兩個觀察:
第一個是,2011年提交SIGIR的論文數(shù)量達到峰值543篇,但從那之后,就一直在下降。第二個觀察,其他同類會議收到的論文數(shù)量依然維持在很高的水平,有一些還出現(xiàn)了增加。
需要強調(diào)的是,SIGIR成員觀察到,提交到其他會議的論文,其中不少也提交到了SIGIR。
這意味著什么?
從歷史上看,SIGIR的研究影響范圍很大,其中包括文本分析、計算、機器學(xué)習(xí)和推薦系統(tǒng)等等。SIGIR的成員擔(dān)心,如果收到的論文越來越少,那么可能這些有影響力的論文會在別的會議上發(fā)表。
8大可能原因
1. 范圍太過保守
SIGIR 強調(diào) Ad-hoc 搜索、正式的模型和相關(guān)的價值。所以,評議員們會在短時間內(nèi)就為提交的論文貼上“與大會主題無關(guān)”的標(biāo)簽。這么一來,一些帶有新穎創(chuàng)意、技術(shù)或者問題的作者就會覺得,SIGIR似乎并不歡迎提交論文。范圍太過保守帶來的機會成本是,會錯過一些相關(guān)的趨勢,比如推薦系統(tǒng)和數(shù)據(jù)科學(xué)。
2.標(biāo)準(zhǔn)太高
SIGIR的評議員強調(diào)詳盡的實驗,沒有深度分析的文章會被退回。這帶來的影響是:實驗分析或計算較少的作者選擇了別的會議,盡管他們的研究的觀點對于SIGIR社區(qū)來說是很有價值的。
3.太多的 IR 會議
SIGIR 雖然是較高級會議,但是還有許多小型的核心會議(CHIIR, ICTIR, ECIR, CIKM) 或者相關(guān)會議 ( RecSys, WSDM, WWW, KDD)。許多新的小型會議對SIGIR形成分流。
4.過于強調(diào)突破性
許多提交的論文關(guān)注于對現(xiàn)狀的改進,但是評議員更看重顛覆性的研究。這樣,可以指出新的研究方向的理論性論文可能會流向別的會議。
5.可復(fù)制性
SIGIR 重視實驗的較精確和可復(fù)制性,所以一些使用了私有數(shù)據(jù)的行業(yè)性論文難以被接收。行業(yè)的研究員更喜歡那些“行業(yè)友好”的會議。
6.錯誤的實驗標(biāo)準(zhǔn)
會議只關(guān)注一個特定的領(lǐng)域,其他領(lǐng)域受排斥。
7.注冊費太貴
8.大公司研究興趣已經(jīng)轉(zhuǎn)到了機器學(xué)習(xí)和核心數(shù)據(jù)挖掘
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法,實際應(yīng)用案例分享與討論,分析工具,ETL工具,數(shù)據(jù)倉庫,數(shù)據(jù)挖掘工具,報表系統(tǒng)等全方位知識
QQ群:81035754
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://systransis.cn/yun/4372.html
摘要:而自然語言處理被視為深度學(xué)習(xí)即將攻陷的下一個技術(shù)領(lǐng)域,在今年全球較高級的學(xué)術(shù)會議上,我們也看到大量的在深度學(xué)習(xí)引入方面的探索研究。和也是近幾年暫露頭角的青年學(xué)者,尤其是在將深度學(xué)習(xí)應(yīng)用于領(lǐng)域做了不少創(chuàng)新的研究。 深度學(xué)習(xí)的出現(xiàn)讓很多人工智能相關(guān)技術(shù)取得了大幅度的進展,比如語音識別已經(jīng)逼近臨界點,即將達到Game Changer水平;機器視覺也已經(jīng)在安防、機器人、自動駕駛等多個領(lǐng)域得到應(yīng)用。 ...
摘要:而自然語言處理被視為深度學(xué)習(xí)即將攻陷的下一個技術(shù)領(lǐng)域,在今年全球較高級的學(xué)術(shù)會議上,我們也看到大量的在深度學(xué)習(xí)引入方面的探索研究。 深度學(xué)習(xí)的出現(xiàn)讓很多人工智能相關(guān)技術(shù)取得了大幅度的進展,比如語音識別已經(jīng)逼近臨界點,即將達到Game Changer水平;機器視覺也已經(jīng)在安防、機器人、自動駕駛等多個領(lǐng)域得到應(yīng)用。 而自然語言處理(NLP)被視為深度學(xué)習(xí)即將攻陷的下一個技術(shù)領(lǐng)域,在今年全球較高級...
摘要:深度學(xué)習(xí)浪潮這些年來,深度學(xué)習(xí)浪潮一直沖擊著計算語言學(xué),而看起來年是這波浪潮全力沖擊自然語言處理會議的一年。深度學(xué)習(xí)的成功過去幾年,深度學(xué)習(xí)無疑開辟了驚人的技術(shù)進展。 機器翻譯、聊天機器人等自然語言處理應(yīng)用正隨著深度學(xué)習(xí)技術(shù)的進展而得到更廣泛和更實際的應(yīng)用,甚至?xí)屓苏J(rèn)為深度學(xué)習(xí)可能就是自然語言處理的終極解決方案,但斯坦福大學(xué)計算機科學(xué)和語言學(xué)教授 Christopher D. Mannin...
摘要:還有一些以后補充。十分推薦更多的教程斯坦福的公開課教學(xué)語言是。加盟百度前,余凱博士在美國研究院擔(dān)任部門主管,領(lǐng)導(dǎo)團隊在機器學(xué)習(xí)圖像識別多媒體檢索視頻監(jiān)控,以及數(shù)據(jù)挖掘和人機交互等方面的產(chǎn)品技術(shù)研發(fā)。 轉(zhuǎn)載自http://baojie.org/blog/2013/01/27/deep-learning-tutorials/ ? Stanford Deep Learning wiki: htt...
摘要:同時推薦閱讀由,和提供的深度學(xué)習(xí)教程,其中介紹略少一些。自然語言處理的深度學(xué)習(xí),另一個斯坦福大學(xué)的學(xué)者的創(chuàng)始人也是一個很好的課程,可以解決與相關(guān)的所有最新的深入學(xué)習(xí)研究。 如果您具有數(shù)學(xué)和計算機科學(xué)方面的工程背景或相關(guān)知識的編碼經(jīng)驗,只需兩個月即可熟練掌握深度學(xué)習(xí)。 難以置信? 四步使它成為可能。 欲了解更多,請往下看 Step 1: 學(xué)習(xí)機器學(xué)習(xí)基礎(chǔ) (可選,但強烈推薦) 開始于An...
閱讀 2083·2021-11-16 11:45
閱讀 581·2021-11-04 16:12
閱讀 1385·2021-10-08 10:22
閱讀 860·2021-09-23 11:52
閱讀 4145·2021-09-22 15:47
閱讀 3523·2021-09-22 15:07
閱讀 494·2021-09-03 10:28
閱讀 1741·2021-09-02 15:21