摘要：而自然語言處理被視為深度學習即將攻陷的下一個技術領域，在今年全球較高級的學術會議上，我們也看到大量的在深度學習引入方面的探索研究。和也是近幾年暫露頭角的青年學者，尤其是在將深度學習應用于領域做了不少創(chuàng)新的研究。

深度學習的出現(xiàn)讓很多人工智能相關技術取得了大幅度的進展，比如語音識別已經(jīng)逼近臨界點，即將達到Game Changer水平；機器視覺也已經(jīng)在安防、機器人、自動駕駛等多個領域得到應用。 而自然語言處理（NLP）被視為深度學習即將攻陷的下一個技術領域，在今年全球較高級的NLP學術會議ACL上，我們也看到大量的在深度學習引入NLP方面的探索研究。讓我們跟隨阿里的科學家們一起去探求深度學習給NLP帶來些改變。

一、會議概要

ACL2016于2016年8月7日至12日在德國柏林洪堡大學召開，本屆參會人數(shù)在1200人左右。其中，8月7日是Tutorial環(huán)節(jié)，8月8日－10日是正會，8月11日－12日是若干主題的workshop。本屆ACL2016 Lifetime AchievementAward winner是來自斯坦福的Joan Bresnan教授，詞匯功能文法的奠基人。

參會的阿里巴巴同學們

二、Tutorial總結

1、《Computer Aided Translation》

這個tutorial的報告人是約翰霍普金斯大學的Philipp Koehn教授，他是統(tǒng)計機器翻譯領域的領軍學者之一，在基于短語的機器翻譯模型方面做了很多影響深遠的工作，主持了著名的開源統(tǒng)計機器翻譯系統(tǒng)Moses的開發(fā)。最近幾年，Koehn教授重點關注如何借助機器翻譯技術來幫助譯員如何更有效率地完成翻譯工作，即計算機輔助翻譯技術（CAT），并得到了歐盟CASMACAT項目資助，這個tutorial也算是整個CASMACAT項目的總結。在這個報告中，Koehn介紹了在這個項目中開發(fā)的一系列新的CAT技術及其實際效果。與在線術語庫、記憶庫、譯后編輯等傳統(tǒng)手段不同，CASMACAT結合了SMT的大量研究成果，例如置信分（confidence score）、復述（paraphrasing）、可視化詞對齊（visualization of word alignment）、翻譯選項陣列（translationoption array）等，為譯員提供了更加豐富的信息，從而為輔助翻譯提供了更好的靈活性。

圖1、翻譯選項陣列

這個項目實現(xiàn)了一套完整的在線CAT系統(tǒng)（CASMACAT），通過對大量譯員的實際使用情況進行數(shù)據(jù)統(tǒng)計，并結合眼部跟蹤（eye tracking）等認知分析，證明這些新的CAT方法的確能夠提升譯員的工作效率，提升產(chǎn)出。

?

總體上，這個報告的內(nèi)容屬于比較偏應用型的工作，學術上的創(chuàng)新工作不多，因此受到的關注不如其它學術性報告多，但它是一個非常完整的實用性工作，通過把機器翻譯的新技術與CAT場景進行創(chuàng)新的結合，并通過大量真實用戶的使用驗證這些技術的有效性。

2、《NeuralMachine Translation》

這個tutorial的報告人是斯坦福大學的Christopher Manning教授、他的博士生Thang Luong以及紐約大學的助理教授Kyunghyun Cho。Manning教授在NLP領域的影響力非常大，是統(tǒng)計NLP領域的領軍學者之一，最近幾年也逐漸轉(zhuǎn)向深度學習，在遞歸神經(jīng)網(wǎng)絡、句法分析、詞向量、神經(jīng)機器翻譯等領域做了很多開創(chuàng)性工作。Luong和Cho也是近幾年暫露頭角的青年學者，尤其是在將深度學習應用于NLP領域做了不少創(chuàng)新的研究。

?

這個tutorial對目前神經(jīng)機器翻譯的研究進展做了一個階段性的總結。雖然NMT真正開始興起的時間不到3年（大致從2013年Kalchbrenner和Blunsum發(fā)表《Recurrent continuous translation models》開始算起），但迅速在研究界掀起了新的熱潮，并取得了巨大進展，在一些語言上的效果已經(jīng)超越了傳統(tǒng)的方法。報告首先回顧了最近20年占統(tǒng)治地位的SMT方法，然后介紹了幾年之前將神經(jīng)網(wǎng)絡作為新特征集成到傳統(tǒng)解碼器的思路，接下來重點介紹了大家非常關注的端到端的神經(jīng)機器翻譯（End2end NMT）。報告中以一個具體的NMT實現(xiàn)為例，詳細描述了一個NMT的序列到序列框架及相關的較大似然估計和beam-search解碼過程。報告最后描述了NMT研究近期的發(fā)展趨勢，包括引入LSTM和attention機制，以及如何通過sub-word或基于字符解碼來盡量減少受限詞表對最后翻譯效果的影響等。

圖2、一個典型的encoder-decoderNMT框架

總的來說，這個報告對于我們更好理解NMT基本原理，了解當前面臨的主要問題以及的研究成果都非常有幫助。

圖3、Manning教授、Luong和Cho在Tutorial上

3、《SemanticRepresentations of Word Senses and Concepts》

來自羅馬大學的J Camacho-Collados，I Iacobacci，R Navigli，以及劍橋大學的MT Pilehvar共同帶來了這次《詞義和概念的語義表示》的Tutorial分享。

?

Word(詞)是句子、文章、文檔的重要組部分，但是Word Representation有比較大的局限性，例如：一詞多義以及詞義消歧等，因此本文詳細介紹基于語義表示(Sense Representation)技術，而此領域作為一個基礎領域可以在眾多領域進行廣泛的應用，例如：語義相似度、語義消歧、信息挖掘、語義聚類等等領域進行應用。并且系統(tǒng)的通過基于知識庫(knowledge-based)和無監(jiān)督(unsupervised)兩個不同的技術體系與方案進行相關領域成果及方法系統(tǒng)的介紹。整個Topic雖無特別創(chuàng)新的地方，但是實用性較高，基于知識以及無監(jiān)督的方法大部分在工業(yè)場景都可以借鑒，可以一讀。

Slides下載地址：http://wwwusers.di.uniroma1.it/~collados/Slides_ACL16Tutorial_SemanticRepresentation.pdf

4、《UnderstandingShort Texts》

短文本理解的主題從字面意思理解就非常接地氣。在日常的很多領域中都會產(chǎn)生大量的短文本，包括搜索、問答以及對話、推薦等領域，而短文本帶來的問題也非常明顯，包括稀疏問題、噪音問題以及歧義問題。因此這里就會產(chǎn)生大量的工作以及有意思的工作。

?

本次報告的分享人是來自前微軟亞洲研究院(MSRA)的研究員王仲遠(目前已經(jīng)在Facebook)以及來自Facebook的王海勛(前Google以及前MSRA高級研究員)。可能是因為本次Topic分享人來自于企業(yè)界，加上相對接地氣的分享主題，因此本次分享吸引了不少產(chǎn)業(yè)界以及學術領域的同學前來參加，包括Amazon、Yelp、訊飛、百度、微軟等。

?

本文在短文本的理解技術上從文本語義明確(Explict)表示與隱性(Implict)表示將處理的方法技術分成了兩種類型：ERM(Explict Representation Model)和IRM(ImplictRepresentation Model)。

圖4、EMR and IMR

ERM還是基于結構化知識庫或者知識圖譜，切分成為單實例和上下文多實例的兩種類型分別進行短文本的理解；

?

單實例的處理方式：單實例的查詢是否有歧義，無歧義既返回，有歧義進行基礎基礎的概念模型進行歸一和分類，最終進行語義相似度的方法進行傾向性理解的方法；

?

多實例短文本的方式：語義分詞處理與切分(文中提到了有監(jiān)督和無監(jiān)督N-Gram的方式，而在實際場景這個問題相對會更加成熟，可以參考中文分詞技術)，實體及結合上下文的實體識別、消歧和類型標注，到實例之間的關系標注，到最終的語義相似度計算；

?

IRM更多基于embedding和deep learning的方法做短文的理解與計算。本文還是有不少實際工業(yè)可以借鑒的地方，可以關注并讀一下。

?

slides下載地址：

http://www.wangzhongyuan.com/tutorial/ACL2016/Understanding-Short-Texts/

三、會議詳細內(nèi)容

1、機器翻譯方向

《Multimodal Pivots for Image CaptionTranslation》，這篇論文入選了本屆會議的杰出論文，作者是德國海德堡大學的Julian Hitschlerand ShigehikoSchamoni和Stefan Riezler，所做的工作比較有新意。論文工作要解決的問題是改進圖片標題的翻譯質(zhì)量，但并不是通過擴大雙語句對、優(yōu)化解碼器等方法實現(xiàn)，而是先用圖像檢索的方法在目標語言圖片庫中檢索與源語言圖片相似的圖片，然后用其所帶的標題和機器翻譯輸出的譯文組合之后進行重排序，從而顯著提升了標題翻譯的質(zhì)量。對于改進機器翻譯質(zhì)量，這個工作并沒有試圖直接硬碰硬地去改進核心算法，而是另辟蹊徑，反而取得了更好的結果。

?

《Modeling Coveragefor Neural Machine Translation》，這篇論文的作者是來自華為諾亞方舟實驗室的涂兆鵬博士和李航博士，其核心思想是要解決之前基于注意力（attention）的NMT框架中由于缺少已翻譯范圍指引而導致的過翻（over-translation）或欠翻（under-translation）問題。論文引入了一個覆蓋向量來跟蹤NMT的attention歷史，并在解碼過程中反饋給attention模型，幫助后者不斷調(diào)整未來的attention，從而從全局上記錄哪些詞已翻，哪些詞未翻。這個工作解決了之前NMT框架中一個比較明顯的缺口，對于NMT系統(tǒng)的實用化具有很好的價值。

?

《Phrase-LevelCombination of SMT and TM Using Constrained Word Lattice》，這篇論文的作者是來自于都柏林大學ADAPT中心的劉群教授、Andy Way和李良友。文中使用了一種受限詞圖結構，將輸入的短語和由記憶庫施加的約束條件編碼到一個向量里，從而將SMT和TM在句子級實現(xiàn)了融合。這是眾多NMT論文中為數(shù)不多的仍然以傳統(tǒng)SMT和記憶庫（TM）為主題的工作?？紤]到TM在實用系統(tǒng)中仍是不可缺少的部分，這個工作也是具有一定的應用前景的。

圖5、Phrase-Level Combination of SMT and TM UsingConstrained Word Lattice

2、機器閱讀與理解

機器閱讀理解是約在5、6年前逐漸為人關注的領域，它可以說是自然語言理解的終極形態(tài)。這個領域的研究形式是讓機器先處理一篇文章（新聞文章或短篇故事），然后回答跟文章內(nèi)容相關的填充題，要填充的一般都是某個實體的名字。（注：為了避免利用外部資源來作弊，常用做法是把實體名字替換成’@entity1’等特殊符號。）

?

本屆ACL會議正好有一篇優(yōu)秀論文（“A Thorough Examination ofthe CNN/Daily Mail Reading Comprehension Task”）是關于閱讀理解的。該論文的重點在于借助一個基于CNN和每日郵報新聞數(shù)據(jù)的評測數(shù)據(jù)集去探討當前閱讀理解技術所能解決的范圍。論文作者實現(xiàn)了兩個相當標準的系統(tǒng)，一個基于傳統(tǒng)分類器，另一個基于神經(jīng)網(wǎng)絡，然后對兩個系統(tǒng)的表現(xiàn)作抽樣調(diào)研。調(diào)研結果是：(i) 只需要字面匹配就能解答的問題是兩個系統(tǒng)都能百分百回答正確的；(ii) 大部分閱讀理解問題的關鍵在于同義表達的理解和若干程度的文本、常識推理，這方面基于神經(jīng)網(wǎng)絡的系統(tǒng)能達到90%上下的水平；(iii) 牽涉到代詞指代和需要消化多個句子信息的問題，兩個系統(tǒng)的表現(xiàn)都只達到50%左右；(iv)連一般人都難以回答的問題，機器也同樣沒轍，只能偶爾蒙中一兩題而已。換言之，這篇論文一方面印證了神經(jīng)網(wǎng)絡確實是解決同義表達和簡單文本推理的一個良好框架，但同時亦指出了要機器閱讀理解的未來方向在于篇章級的理解方法。

?

另外一篇論文“Text Understanding with theAttention Sum Reader Network”在這個CNN/每日郵報數(shù)據(jù)集上使用了另外一套基于神經(jīng)網(wǎng)絡的方法，也得到幾乎一樣的準確率，印證了頂尖研究者都已經(jīng)達到一樣的水平了。

3、語言與視覺

這個又名“l(fā)anguage grounding”的領域是NLP和computer vision的交叉領域，近年來也越來越受到關注。今年ACL有兩篇論文對現(xiàn)實產(chǎn)品有相當意義。第一篇是“Learning Prototypical EventStructure from Photo Albums”。這篇論文指出不少照片簿其實都是關于一個大主題（例如婚禮），這個大主題往往由好幾個小主題組成（例如交換戒指、新郎親吻新娘、拋花球、切結婚蛋糕），而這些小主題往往也有一個時序。（見圖6）論文作者于是提出一套方法，利用照片圖像之間的相似度/差異度、照片標題的相似度/差異度、主題之間的順序關系來對照片簿進行切分，并利用圖像分類和文本分類對每個切分出來的部分給出一個主題標簽。

圖6、照片簿的自動切分和分類

第二篇值得注意的論文是來自微軟研究院的“Generating Natural Questions about an Image”。論文指出目前的image captioning（自動賦予圖片標題）研究通常都會對照片給一個很客觀但也很干巴巴、‘沒有人文關懷’的標題，例如對于圖7中的照片，一般的系統(tǒng)都會給出“有個人在摩托車旁邊”或類似的標題。這種標題抓不住整張圖片的重點，因此也不能引起讀者興趣。這篇論文應該是關于Tay（英文版微軟小冰）的一個功能，就是用戶上傳一張如圖7的照片，然后聊天機器人回應一句像“發(fā)生什么意外了？”或“司機受傷了嗎？”的回應。論文作者收集了并人工標注了一個相關的數(shù)據(jù)集，也提出生成式和檢索式的兩套方法。 ? ?

圖7、自然與不自然的相片標題

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754