摘要：基于深度學習的語義匹配語義匹配技術(shù)，在信息檢索搜索引擎中有著重要的地位，在結(jié)果召回精準排序等環(huán)節(jié)發(fā)揮著重要作用。在美團點評業(yè)務(wù)中主要起著兩方面作用。

寫在前面

美團點評這兩年在深度學習方面進行了一些探索，其中在自然語言處理領(lǐng)域，我們將深度學習技術(shù)應(yīng)用于文本分析、語義匹配、搜索引擎的排序模型等；在計算機視覺領(lǐng)域，我們將其應(yīng)用于文字識別、目標檢測、圖像分類、圖像質(zhì)量排序等。下面我們就以語義匹配、圖像質(zhì)量排序及文字識別這三個應(yīng)用場景為例，來詳細介紹美團點評在深度學習技術(shù)及應(yīng)用方面的經(jīng)驗和方法論。

基于深度學習的語義匹配

語義匹配技術(shù)，在信息檢索、搜索引擎中有著重要的地位，在結(jié)果召回、精準排序等環(huán)節(jié)發(fā)揮著重要作用。

傳統(tǒng)意義上講的語義匹配技術(shù)，更加注重文字層面的語義吻合程度，我們暫且稱之為語言層的語義匹配；而在美團點評這樣典型的O2O應(yīng)用場景下，我們的結(jié)果呈現(xiàn)除了和用戶表達的語言層語義強相關(guān)之外，還和用戶意圖、用戶狀態(tài)強相關(guān)。

用戶意圖即用戶是來干什么的？比如用戶在百度上搜索“關(guān)內(nèi)關(guān)外”，他的意圖可能是想知道關(guān)內(nèi)和關(guān)外代表的地理區(qū)域范圍，“關(guān)內(nèi)”和“關(guān)外”被作為兩個詞進行檢索，而在美團上搜索“關(guān)內(nèi)關(guān)外”，用戶想找的就是“關(guān)內(nèi)關(guān)外”這家飯店，“關(guān)內(nèi)關(guān)外”被作為一個詞來對待。

再說用戶狀態(tài)，一個在北京和另一個在武漢的用戶，在百度或淘寶上搜索任何一個詞條，可能得到的結(jié)果不會差太多；但是在美團這樣與地理位置強相關(guān)的場景下就會完全不一樣。比如我在武漢搜“黃鶴樓”，用戶找的可能是景點門票，而在北京搜索“黃鶴樓”，用戶找的很可能是一家飯店。

如何結(jié)合語言層信息和用戶意圖、狀態(tài)來做語義匹配呢？

我們的思路是在短文本外引入部分O2O業(yè)務(wù)場景相關(guān)特征，融入到設(shè)計的深度學習來做語義匹配的框架中，通過點擊/下單數(shù)據(jù)來指引語義匹配模型的優(yōu)化方向，最終把訓(xùn)練出的點擊相關(guān)性模型應(yīng)用到搜索相關(guān)業(yè)務(wù)中。下圖是針對美團點評場景設(shè)計的點擊相似度框架ClickNet，是比較輕量級的模型，兼顧了效果和性能兩方面，能很好地推廣到線上應(yīng)用。

表示層

對Query和商家名分別用語義和業(yè)務(wù)特征表示，其中語義特征是核心，通過DNN/CNN/RNN/LSTM/GRU方法得到短文本的整體向量表示，另外會引入業(yè)務(wù)相關(guān)特征，比如用戶或商家的相關(guān)信息，比如用戶和商家距離、商家評價等，最終結(jié)合起來往上傳。

學習層

通過多層全連接和非線性變化后，預(yù)測匹配得分，根據(jù)得分和Label來調(diào)整網(wǎng)絡(luò)以學習出Query和商家名的點擊匹配關(guān)系。

在該算法框架上要訓(xùn)練效果很好的語義模型，還需要根據(jù)場景做模型調(diào)優(yōu)：首先，我們從訓(xùn)練語料做很多優(yōu)化，比如考慮樣本不均衡、樣本重要度、位置Bias等方面問題。其次，在模型參數(shù)調(diào)優(yōu)時，考慮不同的優(yōu)化算法、網(wǎng)絡(luò)大小層次、超參數(shù)的調(diào)整等問題。經(jīng)過模型訓(xùn)練優(yōu)化，我們的語義匹配模型已經(jīng)在美團點評平臺搜索、廣告、酒店、旅游等召回和排序系統(tǒng)中上線，有效提升了訪購率/收入/點擊率等指標。

小結(jié)

深度學習應(yīng)用在語義匹配上，需要針對業(yè)務(wù)場景設(shè)計合適的算法框架，此外，深度學習算法雖然減少了特征工程工作，但模型調(diào)優(yōu)上難度會增加，因此可以從框架設(shè)計、業(yè)務(wù)語料處理、模型參數(shù)調(diào)優(yōu)三方面綜合起來考慮，實現(xiàn)一個效果和性能兼優(yōu)的模型。

基于深度學習的圖像質(zhì)量排序

國內(nèi)外各大互聯(lián)網(wǎng)公司（比如騰訊、阿里和Yelp）的線上廣告業(yè)務(wù)都在關(guān)注展示什么樣的圖像能吸引更多點擊。在美團點評，商家的首圖是由商家或運營人工指定的，如何選擇首圖才能更好地吸引用戶呢？圖像質(zhì)量排序算法目標就是做到自動選擇更優(yōu)質(zhì)的首圖，以吸引用戶點擊。

傳統(tǒng)的圖像質(zhì)量排序方法主要從美學角度進行質(zhì)量評價，通過顏色統(tǒng)計、主體分布、構(gòu)圖等來分析圖片的美感。但在實際業(yè)務(wù)場景中，用戶對圖片質(zhì)量優(yōu)劣的判斷主觀性很強，難以形成統(tǒng)一的評價標準。比如:

有的用戶對清晰度或分辨率更敏感；

有的用戶對色彩或構(gòu)圖更敏感；

有的用戶偏愛有視覺沖擊力的內(nèi)容而非平淡無奇的環(huán)境圖。

因此我們使用深度學習方法，去挖掘圖片的哪些屬性會影響用戶的判斷，以及如何有效融合這些屬性對圖片進行評價。

我們使用AlexNet去提取圖片的高層語義描述，學習美感、可記憶度、吸引度、品類等High Level特征，并補充人工設(shè)計的Low Level特征（比如色彩、銳度、對比度、角點）。在獲得這些特征后，訓(xùn)練一個淺層神經(jīng)網(wǎng)絡(luò)對圖像整體打分。該框架（如圖2所示）的一個特點是聯(lián)合了深度學習特征與傳統(tǒng)特征，既引入高層語義又保留了低層通用描述，既包括全局特征又有局部特征。

對于每個維度圖片屬性的學習，都需要大量的標簽數(shù)據(jù)來支撐，但完全通過人工標記代價極大，因此我們借鑒了美團點評的圖片來源和POI標簽體系。關(guān)于吸引度屬性的學習，我們選取了美團Deal相冊中點擊率高的圖片（多數(shù)是攝影師通過單反相機拍攝）作為正例，而選取UGC相冊中點擊率低的圖片（多數(shù)是低端手機拍攝）作為負例。

關(guān)于品類屬性的學習，我們將美團一級品類和常見二級品類作為圖片標簽?；谏鲜鲑|(zhì)量排序模型，我們?yōu)閺V告POI挑選最合適的優(yōu)質(zhì)首圖進行展示，起到吸引用戶點擊，提高業(yè)務(wù)指標的目的。圖3給出了基于質(zhì)量排序的首圖優(yōu)選結(jié)果。

基于深度學習的OCR

為了提升用戶體驗，O2O產(chǎn)品對OCR技術(shù)的需求已滲透到上單、支付、配送和用戶評價等環(huán)節(jié)。OCR在美團點評業(yè)務(wù)中主要起著兩方面作用。一方面是輔助錄入，比如在移動支付環(huán)節(jié)通過對銀行卡卡號的拍照識別，以實現(xiàn)自動綁卡，又如輔助BD錄入菜單中菜品信息。

另一方面是審核校驗，比如在商家資質(zhì)審核環(huán)節(jié)對商家上傳的身份證、營業(yè)執(zhí)照和餐飲許可證等證件照片進行信息提取和核驗以確保該商家的合法性，比如機器過濾商家上單和用戶評價環(huán)節(jié)產(chǎn)生的包含違禁詞的圖片。相比于傳統(tǒng)OCR場景（印刷體、掃描文檔），美團的OCR場景主要是針對手機拍攝的照片進行文字信息提取和識別，考慮到線下用戶的多樣性，因此主要面臨以下挑戰(zhàn)：

成像復(fù)雜：噪聲、模糊、光線變化、形變；

文字復(fù)雜：字體、字號、色彩、磨損、筆畫寬度不固定、方向任意；

背景復(fù)雜：版面缺失，背景干擾。

對于上述挑戰(zhàn)，傳統(tǒng)的OCR解決方案存在著以下不足：

通過版面分析（二值化，連通域分析）來生成文本行，要求版面結(jié)構(gòu)有較強的規(guī)則性且前背景可分性強（例如文檔圖像、車牌），無法處理前背景復(fù)雜的隨意文字（例如場景文字、菜單、廣告文字等）。

通過人工設(shè)計邊緣方向特征（例如HOG）來訓(xùn)練字符識別模型，此類單一的特征在字體變化，模糊或背景干擾時泛化能力迅速下降。

過度依賴字符切分的結(jié)果，在字符扭曲、粘連、噪聲干擾的情況下，切分的錯誤傳播尤其突出。

針對傳統(tǒng)OCR解決方案的不足，我們嘗試基于深度學習的OCR。

?1. 基于Faster R-CNN和FCN的文字定位

首先，我們根據(jù)是否有先驗信息將版面劃分為受控場景（例如身份證、營業(yè)執(zhí)照、銀行卡）和非受控場景（例如菜單、門頭圖）。

對于受控場景，我們將文字定位轉(zhuǎn)換為對特定關(guān)鍵字目標的檢測問題。主要利用Faster R-CNN進行檢測，如下圖所示。為了保證回歸框的定位精度同時提升運算速度，我們對原有框架和訓(xùn)練方式進行了微調(diào):

考慮到關(guān)鍵字目標的類內(nèi)變化有限，我們裁剪了ZF模型的網(wǎng)絡(luò)結(jié)構(gòu)，將5層卷積減少到3層。

訓(xùn)練過程中提高正樣本的重疊率閾值，并根據(jù)業(yè)務(wù)需求來適配RPN層Anchor的寬高比。

對于非受控場景，由于文字方向和筆畫寬度任意變化，目標檢測中回歸框的定位粒度不夠，我們利用語義分割中常用的全卷積網(wǎng)絡(luò)（FCN）來進行像素級別的文字/背景標注，如下圖所示。為了同時保證定位的精度和語義的清晰，我們不僅在最后一層進行反卷積，而且融合了深層Layer和淺層Layer的反卷積結(jié)果。

2. 基于序列學習框架的文字識別

為了有效控制字符切分和識別后處理的錯誤傳播效應(yīng)，實現(xiàn)端到端文字識別的可訓(xùn)練性，我們采用如下圖所示的序列學習框架?？蚣苷w分為三層：卷積層，遞歸層和翻譯層。其中卷積層提特征，遞歸層既學習特征序列中字符特征的先后關(guān)系，又學習字符的先后關(guān)系，翻譯層實現(xiàn)對時間序列分類結(jié)果的解碼。

由于序列學習框架對訓(xùn)練樣本的數(shù)量和分布要求較高，我們采用了真實樣本+合成樣本的方式。真實樣本以美團點評業(yè)務(wù)來源（例如菜單、身份證、營業(yè)執(zhí)照）為主，合成樣本則考慮了字體、形變、模糊、噪聲、背景等因素。基于上述序列學習框架和訓(xùn)練數(shù)據(jù)，在多種場景的文字識別上都有較大幅度的性能提升，如下圖所示。

寫在最后

本文主要以深度學習在自然語言處理、圖像處理兩個領(lǐng)域的應(yīng)用為例進行了介紹，但深度學習在美團點評可能發(fā)揮的價值遠遠不限于此。未來，我們將繼續(xù)在各個場景深入挖掘，比如在智能交互、配送調(diào)度、智能運營等，在美團點評產(chǎn)品的智能化道路上貢獻一份力量。

作者簡介

文竹，美團點評美團平臺與酒旅事業(yè)群智能技術(shù)中心負責人，2010年從清華碩士畢業(yè)后，加入百度，先后從事機器翻譯的研發(fā)及多個技術(shù)團隊的管理工作。2015年4月加入美團，負責智能技術(shù)中心的管理工作，致力于推動自然語言處理、圖像處理、機器學習、用戶畫像等技術(shù)在公司業(yè)務(wù)上的落地。

李彪，美團點評美團平臺及酒旅事業(yè)群NLP技術(shù)負責人，曾就職搜狗、百度。2015年加入美團點評，致力于NLP技術(shù)積累和業(yè)務(wù)的落地，負責的工作包括深度學習平臺和模型，文本分析在搜索、廣告、推薦等業(yè)務(wù)上應(yīng)用，智能客服和交互。

曉明，美團點評平臺及酒旅事業(yè)群圖像技術(shù)負責人，曾就職于三星研究院。2015年加入美團點評，主要致力于圖像識別技術(shù)的積累和業(yè)務(wù)落地，作為技術(shù)負責人主導(dǎo)了圖像機審、首圖優(yōu)選和OCR等項目的上線，推進了美團產(chǎn)品的智能化體驗和人力成本的節(jié)省。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754