摘要：結(jié)果，我們當(dāng)時(shí)非常抱以厚望的就是卷積神經(jīng)網(wǎng)絡(luò)模型，或者說(shuō)是。單反相機(jī)可以讓攝影師調(diào)節(jié)透鏡類(lèi)型和光圈大小，更好地控制把相片里的哪個(gè)部分作為焦點(diǎn)。更進(jìn)一步，單反相機(jī)的傳感器更大，對(duì)光線更敏感，即使在非?；璋档沫h(huán)境下也可以拍出非常漂亮的相片。

Yelp的數(shù)據(jù)庫(kù)中已經(jīng)存儲(chǔ)了幾千萬(wàn)張相片，用戶(hù)們現(xiàn)在每天都會(huì)上傳大概十萬(wàn)張，而且速度還在不斷加快。事實(shí)上，我們發(fā)現(xiàn)相片的上傳增長(zhǎng)率大于相片的查看率。這些相片反映著本地商業(yè)的內(nèi)容和質(zhì)量，提供了非常豐富的信息。

關(guān)于這些相片非常重要的一方面，就是展示出來(lái)的內(nèi)容的類(lèi)型。在2015年8月，我們上線了一套新系統(tǒng)，用于將傳統(tǒng)飯店有關(guān)的相片分為食物、飲料、外觀、內(nèi)景和菜單等幾大類(lèi)。從那以后，我們又為咖啡店、酒吧等類(lèi)似的商店上線了類(lèi)似的系統(tǒng)，以此來(lái)幫助用戶(hù)們盡快發(fā)現(xiàn)他們想要尋找的那些相片。最近的一段時(shí)間，我們又在研究如何進(jìn)一步提高用戶(hù)的滿(mǎn)意度，具體方法就是給他們看更多漂亮的圖片，改進(jìn)我們的相片排名系統(tǒng)。

理解相片的質(zhì)量

對(duì)比相片的質(zhì)量，看起來(lái)很像是一件非常主觀性的工作。喜歡哪張相片或不喜歡哪張相片，有許多因素會(huì)影響這樣的決定，而且依正在做搜索的用戶(hù)個(gè)人不同，結(jié)論也會(huì)有所不同。為了能為Yelp的用戶(hù)提供更好的體驗(yàn)，相片理解團(tuán)隊(duì)必須擔(dān)當(dāng)起這項(xiàng)非常有挑戰(zhàn)性的工作：確定哪些特點(diǎn)會(huì)讓相片更受人喜愛(ài)，并研發(fā)出一套算法，可以依據(jù)這些特點(diǎn)來(lái)可靠地對(duì)相片做出評(píng)判。

首先我們?cè)囍鵀橄嗥瑯?gòu)建一個(gè)點(diǎn)擊率預(yù)測(cè)器，數(shù)據(jù)源就是從日志中挖掘出來(lái)的點(diǎn)擊數(shù)據(jù)。我們的假設(shè)是，那些被點(diǎn)擊了更多次數(shù)的相片應(yīng)該很明顯地會(huì)比其它相片好?？墒聦?shí)上這個(gè)想法的效果卻沒(méi)有想象中好，原因有幾點(diǎn)。首先，人們常常會(huì)點(diǎn)開(kāi)那些比較模糊、或者里面有非常多文字的相片，這么來(lái)看看里面到底是什么內(nèi)容。另外，因?yàn)閅elp上的相片有許多種展示方法，所以很難有效地對(duì)比某些特定相片的指標(biāo)。

之后，我們?cè)囉昧撕脦追N不同的計(jì)算機(jī)視覺(jué)技術(shù)，試著發(fā)現(xiàn)一些相片的內(nèi)在特征，希望可以直接用于質(zhì)量評(píng)分。比如，對(duì)攝影師來(lái)說(shuō)有個(gè)非常重要的特征叫“景深”，它用來(lái)測(cè)量相片有多少內(nèi)容是在焦點(diǎn)里面的。用淺景深可以非常有效地將相片中的物體與它的背景區(qū)別開(kāi)來(lái)，上傳到Y(jié)elp的相片也不例外。很多時(shí)候，在關(guān)于某間飯店的許多張相片中，那些最美的總是那些非常明確地對(duì)焦到某個(gè)具體物體上的。

景深

亞歷山大牛排屋

桌面上的藝術(shù)

另一個(gè)人們判斷相片的非常重要的方法就是對(duì)比。對(duì)比可以測(cè)量出在一張相片中，一個(gè)物體和它旁邊的物體在亮度和顏色等方面的不同。有許多種公式可以用于計(jì)算對(duì)比，但大多數(shù)都要對(duì)比亮度，或者相片中附近區(qū)域的光強(qiáng)度。

對(duì)比

安東尼點(diǎn)心

Tac N Roll

最后，相片中不同物體之間的相對(duì)位置也是一個(gè)非常重要地審美方面的考慮。比如研究表明，人們對(duì)藝術(shù)的對(duì)稱(chēng)性有著天生的傾向。另外，有些攝影師也非常推崇所謂的“第三法則”，這是一種將相片中的重要元素都按照某個(gè)軸排列起來(lái)的方法，以此來(lái)創(chuàng)建出一種運(yùn)動(dòng)或活力的感覺(jué)。

對(duì)齊

Traif

Augie Chang 攝影室

用深度學(xué)習(xí)來(lái)構(gòu)建相片評(píng)分模型

所有這些考慮都依賴(lài)于對(duì)相片內(nèi)不同區(qū)域之間的關(guān)系的理解。所以當(dāng)要實(shí)現(xiàn)一個(gè)相片評(píng)分算法時(shí)，我們希望算法中也會(huì)把這個(gè)關(guān)系放在非常重要的地位。結(jié)果，我們當(dāng)時(shí)非常抱以厚望的就是卷積神經(jīng)網(wǎng)絡(luò)模型，或者說(shuō)是CNN。

在過(guò)去的十年里，卷積神經(jīng)網(wǎng)絡(luò)模型在圖片分類(lèi)與處理領(lǐng)域內(nèi)取得了巨大的成功，比如人臉識(shí)別和分子疾病檢測(cè)等。和普通的神經(jīng)網(wǎng)絡(luò)類(lèi)似，它們都會(huì)對(duì)輸入向量做一系列的轉(zhuǎn)換，并使用輸出的錯(cuò)誤來(lái)動(dòng)態(tài)地改進(jìn)對(duì)未來(lái)的預(yù)測(cè)?？墒牵珻NN還有另外的幾層，用到了上文中我們?cè)敿?xì)討論過(guò)的幾個(gè)特征。尤其是卷積層會(huì)對(duì)相片加以許多過(guò)濾器，匯聚層也會(huì)縮減之前各層的輸出規(guī)模，以減少計(jì)算量。

為了開(kāi)發(fā)這個(gè)模型，我們先要收集訓(xùn)練數(shù)據(jù)。得到訓(xùn)練數(shù)據(jù)的方法之一就是手工地為成千上萬(wàn)張相片加上標(biāo)簽，標(biāo)記成漂亮或不漂亮。可是這樣的方法代價(jià)太大，太耗時(shí)，而且會(huì)非常依賴(lài)于我們的評(píng)分員的喜好。另外，還有一點(diǎn)可供我們利用的就是，在相片被上傳到Y(jié)elp的時(shí)候，它們通常都會(huì)包含著額外的信息，也就是EXIF數(shù)據(jù)。

另外，我們發(fā)現(xiàn)有個(gè)判斷質(zhì)量的非常好的方法，就是相片是不是由單反相機(jī)（Digital Single-Lens Reflex Camera，DSLR）拍攝的。單反相機(jī)可以讓攝影師調(diào)節(jié)透鏡類(lèi)型和光圈大小，更好地控制把相片里的哪個(gè)部分作為焦點(diǎn)。更進(jìn)一步，單反相機(jī)的傳感器更大，對(duì)光線更敏感，即使在非?；璋档沫h(huán)境下也可以拍出非常漂亮的相片。最后，總是使用單反相機(jī)的人經(jīng)驗(yàn)會(huì)更豐富，也可以抓拍到質(zhì)量更好的相片。

把這樣的相片送給我們的模型去學(xué)習(xí)，就可以學(xué)到這些重要的相片特征，那么即使是在那些不是由單反相機(jī)拍出來(lái)的相片中，也可以識(shí)別出好相片。

即使這張相片是由iPhone拍出來(lái)的，我們的模型也還是給了它非常高的評(píng)分。

我們嘗試了好多種方法來(lái)訓(xùn)練這個(gè)模型。一開(kāi)始，我們收集了十萬(wàn)張單反相機(jī)和非單反相機(jī)拍出來(lái)的相片，分別標(biāo)上好的和差的標(biāo)簽，然后送給名為AlexNet的模型中去學(xué)習(xí)，這個(gè)模型是由多倫多大學(xué)的研究員在2012年提出的。為了提高這個(gè)模型的精度，我們還用了幾百萬(wàn)張相片的數(shù)據(jù)量去訓(xùn)練了另一個(gè)模型。最后，我們還嘗試過(guò)一個(gè)名叫GoogLeNet的模型，這是Google的研究員在2014年開(kāi)發(fā)的，藝術(shù)水平非常高，比之前較好的模型的層次還明顯深。

同時(shí)Yelp的工程師們也手工評(píng)判了幾千張相片，里面的相片都是我們可以非常自信地說(shuō)非常好或者非常差的。在上面的每個(gè)測(cè)試中，我們還會(huì)把每個(gè)模型的訓(xùn)練成果，用于評(píng)判這幾千張相片，來(lái)進(jìn)一步看看效果。我們發(fā)現(xiàn)每經(jīng)過(guò)一次迭代，我們正確判斷好圖或者差圖的能力都得到了提高。

最后，為了把我們模型的判斷結(jié)果轉(zhuǎn)化為質(zhì)量評(píng)分，我們?cè)谀Ｐ偷淖詈笠粚邮褂昧丝赡苄暂敵龅姆椒?，為每一張輸入的相片都生成一個(gè)確定的標(biāo)簽。換句話說(shuō)，如果我們的模型認(rèn)為有80%的機(jī)會(huì)標(biāo)簽應(yīng)該是“高質(zhì)量”，那我們就給那張相片打分0.8。這種方法可以很直觀地把一個(gè)二元分類(lèi)器的輸出結(jié)果轉(zhuǎn)化成了很容易打分的結(jié)果。

更進(jìn)一步

我們的初步分析表明，我們的算法推薦的圖片都是那些焦點(diǎn)更突出、更明亮和在審美上使人更愉悅的?？墒怯行r(shí)候也不是讓我們非常滿(mǎn)意，這就促使我們?nèi)フ业睫k法對(duì)某些相片進(jìn)行重新評(píng)估和排序。最終，我們?yōu)榇蠹姨峁┑南到y(tǒng)可以把多種不同的信息整合起來(lái)，為商戶(hù)提供較好的相片，展示給用戶(hù)。

相片評(píng)分算法

商戶(hù)相片評(píng)級(jí)流水線

在我們現(xiàn)在的流水線中，我們先用上面描述的模型為一家商戶(hù)生成所有的品質(zhì)評(píng)分。然后再根據(jù)下面的特征對(duì)這些得分進(jìn)行調(diào)整：

標(biāo)志過(guò)濾：我們發(fā)現(xiàn)商戶(hù)標(biāo)志的相片通常被我們的模型打出很高的分，即使用戶(hù)壓根對(duì)它們不感興趣，不會(huì)看也不會(huì)點(diǎn)擊它們。比如說(shuō)，其中可能會(huì)包含一張海報(bào)，里面只有飯店的名字。于是，我們就基于相片的亮度直方圖的熵訓(xùn)練了一個(gè)多帶帶的分類(lèi)模型，用它來(lái)降低這類(lèi)相片的分值。

分辨率：為了對(duì)我們的神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行標(biāo)準(zhǔn)化，也為了加快計(jì)算速度，我們?cè)诎衙繌埾嗥斎胂到y(tǒng)之前都進(jìn)行了轉(zhuǎn)換，縮小成了227*227像素的大小?？墒沁@意味著模型無(wú)法判斷這樣的相片會(huì)不會(huì)太小，因而無(wú)法為用戶(hù)提供關(guān)于商戶(hù)的足夠好的內(nèi)容。為了處理這樣的情況，我們對(duì)達(dá)不到某個(gè)標(biāo)準(zhǔn)的圖片降低評(píng)分。

最后，我們用上了分類(lèi)算法算出來(lái)的標(biāo)簽，用它們來(lái)保證不同種類(lèi)的相片都可以顯示在一家商戶(hù)的相片列表的前面。

應(yīng)用：封面相片排序

在Yelp上，每家商戶(hù)的頁(yè)面都會(huì)展示一些最漂亮的相片，我們叫做封面相片。在之前的許多年，我們都是根據(jù)喜歡、投票、上傳日期和相片標(biāo)題等來(lái)計(jì)算、挑選這些相片。可是，這樣的方法有許多弊端。

首先，這樣的系統(tǒng)非常容易產(chǎn)生選擇性偏見(jiàn)。封面相面比別的相片有更多的機(jī)會(huì)被查看和點(diǎn)擊。結(jié)果，一旦某張相片出現(xiàn)在了商戶(hù)的封面上，它就有極大的可能性一直留在那里，即使更有吸引力更有用的相片在之后被上傳上來(lái)，這一點(diǎn)也很難改變。另外，只是根據(jù)喜歡來(lái)選定的相片最終有可能會(huì)推薦一些“點(diǎn)擊誘餌”，比如某些質(zhì)量很差、也不怎么相關(guān)、但卻由于包含了某些有引誘性的內(nèi)容而受到了很多支持的相片。

現(xiàn)在有了排名算法，我們相信出現(xiàn)在飯店首頁(yè)的封面相片的質(zhì)量一定會(huì)大大提高。大家自己去看看吧！

弗里蒙特，Country Way

舊版本

高質(zhì)量版本

舊金山，Octavia

舊版本

高質(zhì)量版本

圣克拉拉，Kunjip

舊版本

高質(zhì)量版本

舊金山，Gary Danko

舊版本

高質(zhì)量版本

下一步的計(jì)劃

我們收到的關(guān)于這個(gè)變化的反響非常好，我們也還有許多可以做的工作，來(lái)進(jìn)一步提供相片的可用性和相關(guān)性。相片理解團(tuán)隊(duì)正在開(kāi)發(fā)一套更全面的系統(tǒng)，也會(huì)把商戶(hù)的類(lèi)型和攝影師的身份、以及上文中討論的用戶(hù)反饋和品質(zhì)因素等考慮進(jìn)來(lái)，進(jìn)一步為Yelp的用戶(hù)提供更好的體驗(yàn)。請(qǐng)期待我們接下來(lái)的更新吧！

鳴謝：相片排名系統(tǒng)由Wei-Hong C.、Alex M.、Colin P.、Prasanna S.、Joel O.和Frances H.設(shè)計(jì)并實(shí)現(xiàn)。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754