摘要：構(gòu)建一個(gè)照片分類器對(duì)于理解照片中的模棱兩可的目標(biāo)，其實(shí)有許多不同的方式。如果決定進(jìn)一步集成依賴于其它信號(hào)的新的分類器，這將讓問(wèn)題變得更加簡(jiǎn)單。該架構(gòu)如下圖所示對(duì)于每一個(gè)新的分類器，掃描所有的照片，并且將分類結(jié)果存儲(chǔ)在一個(gè)數(shù)據(jù)庫(kù)中。

Yelp是美國(guó)較大點(diǎn)評(píng)網(wǎng)站，擁有世界各地的Yelper上傳的成千上萬(wàn)的照片。各種各樣的照片給進(jìn)入當(dāng)?shù)氐纳虡I(yè)提供了一個(gè)豐富的窗口。通過(guò)開(kāi)發(fā)一個(gè)照片理解系統(tǒng)使Yelp能夠創(chuàng)建有關(guān)個(gè)人照片的語(yǔ)義數(shù)據(jù)。跟Yelp第一次在基于內(nèi)容的照片多樣化方面所做的嘗試一樣，由系統(tǒng)生成的數(shù)據(jù)正在增強(qiáng)Yelp近期推出的封面照片多樣化、標(biāo)簽式照片瀏覽等服務(wù)。

構(gòu)建一個(gè)照片分類器

對(duì)于理解照片中的模棱兩可的目標(biāo)，其實(shí)有許多不同的方式。一開(kāi)始，為了幫助簡(jiǎn)化Yelp的問(wèn)題，Yelp只專注于將照片分類為幾個(gè)預(yù)定義的類。之后，Yelp又只專注于關(guān)于飯店的照片類別。

事實(shí)上將照片進(jìn)行分類，就可以將其當(dāng)做機(jī)器學(xué)習(xí)中的分類任務(wù)，需要開(kāi)發(fā)一個(gè)分類器，Yelp首先需要做的就是收集訓(xùn)練數(shù)據(jù)，在圖片分類任務(wù)中就是收集很多標(biāo)簽已知的照片。Yelp收集這些信息可以通過(guò)幾種不同的方式：

照片標(biāo)題：在很多照片的標(biāo)題中都包含代表照片自身含義的詞匯，例如，很多“菜單”照片的標(biāo)題中包含單詞“菜單”。為了識(shí)別這些關(guān)于食物的項(xiàng)目，Yelp依靠自己的菜單結(jié)構(gòu)（例如，http://www.yelp.com/menu/gary-danko-san-francisco/），它保留了每種食物的商業(yè)名單。Yelp發(fā)現(xiàn)，將列表中的食物項(xiàng)目與照片的標(biāo)題進(jìn)行匹配產(chǎn)生了一個(gè)高準(zhǔn)確率的數(shù)據(jù)集。

照片屬性：當(dāng)上傳照片到Y(jié)elp上時(shí)，用戶允許標(biāo)記照片的一些屬性，雖然它們并不總是準(zhǔn)確的，但仍然可以很有效地幫助照片分類。

眾包：通過(guò)眾包可以讓大眾自動(dòng)參與照片的標(biāo)注，并同時(shí)糾正一些錯(cuò)誤的標(biāo)注。Yelp已經(jīng)發(fā)現(xiàn)，通過(guò)眾包Yelp通過(guò)合理的成本（在時(shí)間和金錢）獲得了質(zhì)量總體良好的標(biāo)簽。眾包體現(xiàn)了一種群體智能。

一旦Yelp有了標(biāo)簽數(shù)據(jù)，Yelp就開(kāi)始采用“AlexNet”形式的深度卷積神經(jīng)網(wǎng)絡(luò)（CNNs）來(lái)識(shí)別這些圖片（因?yàn)檫@種方法是一種監(jiān)督學(xué)習(xí)方法，非監(jiān)督學(xué)習(xí)目前仍然是深度學(xué)習(xí)的難點(diǎn)方向）。CNNs是由多個(gè)卷積層組成，ReLU層、pooling層、局部響應(yīng)正則化層和全連接層。Yelp的CNN被建立在基于Caffe架構(gòu)的AWS EC2 GPU實(shí)例上。Yelp喜歡Caffe，因?yàn)樗?jiǎn)單易用、高性能、模塊化、開(kāi)源、還一直在不斷完善。為了應(yīng)對(duì)Caffe的軟件依賴，Yelp使用Docker封裝了Yelp的CNN，以便它可以更容易地部署。

Yelp還創(chuàng)建了抽象，以確保Yelp的CNN可以很容易地與其他形式的分類器進(jìn)行集成，包括CNN的不同實(shí)例。如下圖所示，Yelp的基線是一個(gè)“Caffe分類器”，它通過(guò)Caffe的方式運(yùn)行CNN；它是一個(gè)抽象分類器的一種特殊形式，可以采取不同的信號(hào)，并執(zhí)行不同的分類算法。Yelp目前的“facade”分類器，是一個(gè)集成分類器，采用了不同分類結(jié)果的加權(quán)平均。如果Yelp決定進(jìn)一步集成依賴于其它信號(hào)的新的分類器，這將讓問(wèn)題變得更加簡(jiǎn)單。

Yelp在一個(gè)均勻黃金分割的2500張照片的測(cè)試集上進(jìn)行試驗(yàn)，Yelp目前的“facade”分類器的整體較精確度達(dá)到了94％，召回率達(dá)到了70％。根據(jù)Yelp的描述，雖然這些數(shù)字可以再提高，但Yelp發(fā)現(xiàn)對(duì)于下面描述的應(yīng)用它們已經(jīng)足夠了。

照片分類服務(wù)

Yelp使用面向服務(wù)的架構(gòu)（SOA），Yelp做了一個(gè)RESTful照片分類服務(wù)，用來(lái)支持現(xiàn)有的和即將推出的Yelp的應(yīng)用程序。由于服務(wù)預(yù)計(jì)擁有不止一個(gè)分類器（例如，不同的版本或?yàn)椴煌愋偷臉I(yè)務(wù)），該服務(wù)API使用一個(gè)分類器ID，一個(gè)行業(yè)ID，以及可選的類，然后返回所有屬于該行業(yè)的照片，其已經(jīng)通過(guò)分類器被歸類：

Yelp使用一個(gè)標(biāo)準(zhǔn)的MySQL數(shù)據(jù)庫(kù)服務(wù)器來(lái)承載所有的分類結(jié)果，所有的服務(wù)請(qǐng)求可以通過(guò)簡(jiǎn)單的數(shù)據(jù)庫(kù)查詢被處理。為了避免更昂貴的實(shí)時(shí)分類，因?yàn)閅elp目前的應(yīng)用并不取決于的照片分類，所以Yelp只執(zhí)行線下分類。該架構(gòu)如下圖所示：對(duì)于每一個(gè)新的分類器，Yelp掃描所有的照片，并且將分類結(jié)果存儲(chǔ)在一個(gè)數(shù)據(jù)庫(kù)中。掃描在計(jì)算上消耗很大，但通過(guò)將分類器在任意多的機(jī)器上進(jìn)行并行處理，Yelp可以減輕這一點(diǎn)。掃描結(jié)束后，Yelp會(huì)每天自動(dòng)收集新的照片，并將它們發(fā)送到一個(gè)進(jìn)行分類和數(shù)據(jù)庫(kù)負(fù)載的批次中：

應(yīng)用：封面照片多樣化

一旦有了照片分類服務(wù)，就可以有效地增強(qiáng)Yelp的許多關(guān)鍵功能。Yelp的業(yè)務(wù)詳細(xì)信息頁(yè)面顯示了一組“封面照片”，基于用戶的反饋和某些照片的屬性，它們能夠通過(guò)照片評(píng)分引擎進(jìn)行推薦。但是，目前Yelp的封面照片存在一個(gè)典型問(wèn)題，即所選的照片缺乏多樣性，例如，如下圖所示，所有封面照片都是關(guān)于食物的（拉面），用戶無(wú)法看到其他方面的照片，除非他們點(diǎn)擊“查看全部”按鈕。

通過(guò)照片分類服務(wù)，現(xiàn)在就可以讓封面照片變得多樣化，Yelp可以容易地確定較高得分的非食品的照片，然后將其納入封面照片。通過(guò)嚴(yán)格的A / B測(cè)試，Yelp已經(jīng)證實(shí)飯店的瀏覽者更愿意看到一個(gè)顯示突出的“食品”照片和突出的“非食品”照片，以及兩個(gè)小“食品”的照片和另外兩個(gè)“非食品”照片，如下圖所示。多樣化大大增加了Yelp用戶與照片之間的互動(dòng)。

應(yīng)用：標(biāo)簽式瀏覽照片

因?yàn)槿魏稳藶g覽Yelp照片都是在有了解之前，大部分來(lái)自于飯店的Yelp照片都是食物。但Yelp從用戶中得到反饋，他們發(fā)現(xiàn)用戶關(guān)心的可不僅僅是食物。有些人使用Yelp的圖片用來(lái)檢查一個(gè)特殊事件的氣氛或?qū)Ш降揭粋€(gè)第一次去的地點(diǎn)，而其他人使用Yelp的照片用于一些更嚴(yán)肅的應(yīng)用，如發(fā)現(xiàn)餐廳是否能容納殘疾的顧客。隨著標(biāo)簽式照片瀏覽的推出，所有這些任務(wù)現(xiàn)在都變得更容易、更高效。

Yelp表示，標(biāo)簽式照片瀏覽是他們的照片分類服務(wù)現(xiàn)在提供的最顯著的應(yīng)用。照片現(xiàn)在在各自的標(biāo)簽（類）下進(jìn)行組織；從下圖可以看出，跳到你正在尋找的準(zhǔn)確信息現(xiàn)在變得更加容易。

下一步是什么

任何機(jī)器學(xué)習(xí)系統(tǒng)都不可能是完美的。Yelp表示，如果你想幫助提高Yelp照片分類的質(zhì)量，請(qǐng)隨意標(biāo)注你看到的任何未分類的照片。