摘要：當(dāng)前，很多學(xué)者和研究機(jī)構(gòu)都嘗試基于深度學(xué)習(xí)進(jìn)行服裝檢索技術(shù)的探究與創(chuàng)新。下文將回顧三篇基于深度學(xué)習(xí)來解決跨域服裝檢索問題的文章?？偟膩碚f，以上深度學(xué)習(xí)方法的探索與創(chuàng)新都將為商品檢索技術(shù)趨

摘要

商品檢索是一門綜合了物體檢測、 圖像分類以及特征學(xué)習(xí)的技術(shù)。 近期， 很多研究者成功地將深度學(xué)習(xí)方法應(yīng)用到這個(gè)領(lǐng)域。 本文對這些方法進(jìn)行了總結(jié)， 然后概括地提出了商品特征學(xué)習(xí)框架以及垂類數(shù)據(jù)挖掘方式， 最后介紹了商品檢索技術(shù)在服裝搭配中的應(yīng)用。

前言

幾年前，當(dāng)人們還在感嘆于網(wǎng)頁購物的快速便捷時(shí)，各大電商巨頭就“悄悄地”將它們的購物應(yīng)用推廣到了用戶的手機(jī)里。從那一刻起，用戶購買的習(xí)慣也在悄悄地發(fā)生著改變：人們不再局限于時(shí)間與地點(diǎn)，只要擁有一部聯(lián)網(wǎng)的手機(jī)，就能輕松獲取想要的商品。發(fā)展至今，移動設(shè)備的安全、高速等特點(diǎn)越來越獲得人們的認(rèn)可，也使得移動購物行為變得更加普遍。然而目前PC和Mobile終端中，用戶基本都是通過文本關(guān)鍵詞獲取目標(biāo)商品，這種單一的關(guān)鍵詞描述有時(shí)很難獲取用戶的真實(shí)需求。為此，電商們也進(jìn)行了很多改進(jìn)。其中最有效的一些做法是構(gòu)建高度結(jié)構(gòu)化的后臺商品數(shù)據(jù)庫。其目的是能夠通過分析用戶的查詢來推薦一些更加精細(xì)粒度、時(shí)效性好、熱度高的商品品類；并提供給用戶一個(gè)限定了價(jià)格、品牌、風(fēng)格等等的商品候選集合。這種基于文本的由粗到精的推薦方式， 能夠很好的幫助用戶定位到具有精細(xì)且具體標(biāo)簽的商品。然而，當(dāng)用戶需求的商品的周邊信息不明確時(shí)，很難通過抽象出有限的關(guān)鍵詞來進(jìn)行檢索。這類商品包括：未知品牌的化妝品，樣式新穎的家具或者時(shí)尚流行的服裝等（如圖1）。

所見即所得

對于上述的問題，可以用一句話歸結(jié)為：當(dāng)需求物品難以用文本量化描述時(shí)， 給定它的一張圖像，是否有可能推薦給用戶相關(guān)的商品？ 可以想象這樣的場景： 當(dāng)你看到一件喜歡的物品，只通過手機(jī)拍照將其圖像上傳購物網(wǎng)站，就能獲取實(shí)物購買信息。如果商品檢索能做到這樣的“所見即所得”， 必將會給有購物需求的用戶帶來很大的便捷。

“所見”如何才能變成“所得”呢？ 在回答這個(gè)問題之前， 首先需要了解商品檢索中的難點(diǎn)問題：

商品細(xì)品類繁多

小到柴米油鹽，大到家具電器， 都可以稱為商品。而且很多商品都包括多級且細(xì)致的分類。例如，家具可分為臥室家具、客廳家具、餐廳家具、書房家具等；服裝的一級品類包括女裝、男裝、內(nèi)衣、配飾與童裝童鞋等， 女裝又可分為連衣裙、T恤、雪紡衫等； 母嬰中的童車童床類別可分為安全座椅、嬰兒推車、嬰兒床、嬰兒床、墊餐、椅學(xué)步車等。由此可見， 好的檢索技術(shù)不僅要識別這么多的商品類別， 并且需要區(qū)分每個(gè)類別下的不同商品實(shí)例； 同時(shí)后臺商品數(shù)據(jù)庫應(yīng)該具有很高的覆蓋面。圖2給出了一個(gè)電商網(wǎng)站對商品品類的劃分。

同款與相似款的混淆

根據(jù)多級類目或?qū)傩赃M(jìn)行商品劃分的方式，盡管區(qū)分了大多數(shù)具有精細(xì)語義的商品，但在區(qū)分同款與相似款上的作用仍然是有限的，即無法確認(rèn)兩件分為一個(gè)類別的商品是相同款。 舉例來說，已知兩個(gè)人都穿著白色短袖圓領(lǐng)T恤， 因?yàn)樽藨B(tài)、角度、光照等影響，有可能會使得相似款更像同款，或者同款被誤識別為相似款。這就是計(jì)算機(jī)視覺中經(jīng)常碰到的類內(nèi)差異性與類間相似性問題。 圖3的例子可以說明這兩個(gè)問題。 左側(cè)(a)中的上衣是同一款衣服，但由于人體姿態(tài)、懸掛方式、手臂遮擋、光線等問題的存在，使得它的顏色以及長度等表觀屬性具有很大的差異性; 三款相似的黑色印花連衣裙如(b)所示，它們擁有相似的不規(guī)則的印花圖案，以及黑色的底色和A字裙擺；這些特點(diǎn)都讓他們很相似，但從袖型可看出它們非同款。

其實(shí)，計(jì)算機(jī)視覺的各個(gè)領(lǐng)域都在解決這樣的“所見即所得”難題， 即如何讓機(jī)器能夠自動準(zhǔn)確的理解圖像內(nèi)容。 隨著深度學(xué)習(xí)的興起， 包括人臉識別、 圖像分類與物體檢測在內(nèi)的方向都取得了很多重要的進(jìn)展， 也為深度學(xué)習(xí)在商品檢索中的應(yīng)用奠定了堅(jiān)實(shí)的基礎(chǔ)。

概括的講， 為達(dá)到“所見即所得”的目標(biāo)， 商品檢索技術(shù)的框架中需要包含以下三個(gè)部分：

(1) ?商品主體檢測： 用于自動定位用戶感興趣的商品，去除背景、多主體等因素的影響，也有利于抽取的語義特征的對齊。

(2) ?商品品類識別：通過識別商品的主體的品類， 使得在檢索時(shí)可以在商品子數(shù)據(jù)子庫進(jìn)行搜索，提升檢索的效果與效率。

(3) ?商品特征表示： 通過學(xué)習(xí)獲得商品主體的判別性特征， 使得同款商品距離更近且非同款商品相距更遠(yuǎn)； 對光照、姿態(tài)、遮擋等變化有一定的魯棒性。

服飾檢索技術(shù)回顧

基于拍照的商品檢索問題本質(zhì)是一個(gè)跨域(cross-domain)圖像檢索問題: 需要根據(jù)用戶輸入的移動拍照圖像， 從電商庫中獲取同款或是非常相似的商品圖片列表。這些特點(diǎn)決定了商品檢索是一項(xiàng)綜合性的圖像處理技術(shù)——它涉及圖像識別、檢測、特征學(xué)習(xí)等各方面的內(nèi)容。

其中， 服裝垂類檢索是商品檢索中一個(gè)重要的問題。因?yàn)榉b包含非常多的細(xì)品類， 而且存在非常多的視覺變化， 如光照、形變、視角、尺度、背景影響等等。解決服裝檢索的技術(shù)能夠很好的被推廣到其他垂類上。當(dāng)前，很多學(xué)者和研究機(jī)構(gòu)都嘗試基于深度學(xué)習(xí)進(jìn)行服裝檢索技術(shù)的探究與創(chuàng)新。 下文將回顧三篇基于深度學(xué)習(xí)來解決跨域服裝檢索問題的文章。

Where-to-Buy-It (WTBI)

這篇文章發(fā)表于ICCV2015，作者是來自北卡羅來納大學(xué)教堂山分校的M. Hadi Kiapour。作者把street-to-shop的服裝檢索場景， 形式化為cross-domain的商品相似度學(xué)習(xí)問題， 并設(shè)計(jì)了一種用于特定類別的相似度計(jì)算的網(wǎng)絡(luò)參數(shù)學(xué)習(xí)方式。整個(gè)學(xué)習(xí)流程如圖4所示。 首先， 利用裙子、外套、上衣、褲子、裙子等五個(gè)主要的商品類別的同款標(biāo)注圖像， 基于cross entropy loss訓(xùn)練一個(gè)通用商品的同款判別模型； 然后， 對于特定細(xì)分類的商品檢索模型學(xué)習(xí)問題， 采用其對應(yīng)的同款訓(xùn)練數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)參數(shù)微調(diào)， 將通用同款模型遷移成特定類別的同款模型。 在進(jìn)行方法驗(yàn)證時(shí)， 文中還收集了40萬的電商數(shù)據(jù)，以及近4萬組的street-to-shop的同款商品數(shù)據(jù)。 實(shí)驗(yàn)表明， 通過這種“由粗到細(xì)”方式學(xué)習(xí)到的相似度量網(wǎng)絡(luò)， 比基于ImageNet訓(xùn)練的深度特征有更好的檢索性能。 但此文只基于離線CNN特征學(xué)習(xí)相似度， 并沒有進(jìn)行端到端的檢索模型的探索。

Dual Attribute-aware Ranking Network (DARN)

這篇文章發(fā)表于ICCV2015，作者是來自新加坡國立大學(xué)的 Junshi Huang。此文與WTBI方法相比的不同在于： 在處理街拍場景(street scenario)與電商場景(shopping scenario)服裝圖像之間的檢索問題時(shí)， 提出了一種端到端的雙路神經(jīng)網(wǎng)絡(luò)模型（DARN）來學(xué)習(xí)深度特征，如圖5所示； 其中一路網(wǎng)絡(luò)學(xué)習(xí)街拍場景下的服裝特征；另一路網(wǎng)絡(luò)學(xué)習(xí)電商場景下的服裝特征。為了提升圖像檢索特征的判別能力， 作者還采用了多種標(biāo)注數(shù)據(jù)來監(jiān)督網(wǎng)絡(luò)的學(xué)習(xí)過程： 多標(biāo)簽的屬性標(biāo)注與服裝同款I(lǐng)D標(biāo)注。為此，在設(shè)計(jì)網(wǎng)絡(luò)損失時(shí)， 同時(shí)采用了基于多標(biāo)簽屬性數(shù)據(jù)的cross-entropy loss以及服裝同款I(lǐng)D數(shù)據(jù)的triplet loss?？偟膩砜?， 網(wǎng)絡(luò)的輸出特征同時(shí)隱含了局部語義屬性的判別能力以及全局表觀的區(qū)分性， 在檢索效果的提升上具有很好的互補(bǔ)性。

DeepFashion

這篇文章發(fā)表于CVPR2016，作者是來自香港中文大學(xué)的Ziwei Liu。為了使服飾識別相關(guān)的研究更加貼近實(shí)際應(yīng)用場景， 作者收集了一個(gè)規(guī)模更大且語義標(biāo)注更全面的服裝數(shù)據(jù)集DeepFashion； 它在圖像數(shù)目、類別與屬性數(shù)目、同款對、位置標(biāo)定與數(shù)據(jù)開放等方面都占據(jù)優(yōu)勢。其與WTBI和DARN中的數(shù)據(jù)庫對比如表格1所示。

此文還提出了一種FashionNet， 融合了大類、屬性、服裝ID以及關(guān)鍵點(diǎn)四種監(jiān)督信息來進(jìn)行服裝特征學(xué)習(xí)。它的創(chuàng)新之處是， 設(shè)計(jì)了分別對全局表觀以及局部部件進(jìn)行特征學(xué)習(xí)的網(wǎng)絡(luò)； 其中的局部網(wǎng)絡(luò)結(jié)構(gòu)利用了服裝局部關(guān)鍵點(diǎn)對卷積特征響應(yīng)圖進(jìn)行對齊，避免了關(guān)鍵點(diǎn)所在部件的變化帶來的影響。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

方法總結(jié)

復(fù)雜體系下的商品類別識別以及檢索問題的解決， 不僅在于網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)，而且需要多種類型的標(biāo)注數(shù)據(jù)來約束整個(gè)網(wǎng)絡(luò)的訓(xùn)練； 這些數(shù)據(jù)包括商品位置、商品類別、 商品屬性以及商品同款數(shù)據(jù)等； 由此， 檢索結(jié)果與查詢圖像才能具有全局表觀相似性與局部語義一致性。當(dāng)然， 對于如何結(jié)合這些監(jiān)督數(shù)據(jù)進(jìn)行學(xué)習(xí)仍有待進(jìn)一步探索； 是否端到端網(wǎng)絡(luò)的性能一定優(yōu)于分段學(xué)習(xí)網(wǎng)絡(luò)也猶未可知。 與傳統(tǒng)方法相比， 此類深層神經(jīng)網(wǎng)絡(luò)模型在進(jìn)行商品檢索特征學(xué)習(xí)時(shí)并沒有脫離一般圖像檢索的特征學(xué)習(xí)框架： 不僅需要在前端進(jìn)行語義對齊， 也需要在后端提升特征判別性?？偟膩碚f， 以上深度學(xué)習(xí)方法的探索與創(chuàng)新, 都將為商品檢索技術(shù)趨于實(shí)用化打下扎實(shí)的基礎(chǔ)。

特征學(xué)習(xí)框架

盡管以上的論文主要在探究服裝類商品的檢索技術(shù)， 但這些方法在其他的商品垂類上也是適用的。如圖7所示, 這些方法可概括成一套特征學(xué)習(xí)框架，。圖中三個(gè)部分的意義分別是：?

(1) ?商品圖像預(yù)處理。商品有剛體（如鞋子、箱包、化妝品等）與非剛體（如男裝、女裝、童裝等）之分， 姿態(tài)、形變、尺寸等差異很大； 因此， 需要采用一定的語義對齊方式使得模型對這些變化魯棒， 常見操作有商品檢測框?qū)R、旋轉(zhuǎn)對齊、局部關(guān)鍵點(diǎn)對齊等。

(2) ?全局表觀與局部語義特征融合。將一個(gè)商品圖像映射為一個(gè)特征的方法有很多； 為了使得到的特征具有很好的判別性， 多種語義監(jiān)督信息被用于引導(dǎo)模型的學(xué)習(xí)。以服裝垂類為例， 最終的特征不僅需要區(qū)分語義（如服裝的袖長、 領(lǐng)型、 扣型等）， 也需要能衡量表觀的相似性（如顏色、 紋理等）。 因此， 這類監(jiān)督數(shù)據(jù)的收集也是整個(gè)特征學(xué)習(xí)框架的重要組成。

(3) ?特征降維。 特征的學(xué)習(xí)是一個(gè)精益求精的過程， 維度低且判別性好的特征才能保證檢索的性能與效率。用于降維學(xué)習(xí)的數(shù)據(jù)一般是商品同款數(shù)據(jù)； 常用的降維方式有線性判別分析（LDA）、 圖像分類與度量學(xué)習(xí)等。

垂類數(shù)據(jù)挖掘

基于這套框架，特征學(xué)習(xí)就可以依靠大量的標(biāo)注數(shù)據(jù)來完成。如何來獲取標(biāo)注數(shù)據(jù)呢？ 簡單粗暴的全量數(shù)據(jù)標(biāo)注會非常耗時(shí)耗力。 這里針對同款數(shù)據(jù)與類別數(shù)據(jù)分別給出了數(shù)據(jù)挖掘的方法， 如圖8所示。

（a） 同款數(shù)據(jù)挖掘。 基于已有的檢索特征模型以及大類屬性分類模型， 可以將互聯(lián)網(wǎng)數(shù)據(jù)按照類別預(yù)測結(jié)果進(jìn)行劃分， 并根據(jù)子類進(jìn)行多帶帶的聚類。 對于每個(gè)cluster， 根據(jù)一些準(zhǔn)則（如特征數(shù)目、平均距離、距離方差等）來判定噪聲并進(jìn)行篩選； 最后通過人工標(biāo)注的方式進(jìn)一步切分每一個(gè)cluster來獲取同款的商品。

（b） 類別數(shù)據(jù)挖掘。 首先， 通過爬蟲抓取以及人工構(gòu)造的方式， 可以獲得大量的關(guān)鍵詞集合； 并將它們進(jìn)行多詞組合的方式在圖像搜索引擎獲取top-K的檢索結(jié)果， 放入類別圖像候選集合； 之后， 基于已有的大類屬性模型， 對候選集進(jìn)行提純， 去除低質(zhì)量以及語義錯(cuò)誤的圖像。

技術(shù)應(yīng)用

本節(jié)介紹一種新商品檢索技術(shù)應(yīng)用方向： 服裝搭配。 服裝搭配是指根據(jù)用戶給定的一件衣服單品， 推薦出能夠與之搭配的時(shí)尚款式。它的應(yīng)用場景包括時(shí)尚資訊推薦、電商導(dǎo)購等。由于服飾品類繁多、穿著標(biāo)準(zhǔn)各異， 如何定義并獲取時(shí)尚的款式以及給用戶個(gè)性化推薦搭配方案， 都面臨很大的挑戰(zhàn)。 下文將圍繞這兩個(gè)問題， 介紹一種基于商品檢索技術(shù)的服飾搭配方法。

定義時(shí)尚款式

“工欲善其事必先利其器”。在服飾搭配過程中，構(gòu)建時(shí)尚款式的數(shù)據(jù)庫是非常必要的。然而，時(shí)尚是一種比較感性的認(rèn)識， 且人們對于時(shí)尚的理解各不相同，“時(shí)尚款式”的定義是沒有一個(gè)統(tǒng)一的量化標(biāo)準(zhǔn)的。下圖給出了一些時(shí)尚圖像的例子， 可以看出, 圖像中服裝的時(shí)尚取決于很多方面： 服裝樣式、發(fā)型、 鞋子、 拍照場景、 身材等等。

為了解決這個(gè)難題，數(shù)據(jù)來源選自多個(gè)較高級時(shí)尚網(wǎng)站。這些網(wǎng)站往往通過時(shí)尚達(dá)人編輯的方式來推薦出時(shí)尚圖片，確保了服裝的時(shí)尚性與新穎性； 除此之后， 從視覺上影響圖像時(shí)尚程度的因素還有很多， 如背景灰暗、T臺秀、非全身圖、身材差、分辨率低等； 基于這類數(shù)據(jù)訓(xùn)練低質(zhì)圖片過濾模型， 就能獲取最終的高質(zhì)時(shí)尚庫。

服裝搭配技術(shù)

簡單講，服飾搭配就是一種通過用戶上衣（下裝），推薦時(shí)尚下裝（上衣）的技術(shù)。這里根據(jù)優(yōu)化目標(biāo)的不同將現(xiàn)有方法分為兩大類： 基于上下衣度量學(xué)習(xí)的方法以及基于相似服飾檢索的方法。前者的實(shí)現(xiàn)基于不同服裝部件的度量學(xué)習(xí)： 適合搭配的上下裝距離應(yīng)該盡量的近，而不適合搭配的則要盡量的遠(yuǎn)。 后者假定時(shí)尚庫的圖像擁有優(yōu)質(zhì)的搭配, 將用戶服裝單品輸入時(shí)尚服裝數(shù)據(jù)庫的檢索引擎， 獲得語義與表觀相似的時(shí)尚推薦結(jié)果。目前，時(shí)尚搭配App—FOLLOW， 采用的就是基于檢索技術(shù)的解決方案。 圖10中個(gè)給出了FOLLOW搭配的效果, 歡迎掃碼試用。

總結(jié)與展望

本文回顧了基于深度學(xué)習(xí)的服裝檢索技術(shù)，并且基于這些方法， 概括出一套通用的商品特征學(xué)習(xí)框架。針對不同種類商品圖像的采集， 給出了基于圖像搜索引擎的數(shù)據(jù)挖掘方法。后續(xù)仍有待進(jìn)一步探究的方向包括多品類商品檢索技術(shù)、基于大規(guī)模同款數(shù)據(jù)的特征學(xué)習(xí)以及全自動數(shù)據(jù)挖掘方法等。

作者簡介：

?

嚴(yán)燦祥, 碩士畢業(yè)于中科院計(jì)算所VIPL課題組； 目前就職于百度深度學(xué)習(xí)研究院。主要從事商品檢索技術(shù)的研發(fā)。所在的識圖策略組包括商品搜索、相似搜索、相同搜索與圖像猜詞等方向。歡迎有實(shí)習(xí)意愿的同學(xué)投簡歷至： [email protected]

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識

QQ群：81035754