摘要：所學(xué)習(xí)的濾波器組被期望為編碼一些合適數(shù)量類別的普通圖像編碼判別信息在不同視覺等級(jí)分層提取圖案。特別是，在新框架的每一層，可共享的濾波器共同學(xué)習(xí)那些相似模式的類。除了減小特征維度，共享濾波器也可以導(dǎo)致特征更魯棒。

今天我們來談?wù)勆疃葘W(xué)習(xí)過程中的一些判別與共享關(guān)系。這也是一篇不錯(cuò)的paper（來自模式識(shí)別），并且通過實(shí)現(xiàn)和改進(jìn)真的可以有一個(gè)較好的提升。

在圖像表示中，為了編碼類的相關(guān)性和類的具體信息，文章提出了一個(gè)深度判別和可共享的特征學(xué)習(xí)一個(gè)新局部特征的學(xué)習(xí)方法。該方法旨在分層學(xué)習(xí)特征變換濾波器組，將原始像素圖像塊變換為特征。

所學(xué)習(xí)的濾波器組被期望為：

（1）編碼一些合適數(shù)量類別的普通圖像；

（2）編碼判別信息;

（3）在不同視覺等級(jí)分層提取圖案。

特別是，在新框架的每一層，可共享的濾波器共同學(xué)習(xí)那些相似模式的類。濾波器的判別能力，通過使同一類的特征更加相近，而不同類的特征彼此遠(yuǎn)離來完成的。此外，還提出了兩種選擇方法的模型，為了更有效地迭代選擇訓(xùn)練數(shù)據(jù)和有效地學(xué)習(xí)。根據(jù)實(shí)驗(yàn)結(jié)果，新框架可以達(dá)到非常有好的性能。

現(xiàn)在特征學(xué)習(xí)方法目的在于從原始像素圖像數(shù)據(jù)中去自動(dòng)學(xué)習(xí)數(shù)據(jù)自適應(yīng)圖像表示，然而這些方法在數(shù)據(jù)中提取和組織判別信息較差，大多數(shù)的學(xué)習(xí)框架都用無監(jiān)督方式，但沒有考慮到類標(biāo)簽的信息，這可是圖像分類的關(guān)鍵。所以提出了在已存在的類別組中編碼可共享信息，且判別模式在特征學(xué)習(xí)過程中擁有具體類。

于是建立一個(gè)多層特征學(xué)習(xí)框架：深度判別和共享的特征學(xué)習(xí)。

目的：分層學(xué)習(xí)變換濾波器組去將局部圖像塊的像素值變換為特征。在下圖中，每一個(gè)特征學(xué)習(xí)層，目的是去學(xué)習(xí)一個(gè)過完備濾波器組，其可能涉及到不同類的塊差異，同時(shí)在相似類中保持共享相關(guān)性和每一個(gè)類的判別力。直觀地，這目標(biāo)可以通過隨機(jī)尋找訓(xùn)練塊，對(duì)每個(gè)類多帶帶學(xué)習(xí)濾波器組，然后連接在一起來完成。

但是有3個(gè)問題：

有些模式在一些類中是共享的，重復(fù)學(xué)習(xí)濾波器相當(dāng)于類似的模式既沒有內(nèi)存壓縮也沒有效計(jì)算，同時(shí)特征維度隨著類的數(shù)量成線性增長(zhǎng)；

判別力不能被充分利用，因?yàn)轭惖木唧w特征是普遍的且不明顯，不需與其他類比較；

圖像被噪聲和無意義的塊影響，從隨機(jī)采樣的圖像塊中學(xué)習(xí)濾波器將會(huì)增加學(xué)習(xí)成本并降低性能。

訓(xùn)練過程：

a）原始圖像輸入或前層特征的輸出，稠密提取圖像塊或局部特征（黃色塊）；b）選擇樣本訓(xùn)練（紅色快）；

c）進(jìn)行新框架訓(xùn)練模塊并學(xué)習(xí)濾波器組。

測(cè)試過程：

d）應(yīng)用所學(xué)習(xí)的濾波器組W到原始輸入圖像或前層特征，對(duì)當(dāng)前層稠密提取新框架特征；

e）進(jìn)行LLC和SPM，然后變換局部特征到全局圖像表示，并應(yīng)用線性SVM去做最后的分類。

在新框架模塊中，在全局濾波器組W中w1，w2，...，wD表示濾波器。在訓(xùn)練步驟，對(duì)于每一層，強(qiáng)制它去激活一個(gè)小子集的濾波器（被激活的濾波器已經(jīng)用不同顏色強(qiáng)調(diào)），不同類可以分享相同的濾波器。最后，一個(gè)圖像塊Xi的新框架特征可以表示為fi=F(WXi)。

為了學(xué)習(xí)緊致和有效的濾波器組，在學(xué)習(xí)過程中，每一類都只能激活全局濾波器的一個(gè)子集。除了減小特征維度，共享濾波器也可以導(dǎo)致特征更魯棒。圖像屬于不同類但是分享了相同的信息（例如在圖像中，計(jì)算機(jī)房和辦公室都含有電腦和桌子）。信息共享的數(shù)量取決于不同類之間的相似性。所以允許濾波器可以共享，意味著相同的濾波器可以通過一些類被激活。于是引入了一個(gè)二進(jìn)制選擇向量去自適應(yīng)選擇哪一個(gè)濾波器去共享并在哪類中。

為了提高判別力，強(qiáng)制將來自相同類的特征去更接近，將來自不同類的特征去遠(yuǎn)離。（例如，與辦公室里書架相對(duì)應(yīng)的塊在計(jì)算機(jī)房很難找到）。然而來自相同類的局部塊是非常多樣化的。

因此，提出去測(cè)量相似性，通過強(qiáng)制一個(gè)塊相似于相同類訓(xùn)練樣本的一個(gè)子集。與此同時(shí)，不是所有不同類的局部塊都需要分離。因此減少判別條件，允許通過不同類去共享相似的塊，重點(diǎn)分離不相似的塊。

為了提高濾波器的質(zhì)量和學(xué)習(xí)過程的效率，提出兩個(gè)樣本選擇方案去選擇有效地訓(xùn)練數(shù)據(jù)。所提出的方法目的是去除普遍存在于不同類的訓(xùn)練塊的噪聲，并選擇包含共享和判別的模式作為訓(xùn)練數(shù)據(jù)去學(xué)習(xí)濾波器組。拓展單層特征學(xué)習(xí)模塊到分層結(jié)構(gòu)。建立了3層學(xué)習(xí)框架。在結(jié)構(gòu)中，先從小的原始像素值圖像塊（16x16）學(xué)習(xí)特征；然后對(duì)于更高的層，用一個(gè)大的區(qū)域（32x32和64x64，分別為第二層和第三層）卷積前層特征作為輸入去PCA，并用降維數(shù)據(jù)（設(shè)置所有層維度都是300）作為輸入去訓(xùn)練當(dāng)前層的濾波器組（設(shè)置每一層去學(xué)習(xí)400個(gè)濾波器）；最后結(jié)合3層所有學(xué)習(xí)到的特征作為新框架特征。

特征學(xué)習(xí)

直接從圖像像素值中學(xué)習(xí)特征已經(jīng)形成了熱門的研究。這些方法能夠?qū)W習(xí)數(shù)據(jù)自適應(yīng)特征，它們很容易被擴(kuò)展到分層結(jié)構(gòu)中并學(xué)習(xí)多層圖像的表示。

大多數(shù)都采用無監(jiān)督方法去學(xué)習(xí)濾波器為了特征提取，但是該文章堅(jiān)信判別信息才是分類的關(guān)鍵，并且判別的模式可以被學(xué)習(xí)用于圖像表示；

ConvNets主要集中在逐步學(xué)習(xí)多層視覺模式，該文章的新框架主要集中在編碼共享和判別的不同類的相關(guān)性到每一層的特征變換；

許多深度特征學(xué)習(xí)框架專注于高層圖像表示，低層特征相對(duì)較弱，但該文章的新框架專注于編碼類層次判別和共享的特性在塊層次的局部特征。

判別訓(xùn)練

新框架專注于判別的學(xué)習(xí)濾波器，其將局部圖像塊變換為特征，并允許共享不同類之間的局部特征變換濾波器。所提出的樣本選擇方法可以得到更多提供信息的局部塊層次的訓(xùn)練數(shù)據(jù)對(duì)于特征學(xué)習(xí)模塊。

有些作者，在中層的目標(biāo)部分濾波器被共享去表示大量的目標(biāo)類對(duì)于目標(biāo)檢測(cè)，但是該文章只用弱監(jiān)督圖像層標(biāo)簽，并建立一個(gè)基于近鄰的較大邊緣方法去學(xué)習(xí)判別的特征變換矩陣。

深度判別和共享的特征學(xué)習(xí)

詳細(xì)介紹新框架，然后提供一個(gè)交替優(yōu)化策略。

單層新框架學(xué)習(xí)構(gòu)成

全局無監(jiān)督項(xiàng)

為了確保學(xué)習(xí)的濾波器組能夠在原始數(shù)據(jù)進(jìn)行特征變換后保存信息，引入全局構(gòu)建項(xiàng)并建立一個(gè)自動(dòng)編碼：

共享模式學(xué)習(xí)項(xiàng)

上述全局無監(jiān)督項(xiàng)可以達(dá)到較好的結(jié)果，但類信息沒有被利用，類信息也是分類關(guān)鍵的問題，因此提出編碼共享信息，其存在相似類之間，利用這些類的訓(xùn)練數(shù)據(jù)去共同學(xué)習(xí)共享的濾波器。

為實(shí)現(xiàn)目標(biāo)，對(duì)每個(gè)類引入稀疏二進(jìn)制向量ac∈RD去指示 每行的選擇狀態(tài)，類c的共享約束項(xiàng)如下：

其中，Wc表示類別c選定的濾波器，Nc是類c訓(xùn)練塊的數(shù)量。||ac||0項(xiàng)是用來強(qiáng)制稀疏，所以只有少數(shù)W的行被激活。

算法1：深度判別和共享特征學(xué)習(xí)

判別信息編碼項(xiàng)

為了增強(qiáng)特征的判別力，進(jìn)一步引入一個(gè)假設(shè)項(xiàng)，就是判別特征應(yīng)該更接近相同類的特征。假設(shè)三個(gè)狀態(tài){Xi,Xi+,Xi-}，其中Xi表示訓(xùn)練塊，Xi+表示從相同類隨機(jī)選擇的“正”塊，Xi-表示從另一些類隨機(jī)選擇的“負(fù)”塊，采用基于‘塊到類（patch-to-class）’距離度量的最近鄰方法。

其中K表示為最近鄰塊集合中最近鄰的數(shù)量，本文固定其為5，且δ表示為間隔，該文章設(shè)置它為1。

優(yōu)化新框架目標(biāo)函數(shù)

結(jié)合上述三個(gè)學(xué)習(xí)構(gòu)成，構(gòu)成完整的新框架目標(biāo)函數(shù)：

需要同時(shí)優(yōu)化全局濾波器變換矩陣W和類的具體濾波器選擇向量ac。該函數(shù)不能同時(shí)優(yōu)化，如果固定其中一個(gè)，則目標(biāo)函數(shù)成為凸函數(shù)。于是本文采用一個(gè)交替優(yōu)化策略去迭代更新W和ac。

樣本選擇模型

學(xué)習(xí)特征不僅依賴于學(xué)習(xí)結(jié)構(gòu)與參數(shù)，而且還依賴于輸入數(shù)據(jù)的質(zhì)量。為了選擇訓(xùn)練塊集，且其含有潛在的共享和判別模式，同時(shí)也不包括常見的噪聲塊。為了這個(gè)目的，提出兩個(gè)有判別的樣本訓(xùn)練數(shù)據(jù)選擇方法：最近鄰法（NN）和支持向量機(jī)（SVM）。

1) ?最近鄰法（NN）

本文選擇最近鄰方法去刪除在許多類可能普遍存在的塊，定義最后的“到達(dá)分?jǐn)?shù)”如下：

2)SVM

SVM方法比NN方法快且內(nèi)存消耗小,但是有較小的性能下降。用線性SVM去迭代改善選擇方法對(duì)于每一次聚類，主要有2步驟：

基于NN與基于SVM樣本選擇對(duì)比

做了簡(jiǎn)單的比較：性能、計(jì)算成本和內(nèi)存成本

1）性能：NN有1-3%的提升、SVM有0.15-1.5%的提升；

2）計(jì)算成本：對(duì)于NN最耗時(shí)是算法2中的第一步：覆蓋集搜索，對(duì)于SVM最耗時(shí)的是算法3中的第2、3步：SVM訓(xùn)練和測(cè)試最耗時(shí)，但是采用了GPU并行計(jì)算，簡(jiǎn)短很多時(shí)間，所以SVM耗時(shí)少；

3）內(nèi)存成本：對(duì)于NN，需要所有訓(xùn)練塊都在內(nèi)存中，為了讓每一個(gè)塊被覆蓋集搜索到，為了減低內(nèi)存成本，我們被X分成幾個(gè)子群，

NN的方法可以達(dá)到較高的較精確度，但是SVM方法可以處理速度快且用較小的內(nèi)存成本，但是性能會(huì)有一點(diǎn)下降。

實(shí)驗(yàn)與分析

數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集：Scene 15、UIUC Sports和MIT Indoor?

1）Scene 15：包括4485張圖像，15類室外與室內(nèi)場(chǎng)景圖，每一類有200-400張灰色圖像。每一類用100張訓(xùn)練，其余測(cè)試；

2）UIUC Sports：包括1579張圖像，8類體育分類，每一類包括137-250張圖像。每一類用70張訓(xùn)練，其余測(cè)試；

3）MIT Indoor：包括15620張圖像，67類室內(nèi)場(chǎng)景。每一類用80張訓(xùn)練，20張測(cè)試；

4）PASCAL VOC 2012：有5717張訓(xùn)練圖像包括了13609個(gè)目標(biāo)，有5823張驗(yàn)證圖像包括了13841個(gè)目標(biāo)。一共有標(biāo)簽圖像11540，沒有用額外的訓(xùn)練數(shù)據(jù)。在測(cè)試過程中，10991未標(biāo)簽的圖像被提供，通過上傳分類的分?jǐn)?shù)到PASCAL VOC評(píng)估服務(wù)器得到分類結(jié)果。

為了變換局部特征到全局圖像表示，利用LLC框架和SPM。相結(jié)合可以導(dǎo)致良好的分類結(jié)果。

LLC：利用局部約束線性編碼去編碼局部特征，進(jìn)行較大池化和線性SVM；

SPM：利用粗糙的空間結(jié)構(gòu)信息，把來自不同空間池化區(qū)域的池化特征全部鏈接。

與其他特征比較

1）hang-crafted 特征：SIFT、HOG、LBP、GIST和CENTRISY；

2）無監(jiān)督方式的基本特征，沒有編碼判別或共享信息，用隨機(jī)權(quán)重和RICA方法來提取特征；

3）先進(jìn)的Caffe特征。

可視化比較：

左邊為重構(gòu)獨(dú)立成分分析，右邊為新框架模型。

最終的結(jié)果（VOC 2012）：

聲明：文章收集于網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系小編及時(shí)處理，謝謝！

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754