摘要：劍橋大學(xué)印度國(guó)家技術(shù)學(xué)院近日聯(lián)合發(fā)布了一篇論文，名為利用空間融合卷積神經(jīng)網(wǎng)絡(luò)通過(guò)面部關(guān)鍵點(diǎn)進(jìn)行偽裝人臉識(shí)別，該論文利用空間融合卷積神經(jīng)網(wǎng)絡(luò)為刑偵過(guò)程的人臉識(shí)別提供了有力的支持，我們來(lái)一窺究竟。

劍橋大學(xué)、印度國(guó)家技術(shù)學(xué)院近日聯(lián)合發(fā)布了一篇論文，名為《利用空間融合卷積神經(jīng)網(wǎng)絡(luò)通過(guò)面部關(guān)鍵點(diǎn)進(jìn)行偽裝人臉識(shí)別Disguised Face Identification (DFI) with Facial KeyPoints using Spatial Fusion Convolutional Network》，該論文利用空間融合卷積神經(jīng)網(wǎng)絡(luò)為刑偵過(guò)程的人臉識(shí)別提供了有力的支持，我們來(lái)一窺究竟。

偽裝人臉識(shí)別（DFI）是一個(gè)極具挑戰(zhàn)性的問(wèn)題，因?yàn)槭褂貌煌膫窝b便可以引入大量的不同變體。在本論文中將介紹一種深度學(xué)習(xí)框架，它首先檢測(cè)14個(gè)面部關(guān)鍵點(diǎn)，然后利用它們進(jìn)行偽裝人臉識(shí)別。由于深度學(xué)習(xí)架構(gòu)的訓(xùn)練依賴(lài)于大型的帶注釋數(shù)據(jù)集，因此在這里我們引入了兩個(gè)帶注釋的面部關(guān)鍵點(diǎn)數(shù)據(jù)集。針對(duì)每個(gè)關(guān)鍵點(diǎn)，提出了面部關(guān)鍵點(diǎn)檢測(cè)框架的有效性。通過(guò)與其他深度網(wǎng)絡(luò)的比較，也間接地證明了關(guān)鍵點(diǎn)檢測(cè)框架的優(yōu)越性。同時(shí)，與較先進(jìn)的面部偽裝分類(lèi)方法相比，分類(lèi)性能的有效性也得到了體現(xiàn)。

人臉識(shí)別是一個(gè)重要且非常具有挑戰(zhàn)性的問(wèn)題。因?yàn)橥ㄟ^(guò)諸如戴假發(fā)，改變發(fā)型或發(fā)色，佩戴眼鏡，刮掉或長(zhǎng)出胡子等，這些面部的變化可以顯著地掩飾身份。Righi等人得出結(jié)論是，人臉識(shí)別性能的下降是由于諸如衣服和發(fā)型等有意的面部改變而造成的，比如假發(fā)和眼鏡。為了識(shí)別面部，需要使用面部關(guān)鍵點(diǎn)來(lái)分析面部的形狀。在過(guò)去，針對(duì)這個(gè)問(wèn)題只做了幾次簡(jiǎn)單的嘗試。Tejas等人提出了局部特征描述符來(lái)識(shí)別偽裝的面部補(bǔ)丁，并使用該信息來(lái)改善人臉識(shí)別性能。辛格等人使用基于紋理的特征來(lái)對(duì)偽裝的臉部進(jìn)行分類(lèi)。最近，面部關(guān)鍵點(diǎn)在面部表情分類(lèi)、人臉對(duì)比、視頻人臉追蹤等應(yīng)用程序中的應(yīng)用收到了廣泛歡迎。在過(guò)去，為了達(dá)到這一目標(biāo)，已經(jīng)有無(wú)數(shù)的嘗試，而現(xiàn)如今已經(jīng)縮小到兩種主要的較先進(jìn)方法。第一類(lèi)方法使用特征提取算法，如Gabor，具有基于紋理和基于形狀的特征，可以檢測(cè)不同的面部關(guān)鍵點(diǎn)。第二類(lèi)方法利用概率圖形模型來(lái)捕獲像素和特征之間的關(guān)系，以檢測(cè)面部關(guān)鍵點(diǎn)。深度網(wǎng)絡(luò)在不同計(jì)算機(jī)視覺(jué)任務(wù)中的優(yōu)越性能促使了大家使用深度網(wǎng)絡(luò)進(jìn)行面部關(guān)鍵點(diǎn)檢測(cè)。Sun等人定義了一個(gè)捕獲全局高級(jí)特征的三層架構(gòu)，然后細(xì)化初始化以定位關(guān)鍵點(diǎn)的位置。Haavisto等人使用了預(yù)訓(xùn)練的深度信念網(wǎng)絡(luò)，其在周?chē)梆伾窠?jīng)網(wǎng)絡(luò)中具有高斯線(xiàn)性輸出層，以檢測(cè)面部關(guān)鍵點(diǎn)。對(duì)于這種應(yīng)用程序來(lái)說(shuō)，深度神經(jīng)網(wǎng)絡(luò)的使用是非常具有挑戰(zhàn)性的，因?yàn)橛?xùn)練深度網(wǎng)絡(luò)所需的帶注釋訓(xùn)練數(shù)據(jù)的數(shù)量是不足以進(jìn)行的（小的：AR和Yale面部數(shù)據(jù)庫(kù)），從而迫使設(shè)計(jì)者使用遷移學(xué)習(xí)。遷移學(xué)習(xí)通常來(lái)說(shuō)表現(xiàn)是很好的，但由于訓(xùn)練數(shù)據(jù)的數(shù)量可能不足以微調(diào)預(yù)訓(xùn)練的深度網(wǎng)絡(luò)，因此性能可能會(huì)有所降低。

圖1：左圖:說(shuō)明了用于引入數(shù)據(jù)集的帶有注釋的14個(gè)面部關(guān)鍵點(diǎn)。臉部關(guān)鍵點(diǎn)描述如下：眼睛區(qū)域（青色）：P1-左眉外角，P2-左眉內(nèi)角，P3-右眉內(nèi)角，P4-右眉外角，P5-左眼外角，P6-左眼中心，P7-左眼內(nèi)角，P8-右眼內(nèi)角，P9-右眼中心，P10-右眼外角; 鼻子區(qū)域（黃色）：P11鼻子; 唇部區(qū)域（綠色）P12-唇部左角，P13-唇部中心，P14-唇部右角。右圖沒(méi)有顯示關(guān)鍵點(diǎn)。

圖2：該圖顯示了與簡(jiǎn)單和復(fù)雜面部偽裝（FG）數(shù)據(jù)集不同偽裝的樣本圖像。從圖像中可以看出，復(fù)雜背景數(shù)據(jù)集中的樣本與簡(jiǎn)單數(shù)據(jù)集相反，具有相對(duì)復(fù)雜的背景。

?

本文介紹了面部關(guān)鍵點(diǎn)檢測(cè)框架，用于偽裝人臉識(shí)別?？蚣苁紫仁褂蒙疃染矸e網(wǎng)絡(luò)來(lái)檢測(cè)14個(gè)面部關(guān)鍵點(diǎn)，如圖1所示，被認(rèn)為是人臉識(shí)別的必要條件。然后將檢測(cè)到的點(diǎn)連接以形成星形網(wǎng)狀結(jié)構(gòu)（圖3）。然后利用所提出的分類(lèi)框架對(duì)星網(wǎng)結(jié)構(gòu)中連接點(diǎn)之間的方向進(jìn)行人臉識(shí)別。本文還介紹了兩個(gè)注釋的面部偽裝數(shù)據(jù)集，以改進(jìn)深度卷積網(wǎng)絡(luò)的訓(xùn)練，因?yàn)樗鼈円蕾?lài)于大型訓(xùn)練數(shù)據(jù)集。

??

圖3：關(guān)鍵點(diǎn)檢測(cè)流水線(xiàn)：圖解顯示所有p1-p14關(guān)鍵點(diǎn)生成的空間融合卷積網(wǎng)絡(luò)熱圖的位置。圖中還顯示了通過(guò)組合關(guān)鍵點(diǎn)形成的網(wǎng)狀結(jié)構(gòu)。上面的圖中也顯示了選定的卷積層激活所有8個(gè)轉(zhuǎn)換層網(wǎng)絡(luò)的輸入圖像。

?

本文的主要貢獻(xiàn)如下：

偽裝人臉識(shí)別（DFI）框架：提出的框架使用空間融合深度卷積網(wǎng)絡(luò)從面部提取14個(gè)關(guān)鍵點(diǎn)，被認(rèn)為是描述面部結(jié)構(gòu)的關(guān)鍵。提取的點(diǎn)被連接以形成星形網(wǎng)絡(luò)結(jié)構(gòu)（圖3）。所提出的分類(lèi)框架使用連接點(diǎn)的方向進(jìn)行人臉識(shí)別。

?

簡(jiǎn)單和復(fù)雜的人臉偽裝數(shù)據(jù)集：用于面部關(guān)鍵點(diǎn)檢測(cè)的深度卷積網(wǎng)絡(luò)的訓(xùn)練需要大量的數(shù)據(jù)。然而，這些數(shù)據(jù)集不可用（?。?AR人臉數(shù)據(jù)庫(kù)和耶魯人臉數(shù)據(jù)庫(kù)），因?yàn)檠芯咳藛T以來(lái)遷移學(xué)習(xí)來(lái)檢測(cè)面部關(guān)鍵點(diǎn)。遷移學(xué)習(xí)往往表現(xiàn)良好，但如果數(shù)據(jù)不足以微調(diào)預(yù)先訓(xùn)練的網(wǎng)絡(luò)，則可能表現(xiàn)不佳。為了避免上述問(wèn)題，我們提出了兩個(gè)簡(jiǎn)單而復(fù)雜的人臉偽裝（FG）數(shù)據(jù)集，將來(lái)可能被研究人員用于訓(xùn)練人臉關(guān)鍵點(diǎn)檢測(cè)的深度網(wǎng)絡(luò)。

?

所提出的框架用于對(duì)引入的數(shù)據(jù)集執(zhí)行偽裝人臉識(shí)別。為兩個(gè)數(shù)據(jù)集的每個(gè)關(guān)鍵點(diǎn)提供平均鍵點(diǎn)檢測(cè)精度。此外，還對(duì)所提出的管道與其他關(guān)鍵點(diǎn)檢測(cè)方法進(jìn)行了廣泛的比較。最后，與較先進(jìn)的人臉偽裝分類(lèi)方法相比，分析流程的有效性也得到了體現(xiàn)。

?

本文提出了偽裝人臉識(shí)別（DFI）框架，首先檢測(cè)面部關(guān)鍵點(diǎn)，然后使用它們進(jìn)行人臉識(shí)別。 該框架在簡(jiǎn)單而復(fù)雜的兩個(gè)人臉偽裝（FG）數(shù)據(jù)集上進(jìn)行了評(píng)估。該框架表現(xiàn)優(yōu)于關(guān)鍵點(diǎn)檢測(cè)和人臉偽裝分類(lèi)的較先進(jìn)的方法。在引入的數(shù)據(jù)集中偽裝的大量圖像將改善深入學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練，避免了執(zhí)行遷移學(xué)習(xí)的需要。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754