摘要：中科院自動(dòng)化所，中科院大學(xué)和南昌大學(xué)的一項(xiàng)合作研究，提出了雙路徑，通過單一側(cè)面照片合成正面人臉圖像，取得了當(dāng)前較好的結(jié)果。研究人員指出，這些合成的圖像有可能用于人臉分析的任務(wù)?；謴?fù)的圖像的質(zhì)量嚴(yán)重依賴于訓(xùn)練過程中的先驗(yàn)或約束條件。

中科院自動(dòng)化所（CASIA），中科院大學(xué)和南昌大學(xué)的一項(xiàng)合作研究，提出了雙路徑 GAN（TP-GAN），通過單一側(cè)面照片合成正面人臉圖像，取得了當(dāng)前較好的結(jié)果。研究人員提出了一個(gè)像人類一樣能夠考慮整體和局部信息的 GAN 結(jié)構(gòu)，合成的圖像非常逼真且很好地保留了身份特征，并且可以處理大量不同姿勢(shì)的照片。研究人員指出，這些合成的圖像有可能用于人臉分析的任務(wù)。

首先，讓我們來看上面這張圖，中間一欄是側(cè)面 90°照片，你能看出計(jì)算機(jī)根據(jù)側(cè)面照合成的正臉是左邊一欄，還是右邊一欄嗎？

答案將在文末揭曉。

作為補(bǔ)充信息，下面這張圖全部是計(jì)算機(jī)合成的，展示了從90°、75°和45°的輪廓的合成正面人臉視圖。

根據(jù)側(cè)面照片合成正面人臉一直是個(gè)難題，現(xiàn)在，由中科院自動(dòng)化所（CASIA）、中科院大學(xué)和南昌大學(xué)的 Rui Huang、Shu Zhang、Tianyu Li、Ran He 合作的一項(xiàng)研究，首次解決了這一個(gè)問題，他們受人類視覺識(shí)別過程啟發(fā)，結(jié)合對(duì)抗生成網(wǎng)絡(luò)（GAN）的強(qiáng)大性能，提出了一個(gè)雙路徑 GAN（TP-GAN），能夠在關(guān)注整體結(jié)構(gòu)的同時(shí)，處理人臉面部細(xì)節(jié)，在不同的角度、光照條件都取得了很好的結(jié)果。不僅如此，這種方法還能夠處理大量不同姿勢(shì)的照片。

作者表示，他們這項(xiàng)工作是使用合成的人臉圖像進(jìn)行圖像識(shí)別任務(wù)的首次有效嘗試。

作者在論文中寫道，他們的這項(xiàng)工作主要貢獻(xiàn)在于三個(gè)方面：

1）提出了一個(gè)像人類一樣能夠考慮整體和局部信息的 GAN 結(jié)構(gòu)，能夠根據(jù)單一的圖像合成正面人臉視圖，合成的圖像非常逼真且很好地保留了身份特征，而且可以應(yīng)對(duì)大量不同的姿勢(shì)。

2）將從數(shù)據(jù)分布（對(duì)抗訓(xùn)練）得來的先驗(yàn)知識(shí)，和人臉領(lǐng)域知識(shí)（對(duì)稱性、身份保留損失）結(jié)合起來，將從三維物體投射到二維圖像空間時(shí)固有的缺失信息較精確地恢復(fù)了出來。

3）展示了一個(gè)“通過生成進(jìn)行識(shí)別”（recognition via generation）的框架的可能性，并且在大量不同姿勢(shì)下取得了目前較好的識(shí)別結(jié)果。?

真實(shí)應(yīng)用場(chǎng)景中，不同姿勢(shì)的識(shí)別沒有很好的解決方案

雖然計(jì)算機(jī)識(shí)別圖像已經(jīng)在多個(gè)基準(zhǔn)數(shù)據(jù)集中超越了人類，但真實(shí)應(yīng)用場(chǎng)景中，對(duì)于不同姿勢(shì)的識(shí)別問題仍然沒有得到很好地解決。

現(xiàn)有方法可以分為兩類，一類是采用手繪的（hand-crafted）特征或?qū)W習(xí)不同姿態(tài)的特征，另一類則是致力于在大量不同姿態(tài)的人臉中獲?。╮ecover）一個(gè)正面人臉視圖，然后用這個(gè)視圖進(jìn)行人臉識(shí)別。

但是，第一類方法由于要在不變和可識(shí)別之間做出權(quán)衡，往往無法有效處理大量不同的姿勢(shì)。

第二類方法，早期的嘗試是先將二維圖像與通用或有確切身份的3D模型對(duì)齊，然后利用三維幾何變換渲染正面人臉視圖。但是，這種方法遇到大量不同姿勢(shì)的圖像時(shí)，紋理損失嚴(yán)重，性能也不好。

近來，有研究者提出了由數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法，讓系統(tǒng)在學(xué)習(xí)估計(jì)正面視圖的同時(shí)，分辨身份和姿勢(shì)表征。雖然結(jié)果喜人，但合成的圖像在細(xì)節(jié)方面有所欠缺，再一次地，這種方法也無法很好應(yīng)對(duì)大量不同的姿勢(shì)，因此合成的圖像也無法用于法醫(yī)取證或?qū)傩怨烙?jì)。

更重要的是，從優(yōu)化的角度看，從觀察到的不完全側(cè)面臉部恢復(fù)正面視圖，本身就是一個(gè)不合理而且也沒有很好定義的問題?；謴?fù)的圖像的質(zhì)量嚴(yán)重依賴于訓(xùn)練過程中的先驗(yàn)或約束條件。

以往的方法通常采用配對(duì)監(jiān)督學(xué)習(xí)的方式（pairwise supervision），極少在訓(xùn)練過程中引入約束條件（constraints），因此，才導(dǎo)致合成的圖像模糊不清。

TP-GAN：受人類視覺啟發(fā)，結(jié)合 GAN 強(qiáng)大的性能

當(dāng)人類在進(jìn)行視覺合成的時(shí)候，我們首先是通過觀察到的側(cè)臉，在以往的經(jīng)驗(yàn)/知識(shí)基礎(chǔ)上，推測(cè)出整張臉的結(jié)構(gòu)（或草圖）。然后，我們會(huì)將注意力轉(zhuǎn)向臉部的細(xì)節(jié)，比如眼睛、鼻子、嘴唇，將這些細(xì)節(jié)在剛才那張草圖上“填滿”。

受此啟發(fā)，作者提出了一個(gè)有兩條路徑的深度架構(gòu)（TP-GAN），用于正面人臉圖像合成。這兩條路徑，一條專注于推理全局結(jié)構(gòu)，另一條則推理局部的紋理，分別得到兩個(gè)特征地圖。這兩個(gè)特征圖會(huì)融合在一起，用于接下來的最終合成。

TP-GAN總結(jié)構(gòu)示意圖。生成器包含兩個(gè)路徑，一個(gè)處理全局信息，一個(gè)處理局部變換。判別器在合成的正面（SF）視圖和真實(shí)相片（GT）。

不僅如此，作者還將正面人臉分布的信息并入了一個(gè)生成對(duì)抗網(wǎng)絡(luò)（GAN），由此對(duì)恢復(fù)過程進(jìn)行了很好的約束。

GAN 在二維數(shù)據(jù)分布建模方面的卓越性能（capacity）極大地改善了很多不合理的低級(jí)視覺問題，比如超分辨率和修復(fù)（inpainting）。

組合多種 Loss，合成缺失部分，保留面部突出特征?

作者還根據(jù)人臉是對(duì)稱結(jié)構(gòu)這一點(diǎn)，提出了一個(gè)對(duì)稱性損失（symmetry loss），用于補(bǔ)全被遮擋住的部分。

困難場(chǎng)景。面部特征，包括胡須、眼鏡，TP-GAN 都保留了下來。最右邊一欄，上面那張圖將臉頰恢復(fù)了出來，下面那張圖則是側(cè)面看不見額頭，但 TP-GAN 成功地將額頭恢復(fù)了出來。

為了忠實(shí)地保留一個(gè)人臉部最突出的特征，作者在壓縮特征空間中除了像素級(jí)別的 L1 loss，還使用了一個(gè)感知損失（perceptual loss）。

最后，關(guān)鍵一環(huán)，將身份保留損失（identity preserving loss）整合進(jìn)來，實(shí)現(xiàn)忠實(shí)的正面臉部合成，圖像質(zhì)量得到大幅提升。

TP-GAN 根據(jù)不同姿勢(shì)合成的結(jié)果。從左到右：90°、75°、45°、60°、30°和 15°。最后一欄是真實(shí)相片。

在不同的光線條件下合成的結(jié)果。上面一行是合成結(jié)果，下面一行是原始照片。

作者指出，這些圖像有可能用于人臉分析的任務(wù)。

論文 | 超越臉部旋轉(zhuǎn)：使用整體和局部感知 GAN 生成逼真、保留特征的正面人臉圖像

使用單一臉部圖像合成逼真的正面臉部視圖在人臉識(shí)別領(lǐng)域中有著廣泛的應(yīng)用。盡管此前有研究試圖從大量面部數(shù)據(jù)中尋求解決方案，也即數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法，但這個(gè)問題仍然具有挑戰(zhàn)性，因?yàn)樗举|(zhì)上是個(gè)不合理的問題（ill-posed）。

本文提出了雙通道生成對(duì)抗網(wǎng)絡(luò)（Two-Pathway Generative Adversarial Network，TP-GAN），通過同時(shí)感知全局結(jié)構(gòu)和局部細(xì)節(jié)，合成逼真的正面人臉視圖。

除了常用的全局編碼器-解碼器網(wǎng)絡(luò)之外，論文還提出了４個(gè)定位標(biāo)記的補(bǔ)丁網(wǎng)絡(luò)（landmark located patch networks）處理局部紋理。除了全新的架構(gòu)，我們將這個(gè)不合理的問題進(jìn)行了很好的轉(zhuǎn)化，引入了對(duì)抗性損失（adversarial loss）、對(duì)稱性損失（symmetry loss）和身份保留損失（identity preserving loss）的組合。這一損失的組合能夠利用正面臉部的分布和預(yù)訓(xùn)練識(shí)別深度臉部模型（pre-trained discriminative deep face models），指導(dǎo)身份保留推理從正面臉部視圖合成側(cè)面照。不同于以往的深度學(xué)習(xí)模型主要依靠中間特征用于識(shí)別的方法，我們的方法直接利用合成的、保留身份的圖像用于下游任務(wù)，比如人臉識(shí)別和歸因估計(jì)。實(shí)驗(yàn)結(jié)果表明，我們的方法不僅在視覺上令人信服，也在多種人臉識(shí)別中超越了現(xiàn)有較佳方法。

對(duì)了，還有一開始問題的答案：左邊一欄是 TP-GAN 合成的結(jié)果。你答對(duì)了嗎？

論文地址：https://arxiv.org/pdf/1704.04086.pdf

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754