摘要：深度學(xué)習(xí)已經(jīng)在圖像分類檢測分割高分辨率圖像生成等諸多領(lǐng)域取得了突破性的成績。另一個問題是深度學(xué)習(xí)的模型比如卷積神經(jīng)網(wǎng)絡(luò)有時候并不能很好地學(xué)到訓(xùn)練數(shù)據(jù)中的一些特征。本文通過最近的幾篇文章來介紹它在圖像分割和高分辨率圖像生成中的應(yīng)用。

深度學(xué)習(xí)已經(jīng)在圖像分類、檢測、分割、高分辨率圖像生成等諸多領(lǐng)域取得了突破性的成績。但是它也存在一些問題。首先，它與傳統(tǒng)的機器學(xué)習(xí)方法一樣，通常假設(shè)訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)服從同樣的分布，或者是在訓(xùn)練數(shù)據(jù)上的預(yù)測結(jié)果與在測試數(shù)據(jù)上的預(yù)測結(jié)果服從同樣的分布。而實際上這兩者存在一定的偏差，比如在測試數(shù)據(jù)上的預(yù)測準確率就通常比在訓(xùn)練數(shù)據(jù)上的要低，這就是過度擬合的問題。

另一個問題是深度學(xué)習(xí)的模型（比如卷積神經(jīng)網(wǎng)絡(luò)）有時候并不能很好地學(xué)到訓(xùn)練數(shù)據(jù)中的一些特征。比如，在圖像分割中，現(xiàn)有的模型通常對每個像素的類別進行預(yù)測，像素級別的準確率可能會很高，但是像素與像素之間的相互關(guān)系就容易被忽略，使得分割結(jié)果不夠連續(xù)或者明顯地使某一個物體在分割結(jié)果中的尺寸、形狀與在金標準中的尺寸、形狀差別較大。?

1.對抗學(xué)習(xí)?

對抗學(xué)習(xí)（adversarial learning）就是為了解決上述問題而被提出的一種方法。學(xué)習(xí)的過程可以看做是我們要得到一個模型（例如CNN），使得它在一個輸入數(shù)據(jù)X上得到的輸出結(jié)果盡可能與真實的結(jié)果Y(金標準）一致。在這個過程中使用一個鑒別器（discriminator），它可以識別出一個結(jié)果y到底是來自模型的預(yù)測值還是來自真實的結(jié)果。如果這個鑒別器的水平很高，而它又把和Y搞混了，無法分清它們之間的區(qū)別，那么就說明我們需要的模型具有很好的表達或者預(yù)測能力。本文通過最近的幾篇文章來介紹它在圖像分割和高分辨率圖像生成中的應(yīng)用。

2. 用于圖像分割

Semantic Segmentation using Adversarial Networks （https://arxiv.org/abs/1611.08408, 25Nov 2016）,這篇文章第一個將對抗網(wǎng)絡(luò)（adversarial network）應(yīng)用到圖像分割中，該文章中的方法如下圖。

左邊是一個CNN的分割模型，右邊是一個對抗網(wǎng)絡(luò)。對抗網(wǎng)絡(luò)的輸入有兩種情況，一是原始圖像+金標準，二是原始圖像+分割結(jié)果。它的輸出是一個分類值（1代表它判斷輸入是第一種情況，0代表它判斷輸入是第二種情況）。代價函數(shù)定義為:

另外從訓(xùn)練過程中的性能上也可以看出，使用對抗訓(xùn)練，降低了過度擬合。

3.用于半監(jiān)督學(xué)習(xí)

An Adversarial Regularisation for Semi-Supervised Training of Structured Output Neural Networks（https://arxiv.org/pdf/1702.02382.pdf, 8 Feb 2017）,這篇文章中使用對抗網(wǎng)絡(luò)來做圖像分割的半監(jiān)督學(xué)習(xí)。半監(jiān)督學(xué)習(xí)中一部分數(shù)據(jù)有標記，而另一部分數(shù)據(jù)無標記，可以在準備訓(xùn)練數(shù)據(jù)的過程中節(jié)省大量的人力物力。

該代價函數(shù)使分割算法在標記數(shù)據(jù)和未標記數(shù)據(jù)上得到盡可能一致的結(jié)果。整個算法可以理解成通過使用未標記數(shù)據(jù)，實現(xiàn)對分割網(wǎng)絡(luò)的參數(shù)的規(guī)則化。

上圖是在CamVid數(shù)據(jù)集上分別使用1/8， 1/4， 1/2 和1/1的標記數(shù)據(jù)進行訓(xùn)練的結(jié)果。相比于藍線只使用標記數(shù)據(jù)進行訓(xùn)練，該方法得到了較大的性能提高，如紅線所示。

4.用于域適應(yīng)

FCNs in the Wild: Pixel-level Adversarial and Constraint-based Adaptation（https://arxiv.org/abs/1612.02649, 8 Dec 2016 ）,這篇文章將對抗學(xué)習(xí)用到基于域適應(yīng)的分割中。

域適應(yīng)是指將在一個數(shù)據(jù)集上A訓(xùn)練得到的模型用到與之類似的一個數(shù)據(jù)集B上，這兩個數(shù)據(jù)集的數(shù)據(jù)分布有一定的偏移（distribution shift），也叫做域偏移（domain shift）。A 被稱為源域 source domain，B被稱為目標域 target domain。源域中的數(shù)據(jù)是有標記的，而目標域的數(shù)據(jù)沒有標記，這種問題就被稱為非監(jiān)督域適應(yīng)。該文章要解決的問題如下圖所示：

該文章中認為一個好的分割算法應(yīng)該對圖像是來自于源域還是目標域不敏感。具體而言就是從輸入圖像中提取的抽象特征不受域之間的差異影響，因此從源域中的圖像提取的抽象特征與從目標域中的圖像提取的抽象特征很接近。那么如果用一個判別器來判斷這個抽象特征是來自于源域中的圖像還是來自于目標域中的圖像，這個判別器應(yīng)該盡量無法判斷出來。方法的示意圖如下：

該文章認為有兩個方面引起了域之間的偏移，一個是全局性的，比如不同天氣狀況下的街道場景，一個是與特定的類別相關(guān)的 ，比如不同國家城市之間的交通標志。 因此在代價函數(shù)中考慮了這兩種情況：

上圖是在Cityscapes數(shù)據(jù)集上的結(jié)果。實驗中把訓(xùn)練集作為源域，驗證集作為目標域，分別展示了只使用全局性的域適應(yīng)(GA)和類別特異性域適應(yīng)（CA）的結(jié)果。

5. 高分辨率圖像重建

Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network (https://arxiv.org/abs/1609.04802, 21 Nov, 2016)這篇文章將對抗學(xué)習(xí)用于基于單幅圖像的高分辨重建?；谏疃葘W(xué)習(xí)的高分辨率圖像重建已經(jīng)取得了很好的效果，其方法是通過一系列低分辨率圖像和與之對應(yīng)的高分辨率圖像作為訓(xùn)練數(shù)據(jù)，學(xué)習(xí)一個從低分辨率圖像到高分辨率圖像的映射函數(shù)，這個函數(shù)通過卷積神經(jīng)網(wǎng)絡(luò)來表示。

傳統(tǒng)的方法一般處理的是較小的放大倍數(shù)，當(dāng)圖像的放大倍數(shù)在4以上時，很容易使得到的結(jié)果顯得過于平滑，而缺少一些細節(jié)上的真實感。這是因為傳統(tǒng)的方法使用的代價函數(shù)一般是最小均方差（MSE），即

該代價函數(shù)使重建結(jié)果有較高的信噪比，但是缺少了高頻信息，出現(xiàn)過度平滑的紋理。該文章中的方法提出的方法稱為SRGAN, 它認為，應(yīng)當(dāng)使重建的高分辨率圖像與真實的高分辨率圖像無論是低層次的像素值上，還是高層次的抽象特征上，和整體概念和風(fēng)格上，都應(yīng)當(dāng)接近。整體概念和風(fēng)格如何來評估呢？可以使用一個判別器，判斷一副高分辨率圖像是由算法生成的還是真實的。如果一個判別器無法區(qū)分出來，那么由算法生成的圖像就達到了以假亂真的效果。

小結(jié)

對抗學(xué)習(xí)的概念就是引入一個判別器來解決不同數(shù)據(jù)域之間分布不一致的問題，通過使判別器無法區(qū)分兩個不同域的數(shù)據(jù)，間接使它們屬于同一個分布，從而作為一個規(guī)則化的方法去指導(dǎo)深度學(xué)習(xí)模型更新參數(shù)，達到更好的效果。關(guān)于它的數(shù)學(xué)證明，可以參見[1]。

參考文獻

[1] ?Goodfellow, Ian, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. "Generative adversarial nets." In Advances in neural information processing systems, pp. 2672-2680. 2014.

[2] ?Luc, Pauline, Camille Couprie, Soumith Chintala, and Jakob Verbeek. "Semantic Segmentation using Adversarial Networks." arXiv preprint arXiv:1611.08408 (2016).

[3] ?Mateusz Koziński, Lo?c Simon, Frédéric Jurie, "An Adversarial Regularisation for Semi-Supervised Training of Structured Output Neural Networks", arXiv preprint arXiv:1702.02382(2017).

[4] Hoffman, Judy, Dequan Wang, Fisher Yu, and Trevor Darrell. "FCNs in the Wild: Pixel-level Adversarial and Constraint-based Adaptation." arXiv preprint arXiv:1612.02649 (2016).

[5] Ledig, Christian, Lucas Theis, Ferenc Huszár, Jose Caballero, Andrew Cunningham, Alejandro Acosta, Andrew Aitken et al. "Photo-realistic single image super-resolution using a generative adversarial network." arXiv preprint arXiv:1609.04802 (2016).

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754