摘要：本文討論了多個(gè)評(píng)估指標(biāo)，并從多個(gè)方面對(duì)評(píng)估指標(biāo)進(jìn)行了實(shí)驗(yàn)評(píng)估，包括距離分類器。鑒于定性評(píng)估的內(nèi)在缺陷，恰當(dāng)?shù)亩吭u(píng)估指標(biāo)對(duì)于的發(fā)展和更好模型的設(shè)計(jì)至關(guān)重要。鑒于評(píng)估非常有難度，評(píng)估評(píng)估指標(biāo)則更加困難。

作者：Qiantong Xu、Gao Huang、Yang Yuan、Chuan Guo、Yu Sun、Felix Wu、Kilian Weinberger

生成對(duì)抗網(wǎng)絡(luò)的評(píng)估目前仍以定性評(píng)估和一些可靠性較差的指標(biāo)為主，這阻礙了問(wèn)題的細(xì)化，并具有誤導(dǎo)性的風(fēng)險(xiǎn)。本文討論了多個(gè) GAN 評(píng)估指標(biāo)，并從多個(gè)方面對(duì)評(píng)估指標(biāo)進(jìn)行了實(shí)驗(yàn)評(píng)估，包括 Inception Score、Mode Score、Kernel MMD、Wasserstein 距離、Fréchet Inception Distance、1-NN 分類器。實(shí)驗(yàn)得出了綜合性的結(jié)論，選出了兩個(gè)表現(xiàn)優(yōu)越的指標(biāo)，該研究在定量評(píng)估、對(duì)比、改進(jìn) GAN 的方向上邁出了重要的一步。

論文：An empirical study on evaluation metrics of generative adversarial networks

論文鏈接：https://arxiv.org/abs/1806.07755

摘要：評(píng)估生成對(duì)抗網(wǎng)絡(luò)（GAN）本質(zhì)上非常有挑戰(zhàn)性。本論文重新討論了多個(gè)代表性的基于樣本的 GAN 評(píng)估指標(biāo)，并解決了如何評(píng)估這些評(píng)估指標(biāo)的問(wèn)題。我們首先從一些使指標(biāo)生成有意義得分的必要條件開(kāi)始，比如區(qū)分真實(shí)對(duì)象和生成樣本，識(shí)別模式丟棄（mode dropping）和模式崩塌（mode collapsing），檢測(cè)過(guò)擬合。經(jīng)過(guò)一系列精心設(shè)計(jì)的實(shí)驗(yàn)，我們對(duì)現(xiàn)有的基于樣本的指標(biāo)進(jìn)行了綜合研究，并找出它們?cè)趯?shí)踐中的優(yōu)缺點(diǎn)?；谶@些結(jié)果，我們觀察到，核較大均值差異（Kernel MMD）和 1-最近鄰（1-NN）雙樣本檢驗(yàn)似乎能夠滿足大部分所需特性，其中樣本之間的距離可以在合適的特征空間中計(jì)算。實(shí)驗(yàn)結(jié)果還揭示了多個(gè)常用 GAN 模型行為的有趣特性，如它們是否記住訓(xùn)練樣本、它們離學(xué)到目標(biāo)分布還有多遠(yuǎn)。

1 引言

生成對(duì)抗網(wǎng)絡(luò)（GAN）（Goodfellow et al., 2014）近年來(lái)得到了廣泛研究。除了生成驚人相似的圖像（Radford et al., 2015; Larsen et al., 2015; Karras et al., 2017; Arjovsky et al., 2017; Gulrajani et al., 2017），GAN 還創(chuàng)新性地應(yīng)用于半監(jiān)督學(xué)習(xí)（Odena, 2016; Makhzani et al., 2015）、圖像到圖像轉(zhuǎn)換（Isola et al., 2016; Zhu et al., 2017）和模擬圖像細(xì)化（Shrivastava et al., 2016）等領(lǐng)域中。然而，盡管可用的 GAN 模型非常多（Arjovsky et al., 2017; Qi, 2017; Zhao et al., 2016），但對(duì)它們的評(píng)估仍然主要是定性評(píng)估，通常需要借助人工檢驗(yàn)生成圖像的視覺(jué)保真度來(lái)進(jìn)行。此類評(píng)估非常耗時(shí)，且主觀性較強(qiáng)、具備一定誤導(dǎo)性。鑒于定性評(píng)估的內(nèi)在缺陷，恰當(dāng)?shù)亩吭u(píng)估指標(biāo)對(duì)于 GAN 的發(fā)展和更好模型的設(shè)計(jì)至關(guān)重要。

或許最流行的指標(biāo)是 Inception Score（Salimans et al., 2016），它使用外部模型即谷歌 Inception 網(wǎng)絡(luò)（Szegedy et al., 2014）評(píng)估生成圖像的質(zhì)量和多樣性，該模型在大規(guī)模 ImageNet 數(shù)據(jù)集上訓(xùn)練。一些其他指標(biāo)雖然應(yīng)用沒(méi)有那么廣泛，但仍然非常有價(jià)值。Wu et al. (2016) 提出一種采樣方法來(lái)評(píng)估 GAN 模型的對(duì)數(shù)似然，該方法假設(shè)高斯觀測(cè)模型具備固定的方差。Bounliphone et al. (2015) 提出使用較大均值差異（MMD）進(jìn)行 GAN 模型選擇。Lopez-Paz & Oquab (2016) 使用分類器雙樣本檢驗(yàn)方法（一種統(tǒng)計(jì)學(xué)中得到充分研究的工具），來(lái)評(píng)估生成分布和目標(biāo)分布之間的差異。

盡管這些評(píng)估指標(biāo)在不同任務(wù)上有效，但目前尚不清楚它們的分?jǐn)?shù)在哪些場(chǎng)景中是有意義的，在哪些場(chǎng)景中可能造成誤判。鑒于評(píng)估 GAN 非常有難度，評(píng)估評(píng)估指標(biāo)則更加困難。大部分已有研究嘗試通過(guò)展示這些評(píng)估指標(biāo)和人類評(píng)估之間的關(guān)聯(lián)性來(lái)證明它們的正當(dāng)性。但是，人類評(píng)估有可能偏向生成樣本的視覺(jué)質(zhì)量，忽視整體分布特征，而后者對(duì)于無(wú)監(jiān)督學(xué)習(xí)來(lái)說(shuō)非常重要。

這篇論文綜合回顧了有關(guān)基于樣本的 GAN 定量評(píng)估方法的文獻(xiàn)。我們通過(guò)精心設(shè)計(jì)的一系列實(shí)驗(yàn)解決了評(píng)估評(píng)估指標(biāo)的難題，我們希望借此回答以下問(wèn)題：（1）目前基于樣本的 GAN 評(píng)估指標(biāo)的行為合理特征是什么？（2）這些指標(biāo)的優(yōu)缺點(diǎn)有哪些，以及基于此我們應(yīng)該優(yōu)先選擇哪些指標(biāo)？實(shí)驗(yàn)觀察表明 MMD 和 1-NN 雙樣本檢驗(yàn)是最合適的評(píng)估指標(biāo)，它們能夠區(qū)分真實(shí)圖像和生成圖像，對(duì)模式丟棄和崩塌較為敏感，且節(jié)約算力。

最后，我們希望這篇論文能夠?qū)υ趯?shí)踐環(huán)境中選擇、解釋和設(shè)計(jì) GAN 評(píng)估指標(biāo)構(gòu)建合適的原則。所有實(shí)驗(yàn)和已檢驗(yàn)指標(biāo)的源代碼均已公開(kāi)，向社區(qū)提供現(xiàn)成工具來(lái) debug 和改進(jìn)他們的 GAN 算法。

源代碼地址：https://github.com/xuqiantong/GAN-Metrics

圖 1：基于樣本的典型 GAN 評(píng)估方法。

2.2 基于樣本的距離度量

我們主要關(guān)注于基于樣本的評(píng)估度量，這些度量方法都遵循圖 1 所示的一般設(shè)定。度量計(jì)算子是 GAN 中的關(guān)鍵因素，本論文簡(jiǎn)要介紹了 5 種表征方法：Inception 分?jǐn)?shù)（Salimans et al., 2016）、Mode 分?jǐn)?shù)（Che et al., 2016）、Kernel MMD（Gretton et al., 2007）、Wasserstein 距離、Fréchet Inception 距離（FID，Heusel et al., 2017）與基于 1-最近鄰（1-NN）的雙樣本測(cè)試（Lopez-Paz & Oquab, 2016）。所有這些度量方法都不需要知道特定的模型，它只要求從生成器中獲取有限的樣本就能逼近真實(shí)距離。

Inception 分?jǐn)?shù)可以說(shuō)是文獻(xiàn)中采用最多的度量方法。它使用一個(gè)圖像分類模型 M 和在 ImageNet（Deng et al., 2009）上預(yù)訓(xùn)練的 Inception 網(wǎng)絡(luò)（Szegedy et al., 2016），因而計(jì)算：

其中 p_M(y|x) 表示由模型 M 在給定樣本 x 下預(yù)測(cè)的標(biāo)簽分布，

即邊緣分布 p_M(y|x) 在概率度量 P_g 上的積分。p_M(y|x) 上的期望和積分都可以通過(guò)從 P_g 中采樣的獨(dú)立同分布（i.i.d.）逼近。更高的 IS 表示 p_M(y|x) 接近于點(diǎn)密度，這只有在當(dāng) Inception 網(wǎng)絡(luò)非常確信圖像屬于某個(gè)特定的 ImageNet 類別時(shí)才會(huì)出現(xiàn)，且 p_M(y) 接近于均勻分布，即所有類別都能等價(jià)地表征。這表明生成模型既能生成高質(zhì)量也能生成多樣性的圖像。Salimans et al. (2016) 表示 Inception 分?jǐn)?shù)與人類對(duì)圖像質(zhì)量的判斷有相關(guān)性。作者強(qiáng)調(diào)了 Inception 分?jǐn)?shù)兩個(gè)具體的屬性：1）KL 散度兩邊的分布都依賴于 M；2）真實(shí)數(shù)據(jù)分布 P_r 甚至是其樣本的分布并不需要使用。

Mode 分?jǐn)?shù)是 Inception 分?jǐn)?shù)的改進(jìn)版。正式地，它可以通過(guò)下式求出：

其中

為在給定真實(shí)樣本下邊緣標(biāo)注分布在真實(shí)數(shù)據(jù)分布上的積分。與 Inception 分?jǐn)?shù)不同，它能通過(guò) KL（p_M(y) || p_M(y*)）散度度量真實(shí)分布 P_r 與生成分布 P_g 之間的差異。

Kernel MMD（核較大均值差異）可以定義為：

在給定一些固定的和函數(shù) k 下，它度量了真實(shí)分布 P_r 與生成分布 P_g 之間的差異。給定分別從 P_r 與 P_g 中采樣的兩組樣本，兩個(gè)分布間的經(jīng)驗(yàn)性 MMD 可以通過(guò)有限樣本的期望逼近計(jì)算。較低的 MMD 表示 P_g 更接近與 P_r。Parzen window estimate (Gretton et al., 2007) 可以被視為 Kernel MMD 的特例。

P_r 與 P_g 分布之間的 Wasserstein 距離（推土機(jī)距離）可以定義為：

其中 Γ(Pr, Pg) 表示邊緣分布分別為 Pr 與 Pg 的所有聯(lián)合分布（即概率耦合）集合，且 d(x^r, x^g) 表示兩個(gè)樣本之間的基礎(chǔ)距離。對(duì)于密度為 pr 與 pg 的離散分布，Wasserstein 距離通常也被稱為推土機(jī)距離（EMD），它等價(jià)于解最優(yōu)傳輸問(wèn)題：

該式表示實(shí)踐中 WD(P_r, P_g) 的有限樣本逼近。與 MMD 相似，Wasserstein 距離越小，兩個(gè)分布就越相似。

Fréchet Inception 距離（FID）是最近由 Heusel et al. (2017) 引入并用來(lái)評(píng)估 GAN 的度量方法。對(duì)于適當(dāng)?shù)奶卣骱瘮?shù)φ（默認(rèn)為 Inception 網(wǎng)絡(luò)的卷積特征），F(xiàn)ID 將 φ(P_r) 和 φ(P_g) 建模為高斯隨機(jī)變量，且其樣本均值為 μ_r 與 μ_g、樣本協(xié)方差為 C_r 與 C_g。兩個(gè)高斯分布的 Fréchet 距離（或等價(jià)于 Wasserstein-2 距離）可通過(guò)下式計(jì)算：

1-最近鄰分類器用于成對(duì)樣本檢驗(yàn)以評(píng)估兩個(gè)分布是否相同。給定兩組樣本

，我們可以計(jì)算在 S_r 和 S_g 上進(jìn)行訓(xùn)練的 1-NN 分類器的留一（LOO）準(zhǔn)確率，其中 S_r 全部標(biāo)注為正樣本、S_g 全部標(biāo)注為負(fù)樣本。與常用的準(zhǔn)確率不同，但|S_r|=|S_g|都非常大時(shí)，1-NN 分類器應(yīng)該服從約為 50% 的 LOO 準(zhǔn)確率，這在兩個(gè)分布相匹配時(shí)能夠達(dá)到。當(dāng) GAN 的生成分布過(guò)擬合真實(shí)采樣分布 Sr 時(shí)，LOO 準(zhǔn)確度將低于 50%。在理論上的極端案例中，如果 GAN 記憶住 Sr 中的每一個(gè)樣本，并較精確地重新生成它，即在 S_g=S_r 時(shí)，準(zhǔn)確率將為零。因?yàn)?Sr 中的每一個(gè)樣本都將有一個(gè)來(lái)自 S_g 的最近鄰樣本，它們之間的距離為零。1-NN 分類器成對(duì)樣本檢驗(yàn)族，理論上任意二元分類器都能采用這種方法。我們只考慮 1-NN 分類器，因?yàn)樗恍枰厥獾挠?xùn)練并只需要少量超參數(shù)調(diào)整。

Lopez-Paz & Oquab (2016) 認(rèn)為 1-NN 準(zhǔn)確率主要作為成對(duì)樣本檢驗(yàn)的統(tǒng)計(jì)量。實(shí)際上，將其分為兩個(gè)類別來(lái)獨(dú)立地分析能獲得更多的信息。例如典型的 GAN 生成結(jié)果，由于 mode collapse 現(xiàn)象，真實(shí)和生成圖像的主要最近鄰都是生成圖像。在這種情況下，真實(shí)圖像 LOO 1-NN 準(zhǔn)確率可能會(huì)相對(duì)較低（期望）：真實(shí)分布的模式通?？捎缮赡Ｐ筒蹲?，所以 Sr 中的大多數(shù)真實(shí)樣本周圍都充滿著由 Sg 生成的樣本，這就導(dǎo)致了較低的 LOO 準(zhǔn)確率；而生成圖像的 LOO 準(zhǔn)確度非常高（不期望的）：生成樣本傾向于聚集到少量的模式中心，而這些模式由相同類別的生成樣本包圍，因此會(huì)產(chǎn)生較高的 LOO 準(zhǔn)確率。

3 GAN 評(píng)估指標(biāo)實(shí)驗(yàn)

圖 2：從真實(shí)圖像和 GAN 生成圖像的混合集合中區(qū)分出真實(shí)圖像。對(duì)于有判別力的指標(biāo)，其分?jǐn)?shù)應(yīng)該隨著混合集合中 GAN 生成樣本數(shù)量增加而增加。RIS 和 RMS 失敗了，因?yàn)樵?LSUN 上它們的分?jǐn)?shù)隨著 S_g 中的 GAN 生成樣本數(shù)量增加而減少。在像素空間中 Wasserstein 和 1-NN accuracy (real) 也失敗了，因?yàn)樗鼈兊姆謹(jǐn)?shù)沒(méi)有增加反而下降了。

圖 3：模擬模式崩塌實(shí)驗(yàn)。指標(biāo)分?jǐn)?shù)應(yīng)該增加，以反映隨著更多模式向聚類中心崩塌真實(shí)分布和生成分布之間的不匹配。所有指標(biāo)在卷積空間中都作出了正確的響應(yīng)。而在像素空間中，Wasserstein distance 和 1-NN accuracy (real) 失敗了，因?yàn)樗鼈兊姆謹(jǐn)?shù)沒(méi)有增加反而下降了。

圖 4：模擬模式丟棄實(shí)驗(yàn)。指標(biāo)分?jǐn)?shù)應(yīng)該增加，以反映隨著更多模式丟棄真實(shí)分布和生成分布之間的不匹配。所有指標(biāo)（除了 RIS 和 RMS）都作出了正確的響應(yīng)，因?yàn)樵趲缀跛心Ｊ蕉紒G棄時(shí)它們?nèi)匀挥休p微的上升。

圖 5：關(guān)于每個(gè)指標(biāo)對(duì)小量變換（旋轉(zhuǎn)和平移）的魯棒性的實(shí)驗(yàn)。所有指標(biāo)應(yīng)該對(duì)真實(shí)圖像和變換后的真實(shí)樣本保持不變，因?yàn)樽儞Q不會(huì)改變圖像語(yǔ)義。所有指標(biāo)都在卷積空間中作出了正確的響應(yīng)，但不是像素空間。該實(shí)驗(yàn)證明像素空間中距離的不適應(yīng)性。

圖 6：不同指標(biāo)在樣本數(shù)作為 x 軸的函數(shù)上的分?jǐn)?shù)。完美指標(biāo)應(yīng)該帶來(lái) real-real

和 real-fake

曲線之間的巨大差距，以利用盡可能少的樣本區(qū)分真實(shí)分布和偽分布。與 Wasserstein 距離相比，MMD 和 1-NN accuracy 判別真實(shí)圖像和生成圖像所需的樣本量更少，而 RIS 在 LSUN 上完全失敗，因?yàn)槠湓谏蓤D像上的分?jǐn)?shù)甚至優(yōu)于（低于）真實(shí)圖像。

圖 8：檢測(cè)生成樣本過(guò)擬合的實(shí)驗(yàn)。隨著更多的生成樣本與訓(xùn)練集中的真實(shí)樣本重疊，驗(yàn)證得分和訓(xùn)練得分之間的差距應(yīng)該增加至信號(hào)過(guò)擬合（signal overfitting）。所有指標(biāo)的行為都是正確的，除了 RIS 和 RMS，因?yàn)檫@兩個(gè)的分?jǐn)?shù)不會(huì)隨著重疊樣本數(shù)量的增加而增加。

4 討論和結(jié)論

基于以上分析，我們可以總結(jié)這六個(gè)評(píng)估指標(biāo)的優(yōu)勢(shì)和本質(zhì)缺陷，以及它們?cè)谑裁礂l件下可以生成有意義的結(jié)果。使用部分指標(biāo)，我們能夠研究過(guò)擬合問(wèn)題（詳見(jiàn) Appendix C）、在 GAN 模型上執(zhí)行模型選擇，并基于精心挑選的樣本對(duì)比不同模型（詳見(jiàn) Appendix D），無(wú)需使用人類評(píng)估。

Inception Score 展示出生成圖像的質(zhì)量和多樣性之間的合理關(guān)聯(lián)，這解釋了其在實(shí)踐中廣泛應(yīng)用的原因。但是，它在大部分情況下并不合適，因?yàn)樗鼉H評(píng)估 P_g（作為圖像生成模型），而不是評(píng)估其與 P_r 的相似度。一些簡(jiǎn)單的擾動(dòng)（如混入來(lái)自完全不同分布的自然圖像）能夠徹底欺騙 Inception Score。因此，它可能會(huì)鼓勵(lì)模型只學(xué)習(xí)清晰和多樣化圖像（甚至一些對(duì)抗噪聲），而不是 P_r。這也適用于 Mode Score。此外，Inception Score 無(wú)法檢測(cè)過(guò)擬合，因?yàn)樗鼰o(wú)法使用留出驗(yàn)證集。

Kernel MMD 在預(yù)訓(xùn)練 ResNet 的特征空間中運(yùn)行時(shí)，性能驚人地好。它總是能夠識(shí)別生成／噪聲圖像和真實(shí)圖像，且它的樣本復(fù)雜度和計(jì)算復(fù)雜度都比較低。鑒于這些優(yōu)勢(shì)，即使 MMD 是有偏的，但我們?nèi)酝扑]大家在實(shí)踐中使用它。

當(dāng)距離在合適的特征空間中進(jìn)行計(jì)算時(shí)，Wasserstein 距離的性能很好。但是，它的樣本復(fù)雜度很高，Arora 等人 2017 年也發(fā)現(xiàn)了這一事實(shí)。另一個(gè)主要缺陷是計(jì)算 Wasserstein 距離所需的實(shí)踐復(fù)雜度為 O(n^3)，且隨著樣本數(shù)量的增加而更高。與其他方法相比，Wasserstein 距離在實(shí)踐中作為評(píng)估指標(biāo)的吸引力較差。

Fréchet Inception Distance 在判別力、魯棒性和效率方面都表現(xiàn)良好。它是 GAN 的優(yōu)秀評(píng)估指標(biāo)，盡管它只能建模特征空間中分布的前兩個(gè) moment。

1-NN 分類器幾乎是評(píng)估 GAN 的完美指標(biāo)。它不僅具備其他指標(biāo)的所有優(yōu)勢(shì)，其輸出分?jǐn)?shù)還在 [0, 1] 區(qū)間中，類似于分類問(wèn)題中的準(zhǔn)確率／誤差。當(dāng)生成分布與真實(shí)分布完美匹配時(shí)，該指標(biāo)可獲取完美分?jǐn)?shù)（即 50% 的準(zhǔn)確率）。從圖 2 中可以看到典型 GAN 模型對(duì)真實(shí)樣本（1-NN accuracy (real)）的 LOO 準(zhǔn)確率較低，而對(duì)生成樣本（1-NN accuracy (fake)）的 LOO 準(zhǔn)確率較高。這表明 GAN 能夠從訓(xùn)練分布中捕捉模型，這樣分布在模式中心周圍的大部分訓(xùn)練樣本的最近鄰來(lái)自于生成圖像集合，而大部分生成圖像的周圍仍然是生成圖像，因?yàn)樗鼈円黄鸨浪Ｔ撚^測(cè)結(jié)果表明模式崩塌問(wèn)題在典型 GAN 模型中很普遍。但是，我們還注意到這個(gè)問(wèn)題無(wú)法通過(guò)人類評(píng)估或廣泛使用的 Inception Score 評(píng)估指標(biāo)來(lái)有效檢測(cè)到。

總之，我們的實(shí)證研究表明選擇計(jì)算不同指標(biāo)的特征空間至關(guān)重要。在 ImageNet 上預(yù)訓(xùn)練 ResNet 的卷積空間中，MMD 和 1-NN accuracy 在判別力、魯棒性和效率方面都是優(yōu)秀的指標(biāo)。Wasserstein 距離的樣本效率較差，而 Inception Score 和 Mode Score 不適合與 ImageNet 差異較大的數(shù)據(jù)集。我們將發(fā)布所有這些指標(biāo)的源代碼，向研究者提供現(xiàn)成的工具來(lái)對(duì)比和改進(jìn) GAN 算法。

基于這兩個(gè)主要指標(biāo) MMD 和 1-NN accuracy，我們研究了 DCGAN 和 WGAN（詳見(jiàn) Appendix C）的過(guò)擬合問(wèn)題。盡管人們廣泛認(rèn)為 GAN 對(duì)訓(xùn)練數(shù)據(jù)過(guò)擬合，但我們發(fā)現(xiàn)這只在訓(xùn)練樣本很少的情況下才會(huì)發(fā)生。這提出了一個(gè)關(guān)于 GAN 泛化能力的有趣問(wèn)題。我們希望未來(lái)的研究能夠幫助解釋這一現(xiàn)象。

聲明：文章收集于網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系小編及時(shí)處理，謝謝！

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754