摘要：特征匹配改變了生成器的損失函數(shù)，以最小化真實(shí)圖像的特征與生成的圖像之間的統(tǒng)計(jì)差異。我們建議讀者檢查上使用的損失函數(shù)和相應(yīng)的性能，并通過實(shí)驗(yàn)驗(yàn)證來設(shè)置。相反，我們可能會(huì)將注意力轉(zhuǎn)向?qū)ふ以谏善餍阅懿患褧r(shí)不具有接近零梯度的損失函數(shù)。

前 ?言

GAN模型相比較于其他網(wǎng)絡(luò)一直受困于三個(gè)問題的掣肘：

?1. 不收斂；模型訓(xùn)練不穩(wěn)定，收斂的慢，甚至不收斂；

?2. mode collapse; 生成器產(chǎn)生的結(jié)果模式較為單一；

?3. 訓(xùn)練緩慢；出現(xiàn)這個(gè)原因大多是發(fā)生了梯度消失的問題；

本文主要以下幾個(gè)方面入手，聚焦于解決以上三個(gè)問題的一些技巧：

改變損失函數(shù)，更換更好的優(yōu)化目標(biāo)

在損失函數(shù)中增加額外的懲罰機(jī)制或者正則手段

避免過擬合

更好的優(yōu)化模型

使用監(jiān)督學(xué)習(xí)

01、特征匹配

生成器試圖生成較好的圖像來欺騙鑒別器。 當(dāng)兩個(gè)網(wǎng)絡(luò)不斷對(duì)抗時(shí)，“較佳”圖像會(huì)不斷變化。 然而，優(yōu)化可能變得過于貪婪，并使其成為永無止境的貓捉老鼠游戲。 這是模型未收斂且模式崩潰的情景之一。

特征匹配改變了生成器的損失函數(shù)，以最小化真實(shí)圖像的特征與生成的圖像之間的統(tǒng)計(jì)差異。 通常，我們測(cè)量其特征向量均值之間的L2距離。因此，特征匹配將目標(biāo)從零和博弈擴(kuò)展到真實(shí)圖像中的匹配特征。 下面是特征匹配新的目標(biāo)函數(shù)：

其中$f(x)$是一個(gè)從判別器D中提取出來的特征向量，如下圖所示：

訓(xùn)練過程中，每個(gè)batch計(jì)算實(shí)際圖像特征的平均值，每個(gè)batch都會(huì)有波動(dòng)，可以減輕mode collapse，特征匹配它引入了隨機(jī)性，使得鑒別器更難以過擬合。

當(dāng)GAN的訓(xùn)練不穩(wěn)定時(shí)，使用特征匹配是很有效的。

02、減小判別器的batch

出現(xiàn)mode collapse時(shí)，生成的圖像看起來都差不多，為了緩解這個(gè)問題，我們將不同batch的實(shí)際圖像和生成的圖像分別送入判別器，并計(jì)算圖像x與同一批次圖像的相似度。 我們?cè)阼b別器的一個(gè)密集層中附加相似度，以分類該圖像是真實(shí)的還是生成的。?

如果出現(xiàn)了mode collapse，則生成的圖像的相似性增加。 如果模式崩潰，則鑒別器可以使用這個(gè)值來檢測(cè)出生成的圖像不夠好進(jìn)而給生成器更多的懲罰。

圖像與同一批次中的其他圖像之間的相似度由變換矩陣T計(jì)算。

以下是公式總覽：

引自paper：Improved Techniques for Training GANs

Minibatch的判別方法能夠非?？焖俚厣梢曈X上較好的樣本，并且在這方面它比特征匹配更好用。

03、標(biāo)簽平滑

深度網(wǎng)絡(luò)可能會(huì)發(fā)生過擬合。 例如，它使用很少的特征來對(duì)對(duì)象進(jìn)行分類。 為了緩解這個(gè)問題，深度學(xué)習(xí)使用正則話和dropout來避免過擬合。

在GAN中，如果鑒別器依賴于一小組特征來檢測(cè)真實(shí)圖像，則生成器可以僅生成這些特征以僅利用鑒別器。 優(yōu)化可能變得過于貪婪并且不會(huì)產(chǎn)生長(zhǎng)期效益。 在GAN中，過擬合受到嚴(yán)重傷害。 為了避免這個(gè)問題，當(dāng)任何真實(shí)圖像的預(yù)測(cè)超過0.9（D（實(shí)際圖像）> 0.9）時(shí)，我們會(huì)對(duì)鑒別器進(jìn)行懲罰。 這是通過將目標(biāo)標(biāo)簽值設(shè)置為0.9而不是1.0來完成的。 這是偽代碼：

?

p = tf.placeholder(tf.float32, shape=[None, 10])

# Use 0.9 instead of 1.0.

feed_dict = { ?p: [[0, 0, 0, 0.9, 0, 0, 0, 0, 0, 0]] # Image with label "3"}

# logits_real_image is the logits calculated by?

# the discriminator for real images.

d_real_loss = tf.nn.sigmoid_cross_entropy_with_logits(

? ? ? ? ? ? ? ? ? ? labels=p, logits=logits_real_image)

04、Historical averaging

此方法中，旨在對(duì)過去訓(xùn)練留下的t個(gè)參數(shù)求平均，以對(duì)當(dāng)前模型的參數(shù)做正則。

對(duì)于使用非凸目標(biāo)函數(shù)的GAN來說，歷史平均可以使模型繞平衡點(diǎn)停止并充當(dāng)阻尼力以收斂模型。（有點(diǎn)類似二階優(yōu)化方法）

05、使用標(biāo)簽

許多數(shù)據(jù)集都帶有樣本對(duì)象類型的標(biāo)簽。 訓(xùn)練GAN已經(jīng)很難了，因此，指導(dǎo)GAN訓(xùn)練的任何額外幫助都可以大大提高性能。 將標(biāo)簽添加為潛在空間z的一部分有助于GAN訓(xùn)練。 以下是CGAN中用于利用樣本中標(biāo)簽的數(shù)據(jù)流。

06、損失函數(shù)

研究員們提出了很多的損失函數(shù)，見下圖：

我們決定不在本文中詳細(xì)介紹這些損失函數(shù)，詳細(xì)的解釋可以去參考相應(yīng)論文。

以下是某些數(shù)據(jù)集中的一些FID分?jǐn)?shù)（衡量圖像質(zhì)量，值越小越好）。 這是一個(gè)參考點(diǎn)，但需要注意的是，對(duì)于哪些損失函數(shù)表現(xiàn)較佳還為時(shí)尚早。 實(shí)際上，目前還沒有單一的損失函數(shù)在所有不同數(shù)據(jù)集中表現(xiàn)較佳，所以，做實(shí)驗(yàn)的時(shí)候不妨多試幾個(gè)損失函數(shù)，不要看網(wǎng)上傳什么損失函數(shù)好就用哪個(gè)。

（MM GAN是原始論文中的GAN成本函數(shù)。NS GAN是解決同一篇論文中消失的漸變的替代損失函數(shù)。）

但是想訓(xùn)練好GAN，仍需要小心的去擬合和調(diào)參，在隨意的更換損失函數(shù)之前，不妨先耐心地調(diào)調(diào)參。

07、一些小技巧

將圖像像素值縮放在-1和1之間。使用tanh作為生成器的輸出層

?用高斯分布實(shí)驗(yàn)取樣z

?BN通常可以穩(wěn)定訓(xùn)練

?使用PixelShuffle和轉(zhuǎn)置卷積進(jìn)行上采樣

?避免較大化池用于下采樣，使用帶步長(zhǎng)的卷積

?Adam優(yōu)化器通常比其他方法更好（在GAN中）

?在將圖像輸入鑒別器之前，將噪聲添加到實(shí)際圖像和生成的圖像中

GAN模型的動(dòng)態(tài)尚未得到很好的理解。 所以一些提示只是建議，里程可能會(huì)有所不同。 例如，LSGAN報(bào)告稱RMSProp在他們的實(shí)驗(yàn)中有更穩(wěn)定的訓(xùn)練，所以，調(diào)參很重要。

08、Virtual batch normalization (VBN)

BN成為許多深度網(wǎng)絡(luò)設(shè)計(jì)中的必備項(xiàng)。 BN的均值和方差來自當(dāng)前的小批量。但是，它會(huì)在樣本之間創(chuàng)建依賴關(guān)系，生成的圖像不是彼此獨(dú)立的。

下圖的圖像是訓(xùn)練失敗的圖像，也反映了在生成的圖像顯示同batch中的顏色色調(diào)相似。

最初，我們從隨機(jī)分布中抽樣z，為我們提供獨(dú)立樣本。 但是，BN產(chǎn)生的偏差超過了z的隨機(jī)性。

虛擬批量標(biāo)準(zhǔn)化（VBN）在訓(xùn)練之前對(duì)參考批次進(jìn)行采樣。 在前向傳遞中，我們可以預(yù)先選擇參考batch來計(jì)算BN的歸一化參數(shù)（μ和σ）。 但是，由于我們?cè)谡麄€(gè)訓(xùn)練中使用相同的batch，因此有可能使用此參考batch發(fā)生過擬合。 為了緩解這種情況，我們可以將引用批處理與當(dāng)前批處理相結(jié)合，以計(jì)算規(guī)范化參數(shù)。

09、隨機(jī)種子（Random Seed）

用于初始化模型參數(shù)的隨機(jī)種子影響GAN的性能。如下所示，測(cè)量GAN性能的FID分?jǐn)?shù)在50次多帶帶運(yùn)行（訓(xùn)練）中有所不同。 但是范圍相對(duì)較小，可能僅在稍后的微調(diào)中完成。

10、Batch Normalization

DGCAN強(qiáng)烈建議將BN添加到網(wǎng)絡(luò)設(shè)計(jì)中。 BN的使用也成為許多深度網(wǎng)絡(luò)模型的一般實(shí)踐。 但是，會(huì)有例外。 下圖演示了BN對(duì)不同數(shù)據(jù)集的影響。 y軸是FID得分越低越好。 正如WGAN-GP論文所建議的那樣，BN較好不使用。 我們建議讀者檢查BN上使用的損失函數(shù)和相應(yīng)的FID性能，并通過實(shí)驗(yàn)驗(yàn)證來設(shè)置。

11、多重GAN

模式崩潰可能并不全是壞事。 當(dāng)模式崩潰時(shí)，圖像的某些區(qū)域質(zhì)量通常會(huì)提高。 實(shí)際上，我們可能會(huì)為每種模式收集較佳模型，并使用它們來重建不同的圖像模式（玄學(xué)調(diào)參）。

12、平衡生成器和判別器

判別器和生成器總是處博弈中以相互削弱。模式崩潰和梯度減小通常被解釋為判別器和生成器之間的不平衡。我們可以通過關(guān)注平衡生成器和判別器之間的損耗來改進(jìn)GAN。不幸的是，解決方案似乎難以捉摸。我們可以保持判別器和生成器上的梯度下降迭代次數(shù)之間的靜態(tài)比率。即使這看起來很吸引人，但很多人懷疑它的好處。通常，我們保持一對(duì)一的比例。但是一些研究人員還測(cè)試了每個(gè)生成器更新的5個(gè)判別器迭代的比率。還提出了使用動(dòng)態(tài)力學(xué)平衡兩個(gè)網(wǎng)絡(luò)。但直到最近幾年，我們才對(duì)它有所了解。

另一方面，一些研究人員挑戰(zhàn)平衡這些網(wǎng)絡(luò)的可行性和可取性。一個(gè)訓(xùn)練有素的判別器無論如何都會(huì)給生成器提供高質(zhì)量的反饋。而且，訓(xùn)練生成器總是趕上判別器并不容易。相反，我們可能會(huì)將注意力轉(zhuǎn)向?qū)ふ以谏善餍阅懿患褧r(shí)不具有接近零梯度的損失函數(shù)。

13、生成器、判別器的容量

判別器的模型通常比生成器更復(fù)雜（更多的權(quán)重和更多的層），良好的判別器提供高質(zhì)量的信息。 在許多GAN應(yīng)用中，我們可能遇到瓶頸，增加生成器容量（增加生成器的層數(shù)）顯示沒有質(zhì)量改進(jìn)。 在我們確定瓶頸并解決它們之前，增加生成器容量似乎并不是調(diào)參的優(yōu)先考慮項(xiàng)。

14、進(jìn)一步閱讀

本文中，我們沒有對(duì)某一具體方向做深入的探討，只是給出了一個(gè)大概的方向，GAN的訓(xùn)練仍是一個(gè)遺留問題，需要諸位親自探究。

聲明：文章收集于網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系小編及時(shí)處理，謝謝！

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754