摘要：自年提出生成對(duì)抗網(wǎng)絡(luò)的概念后，生成對(duì)抗網(wǎng)絡(luò)變成為了學(xué)術(shù)界的一個(gè)火熱的研究熱點(diǎn)，更是稱之為過去十年間機(jī)器學(xué)習(xí)領(lǐng)域最讓人激動(dòng)的點(diǎn)子。

自2014年Ian Goodfellow提出生成對(duì)抗網(wǎng)絡(luò)（GAN）的概念后，生成對(duì)抗網(wǎng)絡(luò)變成為了學(xué)術(shù)界的一個(gè)火熱的研究熱點(diǎn)，Yann LeCun更是稱之為”過去十年間機(jī)器學(xué)習(xí)領(lǐng)域最讓人激動(dòng)的點(diǎn)子”。生成對(duì)抗網(wǎng)絡(luò)的簡(jiǎn)單介紹如下，訓(xùn)練一個(gè)生成器（Generator，簡(jiǎn)稱G），從隨機(jī)噪聲或者潛在變量（Latent Variable）中生成逼真的的樣本，同時(shí)訓(xùn)練一個(gè)鑒別器（Discriminator，簡(jiǎn)稱D）來鑒別真實(shí)數(shù)據(jù)和生成數(shù)據(jù)，兩者同時(shí)訓(xùn)練，直到達(dá)到一個(gè)納什均衡，生成器生成的數(shù)據(jù)與真實(shí)樣本無差別，鑒別器也無法正確的區(qū)分生成數(shù)據(jù)和真實(shí)數(shù)據(jù)。GAN的結(jié)構(gòu)如圖1所示。

圖1 生成對(duì)抗網(wǎng)絡(luò)的基本架構(gòu)

近兩年來學(xué)術(shù)界相繼提出了條件生成對(duì)抗網(wǎng)絡(luò)（CGAN），信息生成對(duì)抗網(wǎng)絡(luò)（InfoGAN）以及深度卷積生成對(duì)抗網(wǎng)絡(luò)（DCGAN）等眾多GAN的變種，圖2來自去年一篇論文：Image-to-Image Translation with Conditional Adversarial Nets，我們可以看到GAN已經(jīng)被引入到了各種以往深度神經(jīng)網(wǎng)絡(luò)的任務(wù)中，例如從分割圖像恢復(fù)原圖像（左上角第一對(duì)），給黑白圖片上色（右上角第一對(duì)），根據(jù)紋理圖上色（右下角第一對(duì)），另外，GAN還可以做圖像超分辨率，動(dòng)態(tài)場(chǎng)景生成等，關(guān)于GAN的更多應(yīng)用請(qǐng)見另一篇博客深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的前沿進(jìn)展。

圖2 Image to image圖像翻譯

仔細(xì)想來，這些任務(wù)，其實(shí)都是傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)可以做的，例如自編碼器（AutoEncodor）和卷積反卷積架構(gòu)可以做到的，我們不禁要想，GAN相比傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)，它的優(yōu)勢(shì)在哪里？前段時(shí)間，我也一直比較迷惑，中文能查到的資料，就是Ian Goodfellow在生成對(duì)抗網(wǎng)絡(luò)（GAN）論文最后總結(jié)的幾點(diǎn)，如下：

優(yōu)點(diǎn)

模型只用到了反向傳播，而不需要馬爾科夫鏈；

訓(xùn)練時(shí)不需要對(duì)隱變量做推斷；

理論上，只要是可微分函數(shù)都可以用于構(gòu)建D和G，因?yàn)槟軌蚺c深度神經(jīng)網(wǎng)絡(luò)結(jié)合做深度生成式模型；

G的參數(shù)更新不是直接來自數(shù)據(jù)樣本，而是使用來自D的反向傳播（這也是與傳統(tǒng)方法相比差別較大的一條吧）。

缺點(diǎn)

可解釋性差,生成模型的分布 Pg(G)沒有顯式的表達(dá)。

比較難訓(xùn)練,D與G之間需要很好的同步,例如D更新k次而G更新一次。

上面只是一個(gè)比較簡(jiǎn)單的解釋，很幸運(yùn)，我在Quora上查到了兩個(gè)類似問題，GAN與其他生成模型相比有什么優(yōu)勢(shì)，這個(gè)問題只有一個(gè)人回答，很幸運(yùn)的是，他就是Ian Goodfellow，GAN的發(fā)明人，他在Quora上的簽名就是“I invented generative adversarial networks”。而另一個(gè)問題是GANs的優(yōu)缺點(diǎn)是什么？良心大神Goodfellow也做了回答。我把他的兩個(gè)回答翻譯如下：

原問題1：What is the advantage of generative adversarial networks compared with other generative models？?

生成對(duì)抗網(wǎng)絡(luò)相比其他生成模型的優(yōu)點(diǎn)？

相比其他所有模型，我認(rèn)為：

從實(shí)際結(jié)果來看，GAN看起來能產(chǎn)生更好的生成樣本。

GAN框架可以訓(xùn)練任何生成網(wǎng)絡(luò)（在理論實(shí)踐中,很難使用增強(qiáng)學(xué)習(xí)去訓(xùn)練有離散輸出的生成器）,大多數(shù)其他架構(gòu)需要生成器有一些特定的函數(shù)形式，就像輸出層必須是高斯化的。另外所有其他框架需要生成器整個(gè)都是非零權(quán)值（put non-zero mass everywhere），然而，GANs可以學(xué)習(xí)到一個(gè)只在靠近真實(shí)數(shù)據(jù)的地方（神經(jīng)網(wǎng)絡(luò)層）產(chǎn)生樣本點(diǎn)的模型（GANs can learn models that generate points only on a thin manifold that goes near the data）。

沒有必要遵循任何種類的因子分解去設(shè)計(jì)模型，所有的生成器和鑒別器都可以正常工作。

相比PixelRNN，GAN生成采樣的運(yùn)行時(shí)間更短，GANs一次產(chǎn)生一個(gè)樣本，然而PixelRNNs需要一個(gè)像素一個(gè)像素的去產(chǎn)生樣本。

相比VAE，GANs沒有變分下界，如果鑒別器訓(xùn)練良好，那么生成器可以完美的學(xué)習(xí)到訓(xùn)練樣本的分布。換句話說，GANs是漸進(jìn)一致的，但是VAE是有偏差的。?

相比深度玻爾茲曼機(jī)，GANs沒有變分下界，也沒有棘手的配分函數(shù)，樣本是一次生成的，而不是重復(fù)的應(yīng)用馬爾科夫鏈來生成的。

相比GSNs，GANs產(chǎn)生的樣本是一次生成的，而不是重復(fù)的應(yīng)用馬爾科夫鏈來生成的。

相比NICE和Real NVE，GANs沒有對(duì)潛在變量（生成器的輸入值）的大小進(jìn)行限制；說實(shí)話，我認(rèn)為其他的方法也都是很了不起的，他們相比GANs也有相應(yīng)的優(yōu)勢(shì)。

原問題2：What are the pros and cons of using generative adversarial networks (a type of neural network)？?

生成對(duì)抗網(wǎng)絡(luò)(一種神經(jīng)網(wǎng)絡(luò))的優(yōu)缺點(diǎn)是什么？

It is known that facebook has developed a means of generating realistic-looking images via a neural network. They used “GAN” aka “generative adversarial networks”. Could this be applied generation of other things, such as audio waveform via RNN? Why or why not??

facebook基于神經(jīng)網(wǎng)絡(luò)開發(fā)了一種可以生成現(xiàn)實(shí)圖片的方法，他們使用GAN，又叫做生成對(duì)抗網(wǎng)絡(luò)，它能應(yīng)用到其他事物的生成嗎，例如通過RNN生成音頻波形，可以嗎？為什么？

優(yōu)勢(shì)

GANs是一種以半監(jiān)督方式訓(xùn)練分類器的方法，可以參考我們的NIPS paper和相應(yīng)代碼。在你沒有很多帶標(biāo)簽的訓(xùn)練集的時(shí)候，你可以不做任何修改的直接使用我們的代碼，通常這是因?yàn)槟銢]有太多標(biāo)記樣本。我最近也成功地使用這份代碼與谷歌大腦部門在深度學(xué)習(xí)的隱私方面合寫了一篇論文。

GANs可以比完全明顯的信念網(wǎng)絡(luò)（NADE,PixelRNN,WaveNet等）更快的產(chǎn)生樣本，因?yàn)樗恍枰诓蓸有蛄猩刹煌臄?shù)據(jù)。

GANs不需要蒙特卡洛估計(jì)來訓(xùn)練網(wǎng)絡(luò)，人們經(jīng)常抱怨GANs訓(xùn)練不穩(wěn)定，很難訓(xùn)練，但是他們比訓(xùn)練依賴于蒙特卡洛估計(jì)和對(duì)數(shù)配分函數(shù)的玻爾茲曼機(jī)簡(jiǎn)單多了。因?yàn)槊商乜宸椒ㄔ诟呔S空間中效果不好，玻爾茲曼機(jī)從來沒有拓展到像ImgeNet任務(wù)中。GANs起碼在ImageNet上訓(xùn)練后可以學(xué)習(xí)去畫一些以假亂真的狗。

相比于變分自編碼器，GANs沒有引入任何決定性偏置（deterministic bias）,變分方法引入決定性偏置，因?yàn)樗麄儍?yōu)化對(duì)數(shù)似然的下界，而不是似然度本身，這看起來導(dǎo)致了VAEs生成的實(shí)例比GANs更模糊。

相比非線性ICA（NICE, Real NVE等），GANs不要求生成器輸入的潛在變量有任何特定的維度或者要求生成器是可逆的。

相比玻爾茲曼機(jī)和GSNs，GANs生成實(shí)例的過程只需要模型運(yùn)行一次，而不是以馬爾科夫鏈的形式迭代很多次。

劣勢(shì)

訓(xùn)練GAN需要達(dá)到納什均衡，有時(shí)候可以用梯度下降法做到，有時(shí)候做不到。我們還沒有找到很好的達(dá)到納什均衡的方法，所以訓(xùn)練GAN相比VAE或者PixelRNN是不穩(wěn)定的，但我認(rèn)為在實(shí)踐中它還是比訓(xùn)練玻爾茲曼機(jī)穩(wěn)定的多。

它很難去學(xué)習(xí)生成離散的數(shù)據(jù)，就像文本。

相比玻爾茲曼機(jī)，GANs很難根據(jù)一個(gè)像素值去猜測(cè)另外一個(gè)像素值，GANs天生就是做一件事的，那就是一次產(chǎn)生所有像素，你可以用BiGAN來修正這個(gè)特性，它能讓你像使用玻爾茲曼機(jī)一樣去使用Gibbs采樣來猜測(cè)缺失值。?

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754