摘要：目前，生成對(duì)抗網(wǎng)絡(luò)的大部分應(yīng)用都是在計(jì)算機(jī)視覺(jué)領(lǐng)域。生成對(duì)抗網(wǎng)絡(luò)生成對(duì)抗網(wǎng)絡(luò)框架是由等人于年設(shè)計(jì)的生成模型。在設(shè)置中，兩個(gè)由神經(jīng)網(wǎng)絡(luò)進(jìn)行表示的可微函數(shù)被鎖定在一個(gè)游戲中。我們提出了深度卷積生成對(duì)抗網(wǎng)絡(luò)的實(shí)現(xiàn)。

讓我們假設(shè)這樣一種情景：你的鄰居正在舉辦一場(chǎng)非?？岬木蹠?huì)，你非常想去參加。但有要參加聚會(huì)的話，你需要一張?zhí)貎r(jià)票，而這個(gè)票早就已經(jīng)賣完了。

而對(duì)于這次聚會(huì)的組織者來(lái)說(shuō)，為了讓聚會(huì)能夠成功舉辦，他們雇傭了一個(gè)合格的安全機(jī)構(gòu)。主要目標(biāo)就是不允許任何人破壞這次的聚會(huì)。為了做到這一點(diǎn)，他們?cè)跁?huì)場(chǎng)入口處安置了很多警衛(wèi)，檢查每個(gè)人所持門(mén)票的真實(shí)性。

考慮到你沒(méi)有任何武術(shù)上的天賦，而你又特別想去參加聚會(huì)，那么的辦法就是用一張非常有說(shuō)服力的假票來(lái)騙他們。

但是這個(gè)計(jì)劃存在一個(gè)很大的bug——你從來(lái)沒(méi)有真正看到過(guò)這張門(mén)票到底是什么樣的。所以，在這種情況下，如果你僅是根據(jù)自己的創(chuàng)造力設(shè)計(jì)了一張門(mén)票，那么在第一次嘗試期間就想要騙過(guò)警衛(wèi)幾乎是不可能的。除此之外，除非你有一個(gè)很好的關(guān)于此次聚會(huì)的門(mén)票的復(fù)印件，否則你較好不要把你的臉展露出來(lái)。

為了幫助解決問(wèn)題，你決定打電話給你的朋友Bob為你做這個(gè)工作。

Bob的任務(wù)非常簡(jiǎn)單。他會(huì)試圖用你的假通行證進(jìn)入聚會(huì)。如果他被拒絕了，他將返回，然后告訴你一些有關(guān)真正的門(mén)票應(yīng)該是什么樣的建議。

基于這個(gè)反饋，你可以制作一張全新版本的門(mén)票，然后將其交給Bob，再去檢票處嘗試一下。這個(gè)過(guò)程不斷重復(fù)，直到你能夠設(shè)計(jì)一個(gè)完美的門(mén)票“復(fù)制品”。

?

這是一個(gè)必須去的派對(duì)。而下面這張照片，其實(shí)是我其實(shí)從一個(gè)假票據(jù)生成器器網(wǎng)站上拿到的。

?

對(duì)于上面這個(gè)小故事，拋開(kāi)里面的假想成分，這幾乎就是生成對(duì)抗網(wǎng)絡(luò)（GAN）的工作方式。

目前，生成對(duì)抗網(wǎng)絡(luò)的大部分應(yīng)用都是在計(jì)算機(jī)視覺(jué)領(lǐng)域。其中一些應(yīng)用包括訓(xùn)練半監(jiān)督分類器，以及從低分辨率圖像中生成高分辨率圖像。

本篇文章對(duì)GAN進(jìn)行了一些介紹，并對(duì)圖像生成問(wèn)題進(jìn)行了實(shí)際實(shí)踐。你可以在你的筆記本電腦上進(jìn)行演示。

生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks）

?

生成對(duì)抗網(wǎng)絡(luò)框架

GAN是由Goodfellow等人于2014年設(shè)計(jì)的生成模型。在GAN設(shè)置中，兩個(gè)由神經(jīng)網(wǎng)絡(luò)進(jìn)行表示的可微函數(shù)被鎖定在一個(gè)游戲中。這兩個(gè)參與者（生成器和鑒別器）在這個(gè)框架中要扮演不同的角色。

生成器試圖生成來(lái)自某種概率分布的數(shù)據(jù)。即你想重新生成一張聚會(huì)的門(mén)票。

鑒別器就像一個(gè)法官。它可以決定輸入是來(lái)自生成器還是來(lái)自真正的訓(xùn)練集。這就像是聚會(huì)中的安保設(shè)置，比將你的假票和這正的門(mén)票進(jìn)行比較，以找到你的設(shè)計(jì)中存在的缺陷。

?

?我們將一個(gè)4層卷積網(wǎng)絡(luò)用于生成器和鑒別器，進(jìn)行批量正則化。對(duì)該模型進(jìn)行訓(xùn)練以生成SVHN和MNIST圖像。以上是訓(xùn)練期間SVHN（上）和MNIST（下）生成器樣本

總而言之，游戲如下：

?生成器試圖較大化鑒別器將其輸入錯(cuò)認(rèn)為正確的的概率。

?鑒別器引導(dǎo)生成器生成更逼真的圖像。

在完美的平衡狀態(tài)中，生成器將捕獲通用的訓(xùn)練數(shù)據(jù)分布。結(jié)果，鑒別器總是不確定其輸入是否是真實(shí)的。

?摘自DCGAN論文。生成器網(wǎng)絡(luò)在這里實(shí)現(xiàn)。注意：完全連接層和池化層的不存在

在DCGAN論文中，作者描述了一些深度學(xué)習(xí)技術(shù)的組合，它們是訓(xùn)練GAN的關(guān)鍵。這些技術(shù)包括：（i）所有的卷積網(wǎng)絡(luò)；（ii）批量正則化（BN）。

第一個(gè)強(qiáng)調(diào)的重點(diǎn)是帶步幅的卷積（strided convolutions），而不是池化層：增加和減少特征的空間維度；第二個(gè)是，對(duì)特征向量進(jìn)行正則化以使其在所有層中具有零均值和單位方差。這有助于穩(wěn)定學(xué)習(xí)和處理權(quán)重不佳的初始化問(wèn)題。

言歸正傳，在這里闡述一下實(shí)施細(xì)節(jié)，以及GAN的相關(guān)知識(shí)。我們提出了深度卷積生成對(duì)抗網(wǎng)絡(luò)（DCGAN）的實(shí)現(xiàn)。我們的實(shí)現(xiàn)使用的是Tensorflow并遵循DCGAN論文中描述的一些實(shí)踐方法。

生成器

該網(wǎng)絡(luò)有4個(gè)卷積層，所有的位于BN（輸出層除外）和校正線性單元（ReLU）激活之后。

它將隨機(jī)向量z（從正態(tài)分布中抽?。┳鳛檩斎?。將z重塑為4D形狀之后，將其饋送到啟動(dòng)一系列上采樣層的生成器中。

每個(gè)上采樣層都代表一個(gè)步幅為2的轉(zhuǎn)置卷積（Transpose convolution）運(yùn)算。轉(zhuǎn)置卷積與常規(guī)卷積類似。

一般來(lái)說(shuō)，常規(guī)卷積從寬且淺的層延展為更窄、更深的層。轉(zhuǎn)移卷積走另一條路。他們從深而窄的層次走向更寬更淺。

轉(zhuǎn)置卷積運(yùn)算的步幅定義了輸出層的大小。在“相同”的填充和步幅為2時(shí)，輸出特征的大小將是輸入層的兩倍。

發(fā)生這種情況的原因是，每次我們移動(dòng)輸入層中的一個(gè)像素時(shí)，我們都會(huì)將輸出層上的卷積內(nèi)核移動(dòng)兩個(gè)像素。換句話說(shuō)，輸入圖像中的每個(gè)像素都用于在輸出圖像中繪制一個(gè)正方形。

?

將一個(gè)3x3的內(nèi)核在一個(gè)步幅為2的2x2輸入上進(jìn)行轉(zhuǎn)置，就相當(dāng)于將一個(gè)3x3的內(nèi)核在一個(gè)步幅為2的5x5輸入上進(jìn)行卷積運(yùn)算。對(duì)于二者，均不使用填充“有效”

簡(jiǎn)而言之，生成器開(kāi)始于這個(gè)非常深但很窄的輸入向量開(kāi)始。在每次轉(zhuǎn)置卷積之后，z變得更寬、更淺。所有的轉(zhuǎn)置卷積都使用5x5內(nèi)核的大小，且深度從512減少到3——代表RGB彩色圖像。

def transpose_conv2d(x, output_space):

? ? return tf.layers.conv2d_transpose(x, output_space,?

? ? ? kernel_size=5, strides=2, padding="same",

? ? ? kernel_initializer=tf.random_normal_initializer(mean=0.0,

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? stddev=0.02))

最后一層通過(guò)雙曲正切（tanh）函數(shù)輸出一個(gè)32x32x3的張量——值在-1和1之間進(jìn)行壓縮。

這個(gè)最終的輸出形狀是由訓(xùn)練圖像的大小來(lái)定義的。在這種情況下，如果是用于SVHN的訓(xùn)練，生成器生成32x32x3的圖像。但是，如果是用于MNIST的訓(xùn)練，則會(huì)生成28x28的灰度圖像。

最后，請(qǐng)注意，在將輸入向量z饋送到生成器之前，我們需要將其縮放到-1到1的區(qū)間。這是遵循使用tanh函數(shù)的選擇。

def generator(z, output_dim, reuse=False, alpha=0.2, training=True):

? ? """

? ? Defines the generator network

? ? :param z: input random vector z

? ? :param output_dim: output dimension of the network

? ? :param reuse: Indicates whether or not the existing model variables should be used or recreated

? ? :param alpha: Scalar for lrelu activation function

? ? :param training: Boolean for controlling the batch normalization statistics

? ? :return: model"s output

? ? """

? ? with tf.variable_scope("generator", reuse=reuse):

? ? ? ? fc1 = dense(z, 4*4*512)

? ? ? ? # Reshape it to start the convolutional stack

? ? ? ? fc1 = tf.reshape(fc1, (-1, 4, 4, 512))

? ? ? ? fc1 = batch_norm(fc1, training=training)

? ? ? ? fc1 = tf.nn.relu(fc1)

? ? ? ? t_conv1 = transpose_conv2d(fc1, 256)

? ? ? ? t_conv1 = batch_norm(t_conv1, training=training)

? ? ? ? t_conv1 = tf.nn.relu(t_conv1)

? ? ? ? t_conv2 = transpose_conv2d(t_conv1, 128)

? ? ? ? t_conv2 = batch_norm(t_conv2, training=training)

? ? ? ? t_conv2 = tf.nn.relu(t_conv2)

? ? ? ? logits = transpose_conv2d(t_conv2, output_dim)

? ? ? ? out = tf.tanh(logits)

? ? ? ? return out

鑒別器

鑒別器也是一個(gè)包含BN（除了其輸入層之外）和leaky ReLU激活的4層CNN。許多激活函數(shù)都可以在這種基礎(chǔ)GAN體系結(jié)構(gòu)中進(jìn)行良好的運(yùn)算。但是leaky ReLUs有著非常廣泛的應(yīng)用，因?yàn)樗鼈兛梢詭椭荻仍诮Y(jié)構(gòu)中更輕易地流動(dòng)。

常規(guī)的RELU函數(shù)通過(guò)將負(fù)值截?cái)酁?來(lái)工作。這樣做的效果是阻止梯度流通過(guò)網(wǎng)絡(luò)。leaky ReLU允許一個(gè)小負(fù)值通過(guò)，而非要求函數(shù)為0。也就是說(shuō)，函數(shù)用來(lái)計(jì)算特征與小因素之間的較大值。

def lrelu(x, alpha=0.2):

? ? ?# non-linear activation function

? ? return tf.maximum(alpha * x, x)

leaky ReLU表示了一種解決崩潰邊緣ReLU問(wèn)題的嘗試。這種情況發(fā)生在神經(jīng)元陷于某一特定情況下，此時(shí)ReLU單元對(duì)于任何輸入都輸出0。對(duì)于這些情況，梯度完全關(guān)閉以通過(guò)網(wǎng)絡(luò)回流。

這對(duì)于GAN來(lái)說(shuō)尤為重要，因?yàn)樯善鞅仨殞W(xué)習(xí)的方法是接受來(lái)自鑒別器的梯度。

?

（上）ReLU，（下）leaky ReLU激活函數(shù)。 請(qǐng)注意，當(dāng)x為負(fù)值時(shí)， leaky ReLU允許有一個(gè)小的斜率

這個(gè)鑒別器首先接收一個(gè)32x32x3的圖像張量。與生成器相反的是，鑒別器執(zhí)行一系列步幅為2的卷積。每一種方法都是通過(guò)將特征向量的空間維度縮小一半，從而使學(xué)習(xí)過(guò)濾器的數(shù)量加倍。

最后，鑒別器需要輸出概率。為此，我們?cè)谧詈蟮倪壿嫞╨ogits）上使用Logistic Sigmoid激活函數(shù)。

def discriminator(x, reuse=False, alpha=0.2, training=True):

? ? """

? ? Defines the discriminator network

? ? :param x: input for network

? ? :param reuse: Indicates whether or not the existing model variables should be used or recreated

? ? :param alpha: scalar for lrelu activation function

? ? :param training: Boolean for controlling the batch normalization statistics

? ? :return: A tuple of (sigmoid probabilities, logits)

? ? """

? ? with tf.variable_scope("discriminator", reuse=reuse):

? ? ? ? # Input layer is 32x32x?

? ? ? ? conv1 = conv2d(x, 64)

? ? ? ? conv1 = lrelu(conv1, alpha)

? ? ? ? conv2 = conv2d(conv1, 128)

? ? ? ? conv2 = batch_norm(conv2, training=training)

? ? ? ? conv2 = lrelu(conv2, alpha)

? ? ? ? conv3 = conv2d(conv2, 256)

? ? ? ? conv3 = batch_norm(conv3, training=training)

? ? ? ? conv3 = lrelu(conv3, alpha)

? ? ? ? # Flatten it

? ? ? ? flat = tf.reshape(conv3, (-1, 4*4*256))

? ? ? ? logits = dense(flat, 1)

? ? ? ? out = tf.sigmoid(logits)

? ? ? ? return out, logits

需要注意的是，在這個(gè)框架中，鑒別器充當(dāng)一個(gè)常規(guī)的二進(jìn)制分類器。一半的時(shí)間從訓(xùn)練集接收?qǐng)D像，另一半時(shí)間從生成器接收?qǐng)D像。

回到我們的故事中，為了復(fù)制聚會(huì)的票，你的信息來(lái)源是朋友Bob的反饋。換言之，Bob在每次嘗試期間向你提供的反饋的質(zhì)量對(duì)于完成工作至關(guān)重要。

同樣的，每次鑒別器注意到真實(shí)圖像和虛假圖像之間的差異時(shí)，都會(huì)向生成器發(fā)送一個(gè)信號(hào)。該信號(hào)是從鑒別器向生成器反向流動(dòng)的梯度。通過(guò)接收它，生成器能夠調(diào)整其參數(shù)以接近真實(shí)的數(shù)據(jù)分布。

這就是鑒別器的重要性所在。實(shí)際上，生成器將要盡可能好地產(chǎn)生數(shù)據(jù)，因?yàn)殍b別器正在不斷地縮小真實(shí)和虛假數(shù)據(jù)的差距。

損失

現(xiàn)在，讓我們來(lái)描述這一結(jié)構(gòu)中最棘手的部分——損失。首先，我們知道鑒別器收集來(lái)自訓(xùn)練集和生成器的圖像。

我們希望鑒別器能夠區(qū)分真實(shí)和虛假的圖像。我們每次通過(guò)鑒別器運(yùn)行一個(gè)小批量（mini-batch）的時(shí)候，都會(huì)得到邏輯（logits）。這些是來(lái)自模型的未縮放值（unscaled values）。

然而，我們可以將鑒別器接收的小批量（mini-batches）分成兩種類型。第一種類型只由來(lái)自訓(xùn)練集的真實(shí)圖像組成，第二種類型只包含由生成器生成的假圖像。

def model_loss(input_real, input_z, output_dim, alpha=0.2, smooth=0.1):

? ? """

? ? Get the loss for the discriminator and generator

? ? :param input_real: Images from the real dataset

? ? :param input_z: random vector z

? ? :param out_channel_dim: The number of channels in the output image

? ? :param smooth: label smothing scalar

? ? :return: A tuple of (discriminator loss, generator loss)

? ? """

? ? g_model = generator(input_z, output_dim, alpha=alpha)

? ? d_model_real, d_logits_real = discriminator(input_real, alpha=alpha)

? ? d_model_fake, d_logits_fake = discriminator(g_model, reuse=True, alpha=alpha)

? ? # for the real images, we want them to be classified as positives, ?

? ? # so we want their labels to be all ones.

? ? # notice here we use label smoothing for helping the discriminator to generalize better.

? ? # Label smoothing works by avoiding the classifier to make extreme predictions when extrapolating.

? ? d_loss_real = tf.reduce_mean(

? ? ? ? tf.nn.sigmoid_cross_entropy_with_logits(logits=d_logits_real, labels=tf.ones_like(d_logits_real) * (1 - smooth)))

? ? # for the fake images produced by the generator, we want the discriminator to clissify them as false images,

? ? # so we set their labels to be all zeros.

? ? d_loss_fake = tf.reduce_mean(

? ? ? ? tf.nn.sigmoid_cross_entropy_with_logits(logits=d_logits_fake, labels=tf.zeros_like(d_model_fake)))

? ? # since the generator wants the discriminator to output 1s for its images, it uses the discriminator logits for the

? ? # fake images and assign labels of 1s to them.

? ? g_loss = tf.reduce_mean(

? ? ? ? tf.nn.sigmoid_cross_entropy_with_logits(logits=d_logits_fake, labels=tf.ones_like(d_model_fake)))

? ? d_loss = d_loss_real + d_loss_fake

? ? return d_loss, g_loss

由于兩個(gè)網(wǎng)絡(luò)同時(shí)進(jìn)行訓(xùn)練，因此GAN需要兩個(gè)優(yōu)化器。它們分別用于最小化鑒別器和發(fā)生器的損失函數(shù)。

我們希望鑒別器輸出真實(shí)圖像的概率接近于1，輸出假圖像的概率接近于0。要做到這一點(diǎn)，鑒別器需要兩部分損失。因此，鑒別器的總損失是這兩部分損失之和。其中一部分損失用于將真實(shí)圖像的概率較大化，另一部分損失用于將假圖像的概率最小化。

?

比較真實(shí)（左）和生成的（右）SVHN樣本圖像。雖然有些圖像看起來(lái)很模糊，且有些圖像很難識(shí)別，但值得注意的是，數(shù)據(jù)分布是由模型捕獲的

在訓(xùn)練開(kāi)始的時(shí)候，會(huì)出現(xiàn)兩個(gè)有趣的情況。首先，生成器不清楚如何創(chuàng)建與訓(xùn)練集中圖像相似的圖像。其次，鑒別器不清楚如何將接收到的圖像分為真、假兩類。

結(jié)果，鑒別器接收兩種類型截然不同的批量（batches）。一個(gè)由訓(xùn)練集的真實(shí)圖像組成，另一個(gè)包含含有噪聲的信號(hào)。隨著訓(xùn)練的不斷進(jìn)行，生成器輸出的圖像更加接近于訓(xùn)練集中的圖像。這種情況是由生成器學(xué)習(xí)組成訓(xùn)練集圖像的數(shù)據(jù)分布而造成的。

與此同時(shí)，鑒別器開(kāi)始真正善于將樣本分類為真或假。結(jié)果，這兩種小批量（mini-batch）在結(jié)構(gòu)上開(kāi)始相互類似。因此，鑒別器無(wú)法識(shí)別出真實(shí)或虛假的圖像。

對(duì)于損失，我們認(rèn)為，使用具有Adam算法的vanilla交叉熵（vanilla cross-entropy）作為優(yōu)化器是一個(gè)不錯(cuò)的選擇。

?

比較real（左）和Generate（右）MNIST示例圖像。由于MNIST圖像具有更簡(jiǎn)單的數(shù)據(jù)結(jié)構(gòu)，因此與SVHN相比，該模型能夠生成更真實(shí)的樣本

目前，GANs是機(jī)器學(xué)習(xí)中最熱門(mén)的學(xué)科之一。這些模型具有解開(kāi)無(wú)監(jiān)督學(xué)習(xí)方法（unsupervised learning methods）的潛力，并且可以將ML拓展到新領(lǐng)域。

自從GANs誕生以來(lái)，研究人員開(kāi)發(fā)了許多用于訓(xùn)練GANs的技術(shù)。在改進(jìn)過(guò)后的GANs訓(xùn)練技術(shù)中，作者描述了圖像生成（image generation）和半監(jiān)督學(xué)習(xí)（semi-supervised learning）的技術(shù)。

原文鏈接：https://medium.freecodecamp.org/an-intuitive-introduction-to-generative-adversarial-networks-gans-7a2264a81394

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754