摘要：實現(xiàn)這一應(yīng)用的基本思想方法是將圖像的每一列用向量來表示，計算每一個的平均值，從而得到一個向量。標準加強學(xué)習(xí)模型通常要求建立一個獎勵函數(shù)，用于向代理機器反饋符合預(yù)期的行為。來源更多信息自學(xué)成才讓好奇驅(qū)動計算機學(xué)習(xí)在很多

還記得《射雕英雄傳》中老頑童發(fā)明的“左右互搏術(shù)”嗎？

?

表面上看，左手與右手互為敵手，斗得不可開交。實際上，老頑童卻憑借此練就了一門絕世武功。

?

這樣的故事似乎只能發(fā)生在小說中。然而，近年來興起的一項機器學(xué)習(xí)算法卻將“左右互搏術(shù)”變?yōu)榱爽F(xiàn)實。

??

這項神奇的算法正是生成對抗網(wǎng)絡(luò)（GANs）。

生成對抗網(wǎng)絡(luò)由蒙特利爾大學(xué)的IanGoodfellow最先提出，目前是“教”電腦完成人類工作最有效的方法之一。它的核心想法正是令內(nèi)部功能相互競爭，達到提升它們各自功能的效果。

?

生成對抗網(wǎng)絡(luò)由兩個相互競爭的神經(jīng)網(wǎng)絡(luò)模型組成，就好比周伯通的左右手。一個神經(jīng)網(wǎng)絡(luò)（生成器）不斷學(xué)習(xí)怎樣生成新的樣本以欺騙判別器，另一個網(wǎng)絡(luò)（判別器）則不斷學(xué)習(xí)怎樣區(qū)別生成樣本數(shù)據(jù)和真實數(shù)據(jù)。在百萬輪“較量”后，生成器就可以輸出與真實數(shù)據(jù)幾乎無差別的樣本。

?

生成對抗網(wǎng)絡(luò)別出心裁的思想讓它在學(xué)界揚名立萬。在業(yè)界，生成對抗網(wǎng)絡(luò)也帶來了無數(shù)強大、有趣的應(yīng)用。

?

今天，大數(shù)據(jù)文摘就將帶你走近生成對抗網(wǎng)絡(luò)在產(chǎn)業(yè)界的十大神奇應(yīng)用。

?

對抗生成網(wǎng)絡(luò)（概念模型）

NO. 10 照貓畫虎：自動生成游戲用戶界面

排在榜單第十位的GANs應(yīng)用是，游戲用戶界面自動生成。

這一應(yīng)用背后的腦洞如下：如果我們能夠生成逼真的游戲配圖，那么我們就可以把這些配圖中的部分截取拼接在一起，從而設(shè)計出一個全新的游戲界面。

?

作為輸入的游戲背景圖像

?

在生成式對抗網(wǎng)絡(luò)（GAN）訓(xùn)練過程中生成的背景圖像

可以用于制作全新游戲的獨特背景。

?

為實現(xiàn)這一目標，該程序會搜集大量現(xiàn)有游戲的圖像，然后生成由這些圖像片段所構(gòu)成的獨一無二的新圖像。這些圖像之后便可以被用作新游戲的背景了。

來源&更多信息：

Blog：https://medium.com/@ageitgey/abusing-generative-adversarial-networks-to-make-8-bit-pixel-art-e45d9b96cee7

No. 9 千面神君：用GANs生成以假亂真的人臉

接下來，我們要為你介紹一款能夠偽造人臉圖像的AI——Neural Face。Neural Face使用了Facebook 人工智能研究團隊開發(fā)的深度卷積神經(jīng)網(wǎng)絡(luò)（DCGAN）。

?

由生成式對抗網(wǎng)絡(luò)（GANs）產(chǎn)生的獨特人臉

?

研發(fā)團隊用由100個0到1的實數(shù)組成的1個向量Z來代表每一張圖像。

通過計算出人類圖像的分布，生成器就可以用高斯分布（Gaussian Distribution）根據(jù)向量Z來生成圖像。在此過程中，生成器學(xué)習(xí)生成新的人臉圖像來欺騙判別器，同時判別器也能更好地區(qū)分加工生成的人臉圖像和真實的人臉圖像。

來源&更多信息：

GitHub：https://github.com/carpedm20/DCGAN-tensorflow

Page：http://carpedm20.github.io/faces/

No. 8 破涕為笑：改變照片中的面部表情和特征

在這一應(yīng)用中，你只需要提供一些樣本圖像，研究人員就能生成表情各異的人臉圖像。比如，你可以讓一個面無表情的人露出笑容。

讓面無表情的人露出笑容，給不戴眼鏡的人加副眼鏡。

實現(xiàn)這一應(yīng)用的基本思想方法是：將圖像的每一列用向量X來表示，計算每一個X的平均值，從而得到一個Y向量。

然后，對向量Y進行一些加法和減法運算，生成一個單一的圖像向量Z（如：戴眼鏡的男性-不帶眼鏡的男性+不帶眼鏡的女性）。最后，把這個圖像向量Z輸入生成器中。

將一張頭像靠左的人臉圖像變?yōu)榭坑业膱D像

實際上，我們還可以用該模型實現(xiàn)包括旋轉(zhuǎn)、放縮、位置變換在內(nèi)的多種操作。以位置變換為例，我們可以將一張頭像靠左的人臉圖像轉(zhuǎn)變?yōu)榭坑业膱D像。

為此，我們可以先把向頭像靠左和靠右的人臉圖像作為樣本，對它們?nèi)∑骄?，得到一個“翻轉(zhuǎn)圖像”向量。然后，沿著坐標軸對圖像向量進行插值（https://zh.wikipedia.org/wiki/%E6%8F%92%E5%80%BC），我們就可以將這種“轉(zhuǎn)變”應(yīng)用到新的人臉圖像上了。

來源&更多信息：

GitHub：https://github.com/Newmu/dcgan_code

Paper：https://arxiv.org/pdf/1511.06434.pdf

Blog：https://hackernoon.com/how-do-gans-intuitively-work-2dda07f247a1

NO. 7 腦洞大開： 用GANs創(chuàng)造出迷幻圖像

接下來，我們將為你介紹Google Brain研發(fā)的Google Deep Dream。這一應(yīng)用基于 GoogleNet對物體本質(zhì)的“認知”可視化。

?

通過此方法，GANs能夠?qū)W會生成一些“迷幻”的圖片。這些如夢似幻的圖像是圖片分類器故意過度處理圖像的結(jié)果。

Deep Dream 用普通圖像生成迷幻圖片

Deep Dream在圖像中“找”到了塔、建筑、鳥和昆蟲

?

當(dāng)你向Google Deep Dream輸送一張圖像后，該應(yīng)用就會開始在圖像中尋找各類曾被訓(xùn)練識別的物體。神經(jīng)網(wǎng)絡(luò)會將一些毫不相關(guān)的物體聯(lián)系起來，這就好比人們把云想象成小狗、小鳥。然后，Google Deep Dream 會對其聯(lián)想出的物體作增強處理。

?

舉個例子，當(dāng)神經(jīng)網(wǎng)絡(luò)第一次作出圖像識別時，它會認為這張圖有40%的可能是一只小狗，而經(jīng)過一輪處理后，神經(jīng)網(wǎng)絡(luò)就會認為可能性增加到了60%。這個過程會不斷重復(fù)，直到輸入圖片已被修改得非常像一條狗了。

?

就這樣，它一步步地把原圖像調(diào)整成另外一張圖像。換句話說，創(chuàng)造出了“四不像”的圖片。

?

來源&更多信息：

GitHub：https://github.com/google/deepdream,

Blog：https://research.googleblog.com/2015/06/inceptionism-going-deeper-into-neural.html

NO.6 貍貓換太子：改變圖像/視頻內(nèi)容

?

通過圖片生成另一張圖片是生成網(wǎng)絡(luò)的另一項有趣應(yīng)用。憑借此技術(shù)，我們可以將一段視頻中的動物換成另一種動物，或者將圖片里的季節(jié)換成另一季節(jié)。

?

該應(yīng)用的核心在于，使用一組訓(xùn)練圖像對來學(xué)習(xí)映射輸入和輸出圖像。然而，在許多情況下，配對訓(xùn)練圖像并不容易獲得。為了克服這一問題，我們可以采用“雙邊鏡像繪圖”的方式，將一種變換的輸入作為另一中變換的輸出。這樣，我們就能通過無監(jiān)督學(xué)習(xí)克服相本容量小的問題了。

?

下面就是一些例子：

動物變形—通過偵測視頻中的奔跑的馬給它添加斑馬條紋，將馬變斑馬圖像。

季節(jié)轉(zhuǎn)換—在圖像中改變季節(jié)，例如將冬季轉(zhuǎn)為夏季，或?qū)⒍巨D(zhuǎn)為春季。

來源&更多信息：

Page：https://junyanz.github.io/CycleGAN/

GitHub：https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix

NO.5 化零為整：通過輪廓生成逼真圖像

修改逼真圖像是一項富有挑戰(zhàn)性的工作，它要求在寫實的基礎(chǔ)上以用戶控制的方式改變圖像的外觀。這一任務(wù)的技術(shù)含量相當(dāng)高，一位藝術(shù)家可能要經(jīng)過多年訓(xùn)練才能到達穩(wěn)定的水準。

GANs 能夠從輪廓中生成逼真的圖像

給出一件物品的輪廓，這一模型就能夠識別出這個物品，并能夠生成栩栩如生的物品圖像。

?

在該論文中 （https://arxiv.org/pdf/1609.03552v2.pdf），作者提出一種使用生成對抗網(wǎng)絡(luò)，從數(shù)據(jù)中直接學(xué)習(xí)自然圖像流形的方法。模型能夠自動調(diào)整輸出結(jié)果，以保證內(nèi)容盡可能真實，同時所有操作均以約束優(yōu)化法進行表達，且基本能被實時應(yīng)用。

?

這個方法也可以將一張圖片變得更像另一張圖片，或者根據(jù)用戶的涂鴉產(chǎn)生全新的圖像。

?

來源&更多信息：

Paper：https://arxiv.org/pdf/1609.03552v2.pdf

GitHub：https://github.com/junyanz/iGAN

Page：https://people.eecs.berkeley.edu/~junyanz/projects/gvm/

NO.4 見字如面：GANs用文本生成圖片

下面這項應(yīng)用既有趣又實用。通過訓(xùn)練，GANs能夠依據(jù)文字描述自動合成擬真圖像。

?

最近，深層卷積生成對抗網(wǎng)絡(luò)(DCGANs)用一些特定類別的圖像，如人臉，唱片封面，室內(nèi)空間合成了令人嘆服的圖像。

這個模型是用由文本和與之對應(yīng)的圖像組成的樣本數(shù)據(jù)進行訓(xùn)練的。給定一個物體的文本描述，這個模型會嘗試根據(jù)這一描述生成圖像。

?

左欄為文字描述，右欄為機器想象出的圖片

左欄的描述從上到下分別為：

“這只充滿朝氣的紅色小鳥有著尖尖的黑色的喙”，

這只黃橙色的鳥有著黑色的翅膀

這只天藍色小鳥的腹部是白色的

?

在這項工作中，我們首先要獲取描述圖像的文本，學(xué)習(xí)文本，抓住重要的視覺細節(jié)，然后再利用這些特征文本來合成能夠迷惑人們的逼真圖像。

?

來源&更多信息：

Paper：https://arxiv.org/pdf/1605.05396.pdf

GitHub：https://github.com/paarthneekhara/text-to-image

No. 3 未卜先知：通過“場景動態(tài)”（Scene Dynamics）預(yù)見視頻下一秒將發(fā)生什么

理解物體運動和場景動態(tài)是計算機視覺中的核心問題。不管是視頻識別任務(wù)（如行動分類）還是視頻生成任務(wù)（如未來預(yù)測）都需要轉(zhuǎn)換場景的模型。但由于物體和場景改變的方式多種多樣，構(gòu)建這樣一個動態(tài)模型是很有挑戰(zhàn)性的。

為實現(xiàn)這一目標，我們需要一個能將前景和背景區(qū)分開來的模型。在保持背景的靜止的基礎(chǔ)上，神經(jīng)網(wǎng)絡(luò)能夠了解哪些物體是運動的，哪些物體是靜止的。

上面的預(yù)測視頻便是生成模型想象出來的。盡管這些預(yù)測并沒有實際發(fā)生，基于它們的訓(xùn)練場景類別，這些動作還是相當(dāng)合理的。

來源&更多信息：

Paper：http://carlvondrick.com/tinyvideo/paper.pdf

GitHub：https://github.com/cvondrick/videogan

Page：http://carlvondrick.com/tinyvideo/

?

NO. 2 依葫蘆畫瓢：用GANs完成模仿學(xué)習(xí)

GANs也可以幫助研發(fā)自學(xué)習(xí)人工智能機器人。此前，該領(lǐng)域的研究多涉及獎勵機制的應(yīng)用。

?

運用GANs的方法，科研人員向人工智能主體輸入真實的演示數(shù)據(jù)，然后人工智能主體就能通過數(shù)據(jù)學(xué)習(xí)嘗試模仿相同的動作。

?

一個AI主體正嘗試模仿人類跑步

?

該模型展示了模仿學(xué)習(xí)的一種新方法。標準加強學(xué)習(xí)模型通常要求建立一個獎勵函數(shù)，用于向代理機器反饋符合預(yù)期的行為。然而，這種方式在實踐中為了糾正細節(jié)問題會在試錯過程上消耗大量精力。

?

取而代之的模仿學(xué)習(xí)，則是讓人工智能主體從實例中學(xué)習(xí)（例如遠程遙控機器或者人類活動提供的案例），省去了設(shè)計獎勵函數(shù)的麻煩。

來源&更多信息：

Blog：https://blog.openai.com/generative-models/

GitHub：https://github.com/openai/imitation

?

No. 1 自學(xué)成才：讓“好奇”驅(qū)動計算機學(xué)習(xí)

在很多現(xiàn)實世界的情境中，對人工智能主體的外部獎勵是非常少的，或者說根本沒有。如此一來，一段被動的程序就會因為它自身的固有屬性，無法進化和學(xué)習(xí)。

在這種情況下，“好奇心”可以作為內(nèi)置的獎勵信號激勵人工智能主體去探索它周邊的環(huán)境、學(xué)習(xí)在將來對它可能有幫助的技能。在這種情況下主動學(xué)習(xí)者比被動學(xué)習(xí)者的表現(xiàn)要好。

在這樣的模型中，“好奇心”被設(shè)定為 AI預(yù)測它自身行為后果能力中的誤差。當(dāng)然了，在這樣的語境下，AI也可以通過程序員建立的獎勵機制開展學(xué)習(xí)。

讓我們用小孩學(xué)習(xí)的過程來作個類比。一個不受大人監(jiān)護的小孩不知道摸熱爐子的后果。不過一旦他這樣做了，他就會明白他不應(yīng)該這樣做——因為疼痛，也因為了解了摸熱爐子和感受到所謂疼痛之間的因果關(guān)系。

貪吃蛇游戲：通過“好奇心驅(qū)動學(xué)習(xí)”（curiosity driven learning），貪吃蛇學(xué)著去收集那些能增加它的報酬的綠球，并避開那些會減少其報酬的紅球。

?

好奇心驅(qū)動的學(xué)習(xí)（curiositydriven learning）以下面三點作為基礎(chǔ)：

極少的外部獎勵——有了“好奇心”，達成目標所需與外界環(huán)境的互動更少了。

沒有外部獎勵的探索，是“好奇心”使AI主體的探索行為更高效。

對未知場景中（例如同一個游戲中的新關(guān)卡）的泛化處理。此時AI主體利用過往經(jīng)驗探索新大陸，這會比它從零開始探索要快很多。

來源&更多信息：

GitHub：https://github.com/pathak22/noreward-rl

Paper：https://pathak22.github.io/noreward-rl/resources/icml17.pdf

Website：https://pathak22.github.io/noreward-rl/index.html#demoVideo

結(jié)語

看完了以上這些應(yīng)用，你是不是對生成式對抗網(wǎng)絡(luò)刮目相看了呢。然而，這些只不過是生成式對抗網(wǎng)絡(luò)初試身手罷了。相對于生成式對抗網(wǎng)絡(luò)所能完成的工作而言，這些應(yīng)用只是冰山一角。生成式對抗網(wǎng)絡(luò)為我們提供了一個強有力的訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，讓機器能夠完成任何一個人類能夠完成的復(fù)雜任務(wù)。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754