摘要：是世界上最重要的研究者之一，他在谷歌大腦的競(jìng)爭(zhēng)對(duì)手，由和創(chuàng)立工作過(guò)不長(zhǎng)的一段時(shí)間，今年月重返，建立了一個(gè)探索生成模型的新研究團(tuán)隊(duì)。機(jī)器學(xué)習(xí)系統(tǒng)可以在這些假的而非真實(shí)的醫(yī)療記錄進(jìn)行訓(xùn)練。今年月在推特上表示是的，我在月底離開(kāi)，并回到谷歌大腦。

理查德·費(fèi)曼去世后，他教室的黑板上留下這樣一句話：“我不能創(chuàng)造的東西，我就不理解?！保╓hat I cannot create, I do not understand.）

Ian Goodfellow 在解釋他在 Google Brain 所做的研究時(shí)，引用了這位偉大的物理學(xué)家的這句名言，費(fèi)曼是加州理工學(xué)院教授，同時(shí)也是暢銷(xiāo)書(shū)作者。但 Goodfellow 指的不是自己，也不是 Google 內(nèi)部的其他任何人。他指的是機(jī)器：“ AI 不能創(chuàng)造的東西，它就不理解?！?/p>

Goodfellow 是世界上最重要的 AI 研究者之一，他在 OpenAI（谷歌大腦的競(jìng)爭(zhēng)對(duì)手，由 Elon Must 和 Sam Altman 創(chuàng)立）工作過(guò)不長(zhǎng)的一段時(shí)間，今年3月重返 Google Brain，建立了一個(gè)探索“生成模型”（generative models）的新研究團(tuán)隊(duì)。生成模型是創(chuàng)造照片、聲音、以及其他現(xiàn)實(shí)世界的表征的系統(tǒng)。Goodfellow 將這些工作描述為通向各種各樣的人工智能的重要途徑。

“如果 AI 能夠想象這個(gè)世界的現(xiàn)實(shí)細(xì)節(jié)——學(xué)習(xí)如何創(chuàng)造逼真的圖像和逼真的聲音——就能讓 AI 得以學(xué)習(xí)現(xiàn)實(shí)世界的結(jié)構(gòu)?！彼忉屨f(shuō)，“這能幫助 AI 理解它看到的圖像或聽(tīng)到的聲音?！?/p>

2014年，還是蒙特利爾大學(xué)的博士生時(shí)，一次在一家酒吧稍微喝醉與人爭(zhēng)論，Goodfellow 設(shè)想了這樣一種被稱為“生成對(duì)抗網(wǎng)絡(luò)”，即 GAN 的 AI 技術(shù)。雖然其起源有酒精的因素，但這是一個(gè)非常優(yōu)雅的設(shè)想：一個(gè) AI 能夠創(chuàng)造出足以亂真的假圖像，然后第二個(gè) AI 分析其結(jié)果，并判斷這些圖像是真實(shí)的還是假造的?！澳憧梢园阉胂蟪梢粋€(gè)藝術(shù)家和一個(gè)藝術(shù)評(píng)論家，”Goodfellow 說(shuō)，“生成模型想要騙過(guò)藝術(shù)評(píng)論家——讓藝術(shù)評(píng)論家認(rèn)為它產(chǎn)生的圖像是真實(shí)的?！庇捎诘诙€(gè) AI 要識(shí)別出圖像是假的非常困難，第一個(gè) AI 學(xué)會(huì)了以這樣的方式模仿真實(shí)的圖像，而它獨(dú)自是沒(méi)法做到的。在這個(gè)過(guò)程中，這兩個(gè)神經(jīng)網(wǎng)絡(luò)能夠?qū)?AI 推向計(jì)算機(jī)宣布完全脫離它們的人類老師的一天。

Facebook AI 研究主管 Yann LeCun 稱 GAN 是“過(guò)去20年來(lái)深度學(xué)習(xí)方面最酷的想法”。深度學(xué)習(xí)是 AI 的一個(gè)子領(lǐng)域，它正在改變所有互聯(lián)網(wǎng)大公司的方向，包括 Google，微軟，Amazon，以及 Facebook。Goodfellow 的想法雖然尚未成熟仍在不斷發(fā)展，但它們已經(jīng)迅速在 AI 社區(qū)中廣為傳播。許多研究者，包括 LeCun，相信 GAN 能夠達(dá)成“無(wú)監(jiān)督學(xué)習(xí)”，這是 AI 研究領(lǐng)域的一個(gè)強(qiáng)烈愿景：不需要人類直接幫助的機(jī)器學(xué)習(xí)。

讓 Goodfellow 冒出這個(gè)想法的酒吧叫 Les 3 Brasseurs，或稱 The 3 Brewers。他的朋友 Razvan Pascanu，現(xiàn)在是 DeepMind 的研究員，當(dāng)時(shí)剛完成博士學(xué)位，Goodfellow 以及其他許多朋友一起聚在那個(gè)酒吧為他慶祝。其中一位朋友說(shuō)起一個(gè)新的研究項(xiàng)目，研究如何在數(shù)學(xué)上確定一張照片里的所有信息。他們的想法是將這些統(tǒng)計(jì)數(shù)據(jù)輸入到一臺(tái)機(jī)器，然后讓機(jī)器自己創(chuàng)造照片。已經(jīng)喝得微醺的 Goodfellow 說(shuō)這永遠(yuǎn)不可能奏效，因?yàn)樾枰紤]的數(shù)據(jù)太多，沒(méi)有人能夠把所有數(shù)據(jù)記錄下來(lái)。但這時(shí)，他想到了一個(gè)更好的方法：可以讓神經(jīng)網(wǎng)絡(luò)去教會(huì)機(jī)器如何創(chuàng)造逼真的圖像。

神經(jīng)網(wǎng)絡(luò)是一個(gè)復(fù)雜的數(shù)學(xué)系統(tǒng)，通過(guò)分析大量數(shù)據(jù)來(lái)學(xué)習(xí)任務(wù)，從識(shí)別照片中的人臉到理解對(duì)話，等等。在那間酒吧里，Goodfellow 想到在一個(gè)神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)創(chuàng)造逼真的圖像后，第二個(gè)神經(jīng)網(wǎng)絡(luò)可以當(dāng)它的對(duì)手，試圖判斷這些圖像是否是假造的，然后，將這個(gè)判斷輸入給第一個(gè)網(wǎng)絡(luò)。Goodfellow 說(shuō)，通過(guò)這種方式，最終能教會(huì)第一個(gè)神經(jīng)網(wǎng)絡(luò)生成足以亂真的“假造”圖像。

這隨后引來(lái)了爭(zhēng)論。Goodfellow 的朋友們同樣堅(jiān)持這種方法不會(huì)奏效。所以，當(dāng)天晚上 Goodfellow 回家后，他就開(kāi)始著手建這個(gè)東西?！拔一氐郊視r(shí)還是有點(diǎn)醉醺醺的，女朋友已經(jīng)睡著了，然后我就坐在那里想：‘是我的朋友們是錯(cuò)的！’”他回憶道：“然后我就熬夜用 laptop 寫(xiě)出了 GAN 的代碼。”正如他的想法那般，代碼在第一次嘗試是就奏效了。“真的很幸運(yùn)，”他說(shuō)，“因?yàn)榧偃缢谝淮尾还ぷ?，我可能就放棄這個(gè)想法了?！?/p>

當(dāng)年晚些時(shí)候，Goodfellow 和其他一些研究人員合作發(fā)表了一篇論文，描述了這些想法。三年來(lái)，探討這個(gè)概念的論文已經(jīng)有數(shù)百篇。在 Goodfellow 的第一篇 GAN 論文里，兩個(gè)神經(jīng)網(wǎng)絡(luò)一起工作，產(chǎn)生了一個(gè)能夠生成手寫(xiě)數(shù)字的逼真圖像的系統(tǒng)?，F(xiàn)在，研究人員已經(jīng)將這個(gè)想法應(yīng)用到貓、火山乃至整個(gè)星系的圖像。GAN 甚至能協(xié)助天文學(xué)實(shí)驗(yàn)，幫助模擬粒子物理。

但這仍然是非常難以實(shí)現(xiàn)的想法。它需要訓(xùn)練的不僅僅是一個(gè)神經(jīng)網(wǎng)絡(luò)，而是要同時(shí)訓(xùn)練兩個(gè)神經(jīng)網(wǎng)絡(luò)。Goodfellow 在 Google 創(chuàng)建專注于 GAN 及其相關(guān)研究的新團(tuán)隊(duì)時(shí)，他希望能夠改進(jìn)這個(gè)過(guò)程。他說(shuō)：“我作為一名機(jī)器學(xué)習(xí)的研究者，必須面對(duì)的一個(gè)主要問(wèn)題，是提供一種能夠非?？煽康赜?xùn)練這些網(wǎng)絡(luò)的方法。”

最終的結(jié)果：不僅是生成圖像和聲音，而且在識(shí)別圖像和聲音方面，GAN 都能做得非常好，而識(shí)別圖像和聲音是通往不需人類太多幫助就能學(xué)習(xí)的系統(tǒng)的一個(gè)路徑。Goodfellow 說(shuō)：“這些模型學(xué)會(huì)了理解世界的構(gòu)造，這能幫助系統(tǒng)在沒(méi)有很多明確的告知的情況下學(xué)習(xí)。”

GAN 甚至能夠提供無(wú)監(jiān)督學(xué)習(xí)，雖然這在目前還沒(méi)有真正實(shí)現(xiàn)。目前，神經(jīng)網(wǎng)絡(luò)可以通過(guò)分析幾百萬(wàn)張貓的照片來(lái)學(xué)習(xí)識(shí)別貓，但這需要人工地仔細(xì)甄別這些照片，并將它們標(biāo)記為貓的照片。在這個(gè)過(guò)程中，人仍然是很重要的角色，而且這往往是很大的問(wèn)題，例如偏見(jiàn)的問(wèn)題，訓(xùn)練 AI 所需的龐大的人力的問(wèn)題，等等。LeCun 等研究者正在推動(dòng)不需這樣龐大的人力參與的情況下學(xué)習(xí)的系統(tǒng)，這可以加速 AI 的發(fā)展。?

但這僅僅是個(gè)開(kāi)始。GAN 也帶來(lái)了數(shù)量眾多的可能性。南加州大學(xué)的AI 研究員David Kale 認(rèn)為，GAN 將會(huì)幫助他和他的同事在不侵犯病人隱私的前提下開(kāi)發(fā)醫(yī)療AI。

基本上，GAN 可以“制造出”假的醫(yī)療記錄。機(jī)器學(xué)習(xí)系統(tǒng)可以在這些假的而非真實(shí)的醫(yī)療記錄進(jìn)行訓(xùn)練?！芭c其把病人的醫(yī)療記錄放到互聯(lián)網(wǎng)上，讓大家都來(lái)用，為什么不在這樣的數(shù)據(jù)上訓(xùn)練GAN，創(chuàng)造出一個(gè)完全人造的數(shù)據(jù)集，并且對(duì)所有的研究者開(kāi)放呢？” Kale 說(shuō)?！盀槭裁次覀儾贿@樣做？畢竟從這個(gè)數(shù)據(jù)集訓(xùn)練的模型與原始數(shù)據(jù)訓(xùn)練并沒(méi)有什么區(qū)別?！?/p>

盡管現(xiàn)在有很多研究者都在探索GAN背后的原理，但是，GoodFellow 將在谷歌建立自己的研究團(tuán)隊(duì)卻格外引人注目。GoodFellow 早年在谷歌，后加入Open AI，在不到一年以后又返回谷歌，因?yàn)樗械暮献髡邘缀醵荚诠雀琛?/p>

Goodfellow 今年3月在推特上表示：

是的，我在 2月底離開(kāi) OpenAI，并回到谷歌大腦。

我很喜歡在 OpenAI 的日子，也為 OpenAI 的同事們與我合作完成的工作感到自豪。我重回谷歌大腦，是因?yàn)殡S著時(shí)間的推移，我發(fā)現(xiàn)我的研究集中在對(duì)抗樣本，以及與差分隱私相關(guān)的技術(shù)，而這些研究我主要是與谷歌的同事合作進(jìn)行的。

“每天都把時(shí)間花費(fèi)在視頻電話上，這可不好玩”，他說(shuō)，“這不是做事的較佳方法”。分享很重要，但是，近距離的協(xié)作也很重要，不管對(duì)于AI研究者還是神經(jīng)網(wǎng)絡(luò)都是如此。

關(guān)于生成對(duì)抗網(wǎng)絡(luò)的詳細(xì)介紹

摘要

我們提出一個(gè)通過(guò)對(duì)抗過(guò)程評(píng)估生成模型的新框架，其中我們同時(shí)訓(xùn)練兩個(gè)模型：一個(gè)用于捕捉數(shù)據(jù)分布的生成模型 G，以及一個(gè)用于評(píng)估來(lái)自訓(xùn)練數(shù)據(jù)而非來(lái)自生成模型 G 的樣本概率的判別模型 D。生成模型 G 的訓(xùn)練過(guò)程目的是較大化判別模型 D 犯錯(cuò)誤的概率。這個(gè)框架相當(dāng)于一個(gè)極小化極大的雙方對(duì)弈。在任意函數(shù) G 和 D 的空間中，存在一個(gè)的解，此時(shí) G 恢復(fù)訓(xùn)練數(shù)據(jù)的分布，而 D 處處都等于 1/2。在 G 和 D 由多層感知器（multilayer perceptrons）定義的情況下，整個(gè)系統(tǒng)可以用反向傳播進(jìn)行訓(xùn)練。在訓(xùn)練或生成樣本時(shí)，不需要任何馬爾科夫鏈（Markov chains）或展開(kāi)的近似推理網(wǎng)絡(luò)（unrolled approximate inference networks）。實(shí)驗(yàn)通過(guò)對(duì)生成的樣本進(jìn)行定性或定量評(píng)估來(lái)證明這個(gè)框架的潛力。

論文地址：https://arxiv.org/pdf/1406.2661.pdf

生成對(duì)抗網(wǎng)絡(luò)的簡(jiǎn)單介紹如下，訓(xùn)練一個(gè)生成器（Generator，簡(jiǎn)稱G），從隨機(jī)噪聲或者潛在變量（Latent Variable）中生成逼真的的樣本，同時(shí)訓(xùn)練一個(gè)鑒別器（Discriminator，簡(jiǎn)稱D）來(lái)鑒別真實(shí)數(shù)據(jù)和生成數(shù)據(jù)，兩者同時(shí)訓(xùn)練，直到達(dá)到一個(gè)納什均衡，生成器生成的數(shù)據(jù)與真實(shí)樣本無(wú)差別，鑒別器也無(wú)法正確的區(qū)分生成數(shù)據(jù)和真實(shí)數(shù)據(jù)。GAN的結(jié)構(gòu)如圖1所示。

Ian Goodfellow在生成對(duì)抗網(wǎng)絡(luò)（GAN）論文最后總結(jié)的幾點(diǎn)：

優(yōu)點(diǎn)

模型只用到了反向傳播，而不需要馬爾科夫鏈；

訓(xùn)練時(shí)不需要對(duì)隱變量做推斷；

理論上，只要是可微分函數(shù)都可以用于構(gòu)建D和G，因?yàn)槟軌蚺c深度神經(jīng)網(wǎng)絡(luò)結(jié)合做深度生成式模型；

G的參數(shù)更新不是直接來(lái)自數(shù)據(jù)樣本，而是使用來(lái)自D的反向傳播（這也是與傳統(tǒng)方法相比差別較大的一條吧）。

缺點(diǎn)

可解釋性差,生成模型的分布 Pg(G)沒(méi)有顯式的表達(dá)。

比較難訓(xùn)練,D與G之間需要很好的同步,例如D更新k次而G更新一次。

Ian Goodfellow?

Ian Goodfellow 是深度學(xué)習(xí)大神 Yoshua Bengio的學(xué)生，以第一作者的身份和Bengio、Allan Courville合著了“Deep Learning”這本書(shū)——是的，就是【那本】Deep Learning。

LinkedIn 頁(yè)面顯示 Goodfellow 的職業(yè)軌跡：

2013年6月到2013年9月，在谷歌實(shí)習(xí)，職位：軟件工程師

2014年7月到2015年11月，谷歌研究員

2015年11月到2016年3月，谷歌高級(jí)研究員

2016年3月到2017年3月，Open AI 研究員

2017年3月到現(xiàn)在，谷歌 Staff Research Scientist

原文地址：https://www.wired.com/2017/04/googles-dueling-neural-networks-spar-get-smarter-no-humans-required/

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754