資訊專欄INFORMATION COLUMN
摘要：例如，即插即用生成網(wǎng)絡(luò)通過(guò)優(yōu)化結(jié)合了自動(dòng)編碼器損失，損失，和通過(guò)與訓(xùn)練的分類器定于的分類損失的目標(biāo)函數(shù)，得到了較高水平的樣本。該論文中，作者提出了結(jié)合的原則性方法。
在機(jī)器學(xué)習(xí)研究領(lǐng)域，生成式對(duì)抗網(wǎng)絡(luò)（GAN）在學(xué)習(xí)生成模型方面占據(jù)著統(tǒng)治性的地位，在使用圖像數(shù)據(jù)進(jìn)行訓(xùn)練的時(shí)候，GAN能夠生成視覺(jué)上以假亂真的圖像樣本。但是這種靈活的算法也伴隨著優(yōu)化的不穩(wěn)定性，導(dǎo)致模式崩潰（mode collapse）。將自動(dòng)編碼器(auto-encoder)與GAN相結(jié)合，能夠使模型更好的表示所有被訓(xùn)練的數(shù)據(jù)，以阻止模式崩潰。來(lái)自Google DeepMind的研究者M(jìn)ihaela Rosca等人利用生成模型的層級(jí)結(jié)構(gòu)，提出了將自動(dòng)編碼器與生成對(duì)抗網(wǎng)絡(luò)相結(jié)合的原則，結(jié)合了兩種方法的優(yōu)點(diǎn)，得到了頂尖結(jié)果。
而Ian Goodfellow也鼎力推薦了論文內(nèi)容。
以下為 AI科技評(píng)論據(jù)論文內(nèi)容進(jìn)行的部分編譯：
論文摘要
生成對(duì)抗網(wǎng)絡(luò)是目前機(jī)器學(xué)習(xí)研究領(lǐng)域?qū)W習(xí)生成模型的最主要的方法之一，它提供了一種學(xué)習(xí)隱變量模型的更靈活的算法。定向隱變量模型描述了源噪聲數(shù)據(jù)是如何通過(guò)非線性函數(shù)變換為貌似真實(shí)的數(shù)據(jù)樣本的，而GAN則通過(guò)辨別真實(shí)數(shù)據(jù)和模型生成數(shù)據(jù)來(lái)驅(qū)動(dòng)學(xué)習(xí)過(guò)程。GAN可以在大型數(shù)據(jù)集上進(jìn)行訓(xùn)練，當(dāng)使用圖像數(shù)據(jù)進(jìn)行訓(xùn)練的時(shí)候，GAN能夠生成視覺(jué)上相當(dāng)真實(shí)的圖像樣本。但這種靈活性也帶來(lái)了優(yōu)化過(guò)程中的不穩(wěn)定性，會(huì)導(dǎo)致模式崩潰的問(wèn)題，即生成的數(shù)據(jù)不能反應(yīng)潛在的數(shù)據(jù)分布的差異?；谧跃幋a器的GAN（auto-encoder-based GAN, AE-GAN）正是為了解決這個(gè)問(wèn)題的GAN變種，它使用了自動(dòng)編碼器來(lái)鼓勵(lì)模型更好的表示所有被訓(xùn)練的數(shù)據(jù)，從而阻止模式崩潰。
自動(dòng)編碼器的應(yīng)用成功的改善了GAN訓(xùn)練。例如，即插即用生成網(wǎng)絡(luò)（plug and play generative network, PPGN）通過(guò)優(yōu)化結(jié)合了自動(dòng)編碼器損失，GAN損失，和通過(guò)與訓(xùn)練的分類器定于的分類損失的目標(biāo)函數(shù)，得到了較高水平的樣本。AE-GAN可以大致分為三種：（1）使用自動(dòng)編碼器作為判別器，例如energy-based GAN和boundary-equilibrium GAN。（2）使用去噪自動(dòng)編碼器以得到更稱其的輔助損失函數(shù)，例如denoising feature matching GAN。（3）結(jié)合了VAE和GAN的方法，例如變分自動(dòng)編碼器GAN（variational auto-encoder GAN, VAE-GAN）。
該論文中，作者提出了結(jié)合AE-GAN的原則性方法。通過(guò)探索由GAN學(xué)習(xí)到的隱變量模型的層次結(jié)構(gòu)，作者展示了如何將變分自動(dòng)編碼器與GAN結(jié)合到一起。該方法能夠克服各自方法的限制，因此具有極大的優(yōu)勢(shì)。當(dāng)基于圖像進(jìn)行訓(xùn)練時(shí)，VAE方法經(jīng)常會(huì)生成模糊的圖像，但VAE不會(huì)像GAN一樣受到模式崩潰問(wèn)題的困擾。GAN幾乎不允許對(duì)模型進(jìn)行分布假設(shè)，而VAE允許對(duì)隱變量進(jìn)行推斷，這對(duì)于表征學(xué)習(xí)，可視化和解釋是很有用的。該論文開(kāi)發(fā)的方法結(jié)合了這兩個(gè)方法中的優(yōu)點(diǎn)，提供統(tǒng)一的學(xué)習(xí)目標(biāo)函數(shù)，無(wú)監(jiān)督，不需要預(yù)訓(xùn)練或外部分類器，并且可以輕松的擴(kuò)展到其他生成模型任務(wù)。
該論文主要進(jìn)行了一下工作：
表明變分推理（variational inference）同樣使用與GAN，以及如何可以將判別器用于具有隱式后驗(yàn)近似的變分推理。
在學(xué)習(xí)生成模型時(shí)，可以組合likelihood-based和likelihood-free模型。在likelihood-free設(shè)定中，開(kāi)發(fā)了具有合成似然性的變分推理，使得可以學(xué)習(xí)這種模型。
制定了自動(dòng)編碼GAN（auto-encoding GAN，α-GAN）的原則目標(biāo)函數(shù)，并描述了使它進(jìn)行實(shí)際工作所需的思考。
評(píng)估是GAN研究中的主要挑戰(zhàn)之一，作者使用了一系列評(píng)估措施仔細(xì)評(píng)估了該方法的性能，與DC-GAN， WGAN和對(duì)抗-生成-編碼器（adversarial-generator-encoder，AGE）進(jìn)行比較，展示了論文中的方法與這些方法有相媲美的性能，并強(qiáng)調(diào)隱生成模型中持續(xù)評(píng)估的挑戰(zhàn)。
實(shí)驗(yàn)結(jié)果
為了更好地理解基于自動(dòng)編碼器的方法在GAN領(lǐng)域中的重要性，作者將該方法與其他GAN方法在三個(gè)數(shù)據(jù)集上進(jìn)行了對(duì)比，包括混合模型AGE，和其他純GAN方法的變種,例如DCGAN和WGAN-GP。數(shù)據(jù)集為ColorMNIST，CelebA和CIFAR-10。在實(shí)驗(yàn)中，使用了Inception score，MS-SSIM和Independent Wasserstein critic作為評(píng)估指標(biāo)。為了綜合分析實(shí)驗(yàn)結(jié)果，結(jié)果采用了每個(gè)算法獲得的較佳值。為了評(píng)估模型對(duì)超參數(shù)的敏感性，采用了每個(gè)模型各個(gè)超參數(shù)中較好的十個(gè)，在圖中由黑色圓圈表示。
圖一：Wasserstein critic指標(biāo)下各方法的實(shí)驗(yàn)結(jié)果
圖二：Sample diversity和Inception score指標(biāo)下各方法實(shí)驗(yàn)結(jié)果
ColorMNIST數(shù)據(jù)集結(jié)果:
在上圖（a）中比較了Wasserstein critic指標(biāo)的值，其中值越高越好。該方法對(duì)超參數(shù)的敏感度較低，在這個(gè)指標(biāo)下，該方法在各種設(shè)置下都取得了較佳的性能。這也在下圖生成的樣本中得到了證明：
從左到右分別為：DCGAN，WGAN-GP，AGE，論文中方法
CelebA數(shù)據(jù)集結(jié)果：
CelebA數(shù)據(jù)集有64*64像素的名人臉圖片組成。下圖展示了四種模型生成的樣本。作者也在Wasserstein critic指標(biāo)下（見(jiàn)圖一（b））和sample diversity score標(biāo)準(zhǔn)下（見(jiàn)圖二（a））對(duì)各方法進(jìn)行了比較，論文中方法與WGAN-GP和AGE方法有接近的表現(xiàn)。
從左到右分別為：DCGAN，WGAN-GP，AGE，論文中方法
CIFAR-10數(shù)據(jù)集結(jié)果：
下圖中展示了CIFAR-10數(shù)據(jù)集上四種模型生成的樣本。如圖一（c）所示，在Wasserstein critc指標(biāo)下，WGAN-GP是較佳模型。如圖二（b）所示，基于ImageNet的Inception score中，論文種方法有較佳的性能，如圖二（c）所示，基于CIFAR-10的Inception score中，論文中方法與DC-GAN有相近的性能。
從左到右分別為：DCGAN，WGAN-GP，AGE，論文采用的方法
想要深入了解該方法的請(qǐng)閱讀原論文：https://arxiv.org/pdf/1706.04987.pdf
歡迎加入本站公開(kāi)興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/4579.html
摘要：我們還經(jīng)驗(yàn)性地演示了貝葉斯在語(yǔ)言建?；鶞?zhǔn)和生成圖說(shuō)任務(wù)上優(yōu)于傳統(tǒng)，以及通過(guò)使用不同的訓(xùn)練方案，這些方法如何改進(jìn)我們的模型。第節(jié)和第節(jié)分別回顧了通過(guò)反向傳播做貝葉斯，和通過(guò)時(shí)間做反向傳播。 摘要在這項(xiàng)工作里，我們探討了一種用于 RNN 的簡(jiǎn)單變分貝葉斯方案（straightforward variational Bayes scheme）。首先，我們表明了一個(gè)通過(guò)時(shí)間截?cái)喾聪騻鞑サ暮?jiǎn)單變化，能...
摘要：文本谷歌神經(jīng)機(jī)器翻譯去年，谷歌宣布上線的新模型，并詳細(xì)介紹了所使用的網(wǎng)絡(luò)架構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)。目前唇讀的準(zhǔn)確度已經(jīng)超過(guò)了人類。在該技術(shù)的發(fā)展過(guò)程中，谷歌還給出了新的，它包含了大量的復(fù)雜案例。谷歌收集該數(shù)據(jù)集的目的是教神經(jīng)網(wǎng)絡(luò)畫(huà)畫(huà)。 1. 文本1.1 谷歌神經(jīng)機(jī)器翻譯去年，谷歌宣布上線 Google Translate 的新模型，并詳細(xì)介紹了所使用的網(wǎng)絡(luò)架構(gòu)——循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。關(guān)鍵結(jié)果：與...
摘要：老顧受邀在一些大學(xué)和科研機(jī)構(gòu)做了題為深度學(xué)習(xí)的幾何觀點(diǎn)的報(bào)告，匯報(bào)了這方面的進(jìn)展情況。昨天年月日，嚴(yán)東輝教授邀請(qǐng)老顧在泛華統(tǒng)計(jì)協(xié)會(huì)舉辦的應(yīng)用統(tǒng)計(jì)會(huì)議上做了深度學(xué)習(xí)的幾何觀點(diǎn)的報(bào)告。小結(jié)最優(yōu)傳輸理論可以用于解釋深度學(xué)習(xí)中的概率分布變換。 （最近，哈佛大學(xué)丘成桐先生領(lǐng)導(dǎo)的團(tuán)隊(duì)，大連理工大學(xué)羅鐘鉉教授、雷娜教授領(lǐng)導(dǎo)的團(tuán)隊(duì)?wèi)?yīng)用幾何方法研究深度學(xué)習(xí)。老顧受邀在一些大學(xué)和科研機(jī)構(gòu)做了題為深度學(xué)習(xí)的幾何觀...
摘要：二是精度查全率和得分，用來(lái)衡量判別式模型的質(zhì)量。精度查全率和團(tuán)隊(duì)還用他們的三角形數(shù)據(jù)集，測(cè)試了樣本量為時(shí)，大范圍搜索超參數(shù)來(lái)進(jìn)行計(jì)算的精度和查全率。 從2014年誕生至今，生成對(duì)抗網(wǎng)絡(luò)（GAN）熱度只增不減，各種各樣的變體層出不窮。有位名叫Avinash Hindupur的國(guó)際友人建立了一個(gè)GAN Zoo，他的動(dòng)物園里目前已經(jīng)收集了多達(dá)214種有名有姓的GAN。DeepMind研究員們甚至將...
摘要：相比于，它將也作為隱變量納入到變分推斷中。結(jié)論綜述本文的結(jié)果表明了變分推斷確實(shí)是一個(gè)推導(dǎo)和解釋生成模型的統(tǒng)一框架，包括和。 作者丨蘇劍林單位丨廣州火焰信息科技有限公司研究方向丨NLP，神經(jīng)網(wǎng)絡(luò)個(gè)人主頁(yè)丨kexue.fm前言我小學(xué)開(kāi)始就喜歡純數(shù)學(xué)，后來(lái)也喜歡上物理，還學(xué)習(xí)過(guò)一段時(shí)間的理論物理，直到本科畢業(yè)時(shí)，我才慢慢進(jìn)入機(jī)器學(xué)習(xí)領(lǐng)域。所以，哪怕在機(jī)器學(xué)習(xí)領(lǐng)域中，我的研究習(xí)慣還保留著數(shù)學(xué)和物理的...
閱讀 896·2023-04-26 00:11
閱讀 2689·2021-11-04 16:13
閱讀 2147·2021-09-09 09:33
閱讀 1507·2021-08-20 09:35
閱讀 3887·2021-08-09 13:42
閱讀 3637·2019-08-30 15:55
閱讀 1128·2019-08-30 15:55
閱讀 2254·2019-08-30 13:55
