資訊專欄INFORMATION COLUMN
摘要：二是精度查全率和得分，用來衡量判別式模型的質(zhì)量。精度查全率和團(tuán)隊(duì)還用他們的三角形數(shù)據(jù)集，測試了樣本量為時(shí)，大范圍搜索超參數(shù)來進(jìn)行計(jì)算的精度和查全率。
從2014年誕生至今，生成對(duì)抗網(wǎng)絡(luò)（GAN）熱度只增不減，各種各樣的變體層出不窮。有位名叫Avinash Hindupur的國際友人建立了一個(gè)GAN Zoo，他的“動(dòng)物園”里目前已經(jīng)收集了多達(dá)214種有名有姓的GAN。
DeepMind研究員們甚至將自己提出的一種變體命名為α-GAN，然后在論文中吐槽說，之所以用希臘字母做前綴，是因?yàn)槔∽帜笌缀醵急徽剂恕?/p>
這還不是最匪夷所思的名字，在即將召開的NIPS 2017上，杜克大學(xué)還有個(gè)Δ-GAN要發(fā)表。
就是這么火爆！
那么問題來了：這么多變體，有什么區(qū)別？哪個(gè)好用？
于是，Google Brain的幾位研究員（不包括原版GAN的爸爸Ian Goodfellow）對(duì)各種GAN做一次“中立、多方面、大規(guī)模的”評(píng)測，得出了一個(gè)有點(diǎn)喪的結(jié)論：
No evidence that any of the tested algorithms consistently outperforms the original one.
量子位非常不嚴(yán)謹(jǐn)?shù)胤g一下：
都差不多……都跟原版差不多……
比什么？
這篇論文集中探討的是無條件生成對(duì)抗網(wǎng)絡(luò)，也就是說，只有無標(biāo)簽數(shù)據(jù)可用于學(xué)習(xí)。選取了如下GAN變體：
MM GAN
NS GAN
WGAN
WGAN GP
LS GAN
DRAGAN
BEGAN
其中MM GAN和NS GAN分別表示用minimax損失函數(shù)和用non-saturating損失函數(shù)的原版GAN。
除此之外，他們還在比較中加入了另一個(gè)熱門生成模型VAE（Variational Autoencoder，變分自編碼器）。
對(duì)于各種GAN的性能，Google Brain團(tuán)隊(duì)選了兩組維度來進(jìn)行比較。
一是FID（Fréchet Inception Distance），F(xiàn)ID的值和生成圖像的質(zhì)量負(fù)相關(guān)。
測試FID時(shí)用了4個(gè)數(shù)據(jù)集：MNIST、Fashion MNIST、CIFAR-10和CELEBA。這幾個(gè)數(shù)據(jù)集的復(fù)雜程度從簡單到中等，能快速進(jìn)行多次實(shí)驗(yàn)，是測試生成模型的常見選擇。
二是精度（precision、）、查全率（recall）和F1得分，用來衡量判別式模型的質(zhì)量。其中F1是精度和查全率的調(diào)和平均數(shù)。
這項(xiàng)測試所用的，是Google Brain研究員們自創(chuàng)的一個(gè)數(shù)據(jù)集，由各種角度的三角形灰度圖像組成。
精度和查全率都高、高精度低查全率、低精度高查全率、精度和查全率都低的模型的樣本
對(duì)比結(jié)果
Google Brain團(tuán)隊(duì)從FID和F1兩個(gè)方面對(duì)上面提到的模型進(jìn)行比較，得出了以下結(jié)果。
FID
通過對(duì)每個(gè)模型100組超參數(shù)的大范圍搜索，得出的結(jié)論是GAN在訓(xùn)練中都對(duì)于超參數(shù)設(shè)置非常敏感，沒有哪個(gè)變體能夠幸免，也就說，哪個(gè)GAN也沒能比競品們更穩(wěn)定。
從結(jié)果來看，每個(gè)模型的性能擅長處理的數(shù)據(jù)集不太一樣，沒有在所有數(shù)據(jù)集上都明顯優(yōu)于同類的。不過，VAE相比之下是最弱的，它所生成出的圖像最模糊。
測試還顯示，隨著計(jì)算資源配置的提高，最小FID有降低的趨勢。
如果設(shè)定一個(gè)FID范圍，用比較多計(jì)算資源訓(xùn)練的“壞”模型，可能表現(xiàn)得比用較少計(jì)算資源訓(xùn)練的“好”模型要更好。
另外，當(dāng)計(jì)算資源配置相對(duì)比較低的時(shí)候，所有模型的最小FID都差不多，也就是說，如果嚴(yán)格限制預(yù)算，就比較不出這些模型之間具有統(tǒng)計(jì)意義的顯著區(qū)別。
他們經(jīng)過比較得出的結(jié)論是，用能達(dá)到的最小FID來對(duì)模型進(jìn)行比較是沒有意義的，要比較固定計(jì)算資源配置下的FID分布。
FID之間的比較也表明，隨著計(jì)算力的增加，較先進(jìn)的GAN模型之間體現(xiàn)不出算法上的優(yōu)劣差別。
精度、查全率和F1
Google Brain團(tuán)隊(duì)還用他們的三角形數(shù)據(jù)集，測試了樣本量為1024時(shí)，大范圍搜索超參數(shù)來進(jìn)行計(jì)算的精度和查全率。
對(duì)于特定的模型和超參數(shù)設(shè)置，較高F1得分會(huì)隨著計(jì)算資源配置的不同而不同，如下圖所示：
不同計(jì)算資源配置下各模型的F1、精度和查全率
論文作者們說，即使是一個(gè)這么簡單的任務(wù)，很多模型的F1也并不高。當(dāng)針對(duì)F1進(jìn)行優(yōu)化時(shí)，NS GAN和WGAN的精度和查全率都比較高。
和原版GAN相比
Google Brain團(tuán)隊(duì)還將這些變體和原版GAN做了對(duì)比。他們得出的結(jié)論是，沒有實(shí)證證據(jù)能證明這些GAN變體在所有數(shù)據(jù)集上明顯優(yōu)于原版。
實(shí)際上，NS GAN水平和其他模型持平，在MNIST上的FID總體水平較好，F(xiàn)1也比其他模型要高。
相關(guān)鏈接
要詳細(xì)了解這項(xiàng)研究，還是得讀論文：
Are GANs Created Equal? A Large-Scale Study
Mario Lucic, Karol Kurach, Marcin Michalski, Sylvain Gelly, Olivier Bousquet
https://arxiv.org/abs/1711.10337
查找某種GAN變體，可以去文章開頭提到的GAN Zoo：
https://github.com/hindupuravinash/the-gan-zoo
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/4684.html
摘要：近日，谷歌大腦發(fā)布了一篇全面梳理的論文，該研究從損失函數(shù)對(duì)抗架構(gòu)正則化歸一化和度量方法等幾大方向整理生成對(duì)抗網(wǎng)絡(luò)的特性與變體。他們首先定義了全景圖損失函數(shù)歸一化和正則化方案，以及最常用架構(gòu)的集合。 近日，谷歌大腦發(fā)布了一篇全面梳理 GAN 的論文，該研究從損失函數(shù)、對(duì)抗架構(gòu)、正則化、歸一化和度量方法等幾大方向整理生成對(duì)抗網(wǎng)絡(luò)的特性與變體。作者們復(fù)現(xiàn)了當(dāng)前較佳的模型并公平地對(duì)比與探索 GAN ...
摘要：我仍然用了一些時(shí)間才從神經(jīng)科學(xué)轉(zhuǎn)向機(jī)器學(xué)習(xí)。當(dāng)我到了該讀博的時(shí)候，我很難在的神經(jīng)科學(xué)和的機(jī)器學(xué)習(xí)之間做出選擇。 1.你學(xué)習(xí)機(jī)器學(xué)習(xí)的歷程是什么？在學(xué)習(xí)機(jī)器學(xué)習(xí)時(shí)你最喜歡的書是什么？你遇到過什么死胡同嗎？我學(xué)習(xí)機(jī)器學(xué)習(xí)的道路是漫長而曲折的。讀高中時(shí)，我興趣廣泛，大部分和數(shù)學(xué)或科學(xué)沒有太多關(guān)系。我用語音字母表編造了我自己的語言，我參加了很多創(chuàng)意寫作和文學(xué)課程。高中畢業(yè)后，我進(jìn)了大學(xué)，盡管我不想去...
摘要：是世界上最重要的研究者之一，他在谷歌大腦的競爭對(duì)手，由和創(chuàng)立工作過不長的一段時(shí)間，今年月重返，建立了一個(gè)探索生成模型的新研究團(tuán)隊(duì)。機(jī)器學(xué)習(xí)系統(tǒng)可以在這些假的而非真實(shí)的醫(yī)療記錄進(jìn)行訓(xùn)練。今年月在推特上表示是的，我在月底離開，并回到谷歌大腦。 理查德·費(fèi)曼去世后，他教室的黑板上留下這樣一句話：我不能創(chuàng)造的東西，我就不理解。（What I cannot create, I do not under...
摘要：生成式對(duì)抗網(wǎng)絡(luò)簡稱將成為深度學(xué)習(xí)的下一個(gè)熱點(diǎn)，它將改變我們認(rèn)知世界的方式。配圖針對(duì)三年級(jí)學(xué)生的對(duì)抗式訓(xùn)練屬于你的最嚴(yán)厲的批評(píng)家五年前，我在哥倫比亞大學(xué)舉行的一場橄欖球比賽中傷到了自己的頭部，導(dǎo)致我右半身腰部以上癱瘓。 本文作者 Nikolai Yakovenko 畢業(yè)于哥倫比亞大學(xué)，目前是 Google 的工程師，致力于構(gòu)建人工智能系統(tǒng)，專注于語言處理、文本分類、解析與生成。生成式對(duì)抗網(wǎng)絡(luò)—...
閱讀 851·2021-11-16 11:56
閱讀 1675·2021-11-16 11:45
閱讀 3123·2021-10-08 10:13
閱讀 4113·2021-09-22 15:27
閱讀 734·2019-08-30 11:03
閱讀 651·2019-08-30 10:56
閱讀 957·2019-08-29 15:18
閱讀 1749·2019-08-29 14:05
