摘要：一段時間以來，我一直在嘗試使用生成神經(jīng)網(wǎng)絡制作人物肖像。生成圖像的質(zhì)量與低分辨率輸出實現(xiàn)密切相關。在第一階段，根據(jù)給定描述生成相對原始的形狀和基本的色彩，得出低分辨圖像。使用生成的圖像比現(xiàn)有方法更加合理逼真。

一段時間以來，我一直在嘗試使用生成神經(jīng)網(wǎng)絡制作人物肖像。早期試驗基于類似 Deep Dream 的方法，但最近我開始將精力集中在 GAN 上面。當然，無論在什么時候，高精度和較精確的細節(jié)都是很難實現(xiàn)的，使用 GAN 生成人臉也一樣。首先，這些網(wǎng)絡的感受野往往不到 256×256 像素的大小。

解決這個問題的一種辦法是使用 stack GAN。我用基于 stack GAN 的方法，終于將像素提升到 768×768 的大小，最多使用 3 個階段 stack 將像素提升到了 4k×4k。我不在意結(jié)果是否真實，但細節(jié)紋理逼真很重要。

為了減少 artifact（模糊不清的地方），我需要應對 mode collapse 等各種問題。具體說，光滑皮膚和多毛皮膚之間，第二階段 GAN 是 meta stable，往往導致輸出變成一塊一塊的。

現(xiàn)在我使用的最多是 vanilla GAN。當然，我覺得我也該試一下 WGAN、CramerGAN 或 BEGAN，因為大家都說后面幾種收斂更好。

下面就是我使用 GAN 生成的空想人物肖像（我選了效果比較好的放上來）。

生成圖像的質(zhì)量與低分辨率輸出（lowres output）實現(xiàn)密切相關。我通常在第一階段生成 128×128 或者 256×256 像素的結(jié)果，然后在第二階段提升至 768×768 或者 1024×1024。大多數(shù)情況下，生成的結(jié)果都很糟糕，遠遠沒有我挑選出來的這幾張好，但有些時候會出現(xiàn)非常富有藝術性的圖像，偶爾看上去還像是有藝術風格誕生。

我在最后的第三階段將像素提升到 4k。但是，實際上我并沒有這個像素級別的訓練數(shù)據(jù)，也就是說，網(wǎng)絡做的只是大致預測邊緣是否平滑等等。

系統(tǒng)不可能知道皮膚高分辨率的人臉數(shù)據(jù)庫。毛孔或睫毛這些細節(jié)。因此，我們需要一個與高分辨率的人臉數(shù)據(jù)庫。

考慮到最終的印刷效果，在這種分辨率下故意保留一些 artifact 可能還不錯（相比 ）。

Mike Tyka 參考了下面這篇論文中所提到的方法 Stack-GAN，并且在論文基礎上做了 3 次堆疊。有興趣你也可以一試：）

摘要

根據(jù)文本描述合成逼真圖像是計算機視覺一大挑戰(zhàn)，也有很多應用。使用現(xiàn)有方法合成的圖像在細節(jié)和生動方面差強人意。本文中，我們提出 StakeGAN 方法，根據(jù)文本描述生成逼真的圖像。在第一階段（Stage-I GAN），GAN 根據(jù)給定描述生成相對原始的形狀和基本的色彩，得出 Stage-I 低分辨圖像。Stage-II GAN 將 Stage-I GAN 和文本描述作為輸入，生成高分辨率的逼真圖像。Stage-II GAN 能夠修正錯誤，增加令人信服的效果和細節(jié)。使用 StackGAN 生成的圖像比現(xiàn)有方法更加合理逼真。最重要的是，StackGAN 根據(jù)文本第一次生成 256×256 像素的圖像，現(xiàn)有方法最多只能生成 128×128 像素的圖像。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754