梵高油畫用深度卷積神經(jīng)網(wǎng)絡(luò)迭代十萬次是什么效果？

Ethan815 發(fā)布于2019-04-25 18:07 / 2574人閱讀

摘要：迭代次，重復(fù)執(zhí)行三次重復(fù)計(jì)算了三次，使用相同的圖片，相同的卷積神經(jīng)網(wǎng)絡(luò)模型，相同的迭代次數(shù)次，卻得到了區(qū)別明顯的三張結(jié)果圖。推測(cè)原因由于卷積神經(jīng)網(wǎng)絡(luò)中的若干層，實(shí)際是對(duì)圖像進(jìn)行了均值處理，導(dǎo)致了邊緣細(xì)節(jié)的丟失。

作為一個(gè)脫離了低級(jí)趣味的碼農(nóng)，春節(jié)假期閑來無事，決定做一些有意思的事情打發(fā)時(shí)間，碰巧看到這篇論文： A neural style of convolutional neural networks，譯作卷積神經(jīng)網(wǎng)絡(luò)風(fēng)格遷移。這不是“暮光女”克里斯丁的研究方向嗎？！連好萊塢女星都開始搞人工智能發(fā)paper，真是熱的可見一斑！

這篇文章中講述了如何用深層卷積神經(jīng)網(wǎng)絡(luò)來將一張普通的照片轉(zhuǎn)化成一幅藝術(shù)風(fēng)格的畫作（比如梵高的星夜），可以看做是DL（deep learning）在NPR（非真實(shí)渲染non photography rendering）領(lǐng)域的一次革命（不難想象以后DL這種跨領(lǐng)域的革命會(huì)越來越多）。

論文地址：A Neural Algorithm of Artistic Style

項(xiàng)目地址：https://github.com/muyiguangda/neural-style

算法解析

（對(duì)算法不感興趣的童鞋，可以直接跳過這一部分，看最終實(shí)驗(yàn)結(jié)果）

【總流程】

如上，a有個(gè)別名是conv1_1，b是conv2_1，依次類推，c，d，e對(duì)應(yīng)conv3_1，conv4_1，conv5_1；輸入圖片有風(fēng)格圖片style image和內(nèi)容圖片content image，輸出的是就是合成圖片，然后用合成圖片為指導(dǎo)訓(xùn)練，但是訓(xùn)練的對(duì)象不像是普通的神經(jīng)網(wǎng)絡(luò)那樣訓(xùn)練權(quán)值w和偏置項(xiàng)b，而是訓(xùn)練合成圖片上的像素點(diǎn)，以達(dá)到損失函數(shù)不斷減少的效果。論文使用的是隨機(jī)的噪聲像素圖為初始合成圖，但是使用原始圖片會(huì)快一點(diǎn)。

首先他定義了兩個(gè)loss，分別表示最終生成的圖x和style圖a的樣式上的loss，以及x和content圖p的內(nèi)容上的loss，α,β是調(diào)節(jié)兩者比例的參數(shù)。最終的loss function是兩者的加和。通過optimize總的loss求得最終的x。?

所用的CNN網(wǎng)絡(luò)是VGG-19，利用了它16個(gè)卷積層和5個(gè)pooling層來生成feature。實(shí)際指的是Conv+ReLU的復(fù)合體。

當(dāng)然，使用其他pre-trained的model也是完全可以的，比如GoogLet V2，ResNet，VGG16 都是可以的（作者這哪是以VGG19為例）。

【內(nèi)容損失函數(shù)】

l代表第l層的特征表示，p是原始圖片，x是生成圖片。

假設(shè)某一層得到的響應(yīng)是Fl∈RNl?Ml,其中Nl為l層filter的個(gè)數(shù)，Ml為filter的大小。Flij表示的是第l層第i個(gè)filter在位置j的輸出。

公式的含義就是對(duì)于每一層，原始圖片生成特征圖和生成圖片的特征圖的一一對(duì)應(yīng)做平方差

求內(nèi)容損失函數(shù)梯度下降如下：

【風(fēng)格損失函數(shù)】

F是生成圖片的特征圖。上面式子的含義：Gram第i行，第j列的數(shù)值等于把生成圖在第l層的第i個(gè)特征圖與第j個(gè)特征圖分別拉成一維后相乘求和。

上面是風(fēng)格損失函數(shù)，Nl是指生成圖的特征圖數(shù)量，Ml是圖片寬乘高。a是指風(fēng)格圖片，x是指生成圖片。G是生成圖的Gram矩陣，A是風(fēng)格圖的Gram矩陣，wl是權(quán)重。

【總損失】

實(shí)驗(yàn)結(jié)果

下面是內(nèi)容圖，風(fēng)格圖，以及迭代10次，100次，500次，1000次，10000次，10萬次的計(jì)算結(jié)果及分析：

【原圖】

原圖片如果尺寸過大，導(dǎo)致input層的batch size過大，會(huì)大大增加程序計(jì)算量（從而延長(zhǎng)計(jì)算時(shí)間），容易引起程序不穩(wěn)定，而對(duì)最終效果并沒有明顯提升，因此建議把圖片尺寸盡量縮?。ㄔ谙袼夭皇д娴那疤嵯拢?，推薦值：800 ppi x 600 ppi.