摘要：藝術(shù)家如何理解神經(jīng)網(wǎng)絡(luò)是一個(gè)傳統(tǒng)油畫家，但他同時(shí)也對(duì)與藝術(shù)相關(guān)的科學(xué)技術(shù)有著濃厚的興趣。這一部分的處理過(guò)程正是藝術(shù)家的再創(chuàng)作，也正如他所說(shuō)，他將神經(jīng)網(wǎng)絡(luò)看成創(chuàng)作的工具之一。

1. 藝術(shù)家如何理解神經(jīng)網(wǎng)絡(luò)？

David Aslan 是一個(gè)傳統(tǒng)油畫家，但他同時(shí)也對(duì)與藝術(shù)相關(guān)的科學(xué)技術(shù)有著濃厚的興趣。他想要通過(guò)撰寫這篇博客來(lái)分享他使用神經(jīng)網(wǎng)絡(luò)創(chuàng)作藝術(shù)作品的經(jīng)驗(yàn)與知識(shí)，從而幫助其他的藝術(shù)家也能理解神經(jīng)網(wǎng)絡(luò)，甚至讓他們也能在日后的工作里找到更有趣更炫酷的方式來(lái)實(shí)現(xiàn)并呈現(xiàn)他們的作品。

David 把神經(jīng)網(wǎng)絡(luò)看成一種用來(lái)解決問(wèn)題的運(yùn)算工具，不過(guò)，它和傳統(tǒng)的計(jì)算工具還是有很大區(qū)別的。他認(rèn)為神經(jīng)網(wǎng)絡(luò)把一堆數(shù)據(jù)當(dāng)作輸入來(lái)進(jìn)行處理，但是卻輸出并不是太相關(guān)的結(jié)果。但是，神經(jīng)網(wǎng)絡(luò)卻可以從這些錯(cuò)誤中進(jìn)行學(xué)習(xí)，直到它達(dá)到一種平衡以至于得到一個(gè)近似「正確」的結(jié)果。David 打了一個(gè)比方來(lái)解釋這一處理過(guò)程：

你扔進(jìn)了一堆數(shù)據(jù)，你得到了一堆垃圾；你告訴計(jì)算機(jī)輸出的結(jié)果是過(guò)熱還是過(guò)冷，然后計(jì)算機(jī)再進(jìn)行下一次嘗試。

2. 藝術(shù)家如何通過(guò)神經(jīng)網(wǎng)絡(luò)創(chuàng)作藝術(shù)作品？

和那些希望通過(guò)神經(jīng)網(wǎng)絡(luò)直接產(chǎn)生出藝術(shù)作品的計(jì)算機(jī)科學(xué)家不同，David 卻是把神經(jīng)網(wǎng)絡(luò)當(dāng)作一種創(chuàng)作藝術(shù)的工具。

他使用「Deep Style」將原始的照片或者繪畫作品轉(zhuǎn)化成擁有其他藝術(shù)風(fēng)格的圖像?；谶@些通過(guò)神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換出來(lái)的圖像，他再利用 Photoshop 來(lái)修改并完善圖像中的細(xì)節(jié)。

具體來(lái)說(shuō)，他的工作流程是這個(gè)樣子：

準(zhǔn)備好一張打算轉(zhuǎn)換的圖像（被稱作「內(nèi)容圖像」，content image）和若干張風(fēng)格圖像（用于提取圖像中的藝術(shù)風(fēng)格，style image）。

通過(guò) Deep Style，他可以獲得若干張轉(zhuǎn)換好的，擁有不同的藝術(shù)風(fēng)格，但是內(nèi)容一致的輸出圖像（被稱作「風(fēng)格化圖像」）。

將這些風(fēng)格化圖像通過(guò)圖層功能堆疊在原始的內(nèi)容圖像之上，最后再在 Photoshop 里用蒙版功能有選擇性地保留或刪去風(fēng)格化圖像的部分內(nèi)容。

最后再添加一個(gè)圖層用于完善細(xì)節(jié)以及將上述步驟中最終保留下來(lái)的擁有不同風(fēng)格的部分混合在一張圖像里。

他將第三步和第四步統(tǒng)稱為「混合神經(jīng)技術(shù)」（Fusion Neural Technique），這也是他整個(gè)處理流程里的亮點(diǎn)。以下的這張動(dòng)圖則粗略地展示了他的處理過(guò)程。

3. 實(shí)驗(yàn)中的關(guān)鍵點(diǎn)

神經(jīng)網(wǎng)絡(luò)和 Photoshop 中傳統(tǒng)濾鏡功能的區(qū)別

David 發(fā)現(xiàn) Photoshop 中的藝術(shù)濾鏡功能并不能識(shí)別出輸入圖像里的物體，因此這些濾鏡只是對(duì)每一個(gè)像素都做了同一個(gè)簡(jiǎn)單運(yùn)算。這種情況下，輸入圖像就失去了自己的「特異性」。與之相反，神經(jīng)網(wǎng)絡(luò)不僅能夠識(shí)別出圖像中的物體，也就是圖像的內(nèi)容，同時(shí)還可以鑒別出圖像的紋理特征，從而使最終的輸出結(jié)果更加真實(shí)。

「混合神經(jīng)技術(shù)」的作用

合成圖像通常有著模糊的邊界以及相對(duì)來(lái)說(shuō)較低的分辨率。因此，人為增加的混合圖層可以補(bǔ)償一些由于神經(jīng)網(wǎng)絡(luò)處理而導(dǎo)致的信息或分辨率的損失，從而使最終的輸出結(jié)果有著更加銳利的邊緣以及更高的分辨率。這一部分的處理過(guò)程正是藝術(shù)家的」再創(chuàng)作「，也正如他所說(shuō)，他將神經(jīng)網(wǎng)絡(luò)看成創(chuàng)作的工具之一。

David 對(duì)神經(jīng)網(wǎng)絡(luò)和藝術(shù)的一些獨(dú)到觀點(diǎn)

藝術(shù)與科技的關(guān)系：他認(rèn)為藝術(shù)的發(fā)展和技術(shù)的發(fā)展是密不可分的。打比方來(lái)說(shuō)，「印象派」的出現(xiàn)正源自于光學(xué)領(lǐng)域的科學(xué)發(fā)現(xiàn)；具備電子放大器的樂(lè)器則為我們帶來(lái)了搖滾樂(lè)。因此，從這個(gè)角度來(lái)說(shuō)，神經(jīng)網(wǎng)絡(luò)也可以當(dāng)成藝術(shù)創(chuàng)作的一種工具。

4. 他的藝術(shù)工作背后的技術(shù)細(xì)節(jié)

在這篇博客里，David 使用 Deep Style 來(lái)創(chuàng)作藝術(shù)作品。其中，Deep Style 則是基于《A Neural Algorithm of Artistic Style》這篇論文的一個(gè)具體實(shí)現(xiàn)。

這篇論文使用 VGG-Net 來(lái)分別從內(nèi)容圖像和風(fēng)格圖像中提取內(nèi)容信息和風(fēng)格信息，然后再分別計(jì)算它們和隨機(jī)噪音圖像之間的損失。通過(guò)反向傳播算法，隨機(jī)噪音圖像最終可以被轉(zhuǎn)換成擁有給定圖像內(nèi)容，但擁有另外的藝術(shù)風(fēng)格的圖像。

以下插圖展示了這個(gè)網(wǎng)絡(luò)的概覽：

將內(nèi)容圖像和生成圖像分別記為vec{p} 和 vec{x}，而它們對(duì)應(yīng)在 l 層的特征表達(dá)分別記為 P^l 和 F^l。那么內(nèi)容損失則可以定義成以下式子：

該式相關(guān)的偏導(dǎo)數(shù)記為：

通過(guò)使用反向傳播算法，初始的隨機(jī)輸入圖像 vec{x} 能夠不斷改變直到它的特征表達(dá)非常接近 P^l，也就意味著內(nèi)容被重構(gòu)出來(lái)了。

這篇論文同樣定義了一副圖像的「風(fēng)格」。G^l 是 Gram 矩陣用來(lái)表示 l 層的風(fēng)格特征表達(dá)。該矩陣的每個(gè)元素可以通過(guò)以下式子計(jì)算得到：

風(fēng)格圖像和生成圖像分別記為 vec{a} 和 vec{x}，A^l 和 G^l 分別是它們的特征表達(dá)。這樣一來(lái)，風(fēng)格損失則可以定義成：

這里，N_I 是 l 層的濾波器的個(gè)數(shù)。它的偏導(dǎo)數(shù)可以通過(guò)以下式子計(jì)算：

結(jié)合內(nèi)容損失和風(fēng)格損失，我們可以得到最終的目標(biāo)優(yōu)化函數(shù)：

通過(guò)優(yōu)化該式子，就可以生成目標(biāo)圖像 vec{x}。最終目標(biāo)圖像不僅擁有內(nèi)容圖像的內(nèi)容，同時(shí)還擁有給定的風(fēng)格，如下圖所示：

5. 一些其他的思考

顯然，藝術(shù)家更愿意將神經(jīng)網(wǎng)絡(luò)看成「繪畫」的工具。與之相反的是，計(jì)算機(jī)科學(xué)家則致力于設(shè)計(jì)能夠真正自己「創(chuàng)造」藝術(shù)的神經(jīng)網(wǎng)絡(luò)。我認(rèn)為就目前在該領(lǐng)域的研究成果來(lái)說(shuō)，神經(jīng)網(wǎng)絡(luò)更適合成為一種「創(chuàng)作工具」而不是「創(chuàng)作者」。因?yàn)槟壳暗纳窠?jīng)網(wǎng)絡(luò)或多或少都是基于概率模型設(shè)計(jì)的，也就是說(shuō)，這些網(wǎng)絡(luò)都是在給定條件下，通過(guò)輸入的數(shù)據(jù)來(lái)預(yù)測(cè)一個(gè)輸出結(jié)果。

不能否認(rèn)，人也是從過(guò)往的經(jīng)驗(yàn)里來(lái)學(xué)習(xí)新的知識(shí)與能力，正如機(jī)器學(xué)習(xí)中的「監(jiān)督學(xué)習(xí)」。但是人學(xué)習(xí)的這一過(guò)程則要復(fù)雜得多。對(duì)前文提到的神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，訓(xùn)練集僅僅只是「真實(shí)的照片」和「繪畫作品」，我們希望從中能夠找到某種能夠?qū)⑺鼈儍烧呗?lián)系起來(lái)的映射關(guān)系。然而，除了基于實(shí)實(shí)在在的場(chǎng)景（也就是所謂「真實(shí)的照片」）以外，藝術(shù)家更會(huì)結(jié)合自己的個(gè)人體驗(yàn)與經(jīng)驗(yàn)來(lái)進(jìn)行創(chuàng)作——這些個(gè)人的體驗(yàn)與經(jīng)驗(yàn)是極難被量化成計(jì)算機(jī)所能理解的數(shù)據(jù)。

這篇博客同時(shí)也從藝術(shù)家的角度提供了一些很有趣的觀點(diǎn)。在藝術(shù)家眼中，自然圖像（也就是真實(shí)的場(chǎng)景）中的噪音要遠(yuǎn)比圖畫這類藝術(shù)作品中的噪音多。這一觀點(diǎn)其實(shí)是和部分計(jì)算機(jī)科學(xué)家的理解相悖的，比如論文《ArtGAN-Artwork Synthesis with Conditional Categorical GANs》。

博客作者也指出目前這種生成類的神經(jīng)網(wǎng)絡(luò)存在的一個(gè)問(wèn)題是：生成的圖像通常會(huì)有很模糊的邊緣。因此他不得不使用「混合神經(jīng)技術(shù)」在 Photoshop 中來(lái)手動(dòng)銳化這些邊緣。的確，這種附帶的模糊效果是很難在這一類神經(jīng)網(wǎng)絡(luò)中避免的。對(duì)此，論文《Face Aging with Conditional Generative Adversarial Networks》的作者提出可以使用一個(gè)訓(xùn)練好的用于識(shí)別的神經(jīng)網(wǎng)絡(luò)來(lái)分別提取原圖和生成圖像的深層次特征，然后計(jì)算二者的 L2 損失來(lái)進(jìn)行優(yōu)化，從而減弱邊緣模糊的效應(yīng)。盡管如此，這也僅僅只能「改善」輸出結(jié)果而非徹底解決這一問(wèn)題。?

參考博客：https://artplusmarketing.com/how-artists-can-use-neural-networks-to-make-art-714cdab53953

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754