神還原女神照片！GAN為百年舊照上色

gaomysion 發(fā)布于2019-04-25 18:31 / 889人閱讀

摘要：如何把女神的黑白照片變成彩照今日小編發(fā)現(xiàn)新加坡數(shù)據(jù)科學(xué)與人工智能部門在上介紹了一個(gè)為百年舊照上色的項(xiàng)目。照片為新加坡華人女子學(xué)校，攝于年期間。來自新加坡國家檔案館的原始照片左和上色后的照片右。利用給年的湯加太平洋島國舊照上色。

一鍵點(diǎn)擊，百年舊照變彩色。

如何把女神的黑白照片變成彩照？今日小編發(fā)現(xiàn)新加坡 GovTech 數(shù)據(jù)科學(xué)與人工智能部門在 Medium 上介紹了一個(gè)為百年舊照上色的項(xiàng)目。

這個(gè)項(xiàng)目名為 Colourise.sg，最初是該團(tuán)隊(duì)（成員包括：定量分析師 Andrew Tan、軟件工程師 Preston Lim、數(shù)據(jù)科學(xué)家 Tan Kai Wei）參加 hackthon 時(shí)為新加坡舊照做的深度學(xué)習(xí)上色工具。點(diǎn)擊以下項(xiàng)目地址可以自己嘗試給任意黑白照片上色。

項(xiàng)目地址：https://colourise.sg/#colorize

應(yīng)用頁面

具體效果如何呢？小編找了瑪麗蓮·夢露的經(jīng)典照片嘗試了一下，效果驚艷。

以下是從 Colourise.sg 圖庫中找到的效果對比圖。

以及作者根據(jù)項(xiàng)目初衷作出的新加坡舊照上色前后的對比圖。

原始黑白照片（左）和 Colourise.sg 生成的彩色照片（右）。照片為「新加坡華人女子學(xué)校」，攝于 1890-1920 年期間。美國國會圖書館 Frank and Frances Carpenter Collection 收藏。

看過對比圖之后，我們發(fā)現(xiàn)有的照片效果驚艷，但有的照片效果并不好。作者表示，該配色工具的意義在于生成顏色看上去比較合理的照片。它不保證生成的彩色照片就是當(dāng)時(shí)的真實(shí)顏色。此外，該項(xiàng)目也只是該研究領(lǐng)域的一角，其模型也并非是完美的。它在一些照片上表現(xiàn)很好，但在其它照片上可能不是。

所以，這個(gè)上色工具是如何做的呢？為什么其表現(xiàn)不太穩(wěn)定？以下是作者在 Medium 上寫的技術(shù)解讀：

這項(xiàng)技術(shù)之前沒有人做過嗎？

可以說有，也可以說沒有。

之前的確有人做過上色工具，但那些工具都不是專門針對新加坡歷史背景的。

你可能會問，這有什么關(guān)系？以 Algorithmia 創(chuàng)建的彩色圖像為例，Algorithmia 創(chuàng)建的圖像色彩強(qiáng)度不夠，可信度也不夠高。

原始圖像（左）和由 Algorithmia 創(chuàng)建的彩色圖像（右）

新加坡老照片上色效果較差的一個(gè)主要因素可能是新加坡黑白照片和訓(xùn)練集之間差別太大。Algorithmia 使用的模型是用來自 ImageNet 的 130 萬張圖像訓(xùn)練而成的。ImageNet 由來自斯坦福大學(xué)和普林斯頓大學(xué)的研究人員創(chuàng)建，可能不包含與新加坡相關(guān)的圖像。也就是說，模型可能無法學(xué)到舊時(shí)新加坡校園的真實(shí)顏色。

研究人員認(rèn)為，針對新加坡老照片訓(xùn)練的工具也許能夠生成比現(xiàn)有工具更逼真的彩色新加坡老照片。

如何給黑白舊照上色

在解釋電腦程序如何上色之前，我們先來看一下人類如何給圖像上色。

上色是一份非常耗時(shí)且對技能要求很高的工作。為了創(chuàng)建一張色彩協(xié)調(diào)的照片，人類著色師必須完成兩項(xiàng)任務(wù)：

對照片的歷史、地理、文化背景進(jìn)行深入研究，以推斷出合適的顏色；

用 Photoshop 等軟件工具對黑白圖像進(jìn)行上色。

同樣，計(jì)算機(jī)程序也需要完成兩項(xiàng)任務(wù)：

識別黑白照片中的目標(biāo)并基于之前見過的照片推斷出適合目標(biāo)的顏色；

給黑白照片上色

使用生成對抗網(wǎng)絡(luò)進(jìn)行上色

為了給黑白照片上色，我們運(yùn)用了深度學(xué)習(xí)中已知的生成對抗網(wǎng)絡(luò)技術(shù)。包括：

首先，使用具有大量數(shù)學(xué)參數(shù)（＞2000 萬）的「生成器」基于圖像中的特征來預(yù)測不同像素黑白照片的像素值；

其次，用「判別器」來確定與原始彩色圖像相比，生成照片的顏色是否逼真。

訓(xùn)練模型，直到判別器無法區(qū)分生成器生成的照片是否為真實(shí)的。訓(xùn)練模型的架構(gòu)的簡化視圖如下所示：

用于上色的簡化 GAN 架構(gòu)

我們使用流行的 fast.ai 和 PyTorch 程序庫開發(fā)模型，其架構(gòu)和訓(xùn)練步驟受到 Jason Antic 的啟發(fā)。我們基于一組超過 50 萬張關(guān)于新加坡的舊照片的數(shù)據(jù)集進(jìn)行訓(xùn)練，我們使用裝有英偉達(dá) V100 GPU 的本地 GPU 集群編譯了這些照片。

在提升模型時(shí)我們還采取了一些其它措施，包括添加一些來自谷歌 Open Image V4 的照片（這主要是針對該模型做得不太好的身體部位，如模型難以識別的手、腿和手臂），修改學(xué)習(xí)率和批大小，從而取得更好效果。

將我們的深度學(xué)習(xí)模型部署為 web 端應(yīng)用程序

至此，我們的深度學(xué)習(xí)模型位于辦公室本地端的 GPU 集群上——這意味著，只有我們的團(tuán)隊(duì)可以使用 colouriser 模型。為使其他人可以使用 coloriser，我們必須在網(wǎng)絡(luò)上部署這一模型。

我們將谷歌云作為 coloriser 云服務(wù)的供應(yīng)商，其架構(gòu)非常簡單：

（1）CDN 提供 DDos 防護(hù)并緩存靜態(tài)內(nèi)容，

（2）NGINX 前端代理和靜態(tài)內(nèi)容服務(wù)器，

（3）負(fù)載平衡器負(fù)責(zé)流量分配，

（4）用英偉達(dá) Tesla K80 GPU 支持 colouriser 服務(wù)，進(jìn)行實(shí)際的上色操作。

Colourise.sg 架構(gòu)圖

上色過程屬于計(jì)算密集型任務(wù)，完成一張圖片大約花費(fèi) 3 秒鐘。照此，我們打算使用 NGINX 服務(wù)器將請求排至后端，從而屏蔽后端 colouriser 服務(wù)器。如果請求導(dǎo)入的速度遠(yuǎn)遠(yuǎn)超出后端服務(wù)器的操作能力，NGINX 服務(wù)器直接將狀態(tài)響應(yīng)返回至客戶，請求用戶再次嘗試。

這一架構(gòu)的關(guān)鍵點(diǎn)在于 colouriser 服務(wù)虛擬機(jī)能夠?qū)γ颗_虛擬機(jī)所必須提供的流量做出自動(dòng)調(diào)整。此舉可以節(jié)省成本，其他虛擬機(jī)只在需要時(shí)開啟。

結(jié)果

以下是我們最喜歡的一些生成結(jié)果，使用的訓(xùn)練照片來自紐約公共圖書館（New York Public Library）和新加坡國家檔案館（National Archives of Singapore）。這些原始照片均為黑白照片，對我們創(chuàng)建的彩色照片沒有任何影響。

較好的生成結(jié)果

該模型在高分辨率照片上表現(xiàn)很好，這些照片突出了人類主體（人在照片中占很大比例）和自然景色。

下面的照片看起來很真實(shí)（至少對我們來說），因?yàn)樗鼈儼恍┰趫D像數(shù)據(jù)集中訓(xùn)練充分的目標(biāo)。因此模型可以識別圖像中的正確目標(biāo)，并給它們準(zhǔn)確上色。

「在巴東慶祝馬來西亞日」——攝于 1963 年 9 月 16 日。圖中為 Yang Di-Pertuan Negara Yusof Ishak 和聯(lián)邦內(nèi)部安全長官 Ismail bin Dato Abdul Rahman 拿督。新加坡國家檔案館館藏照片（左），用 Colourise.sg 上色的照片（右）。