摘要：周末閑來(lái)無(wú)事，隨手整理電腦里的照片，望著一張物是人非的老相片，勾起了斑駁的回憶。忽爾轉(zhuǎn)念一想，何不下，但有些大且不免費(fèi)自己懶得裝，于是，轉(zhuǎn)向免費(fèi)的圖像復(fù)原軟件。參考資料照片修復(fù)使用原文鏈接專注于機(jī)器視覺(jué)編程

? ? 周末閑來(lái)無(wú)事，隨手整理電腦里的照片，望著一張物是人非的老相片，勾起了斑駁的回憶。忽爾轉(zhuǎn)念一想，何不 PS 下，但 Photoshop 有些大且不免費(fèi)自己懶得裝，于是，轉(zhuǎn)向免費(fèi)的圖像復(fù)原軟件。

? ? 網(wǎng)上搜來(lái)找去，卻一直沒(méi)尋到合適的，最后查到 CVPR 2020 的一篇 Oral 論文，看到有的博客已經(jīng)詳細(xì)介紹過(guò)了，恰好作者也開(kāi)放了源碼，于是，一時(shí)興起，拍腦門決定，就拿這個(gè)來(lái)復(fù)原老相片吧。

? ? 結(jié)果，忙活了半個(gè)晚上 (主要是用手機(jī)熱點(diǎn)，時(shí)間浪費(fèi)在了下載速度上) 加一個(gè)上午 (踩了很多第三方庫(kù)安裝、python 向低版本重裝的坑)，終于成功復(fù)原圖像，遂寫下此博文，以免后來(lái)者重復(fù)踩坑 ... ...

?

1? CVPR 會(huì)議

? ? CVPR 全稱 IEEE Conference on Computer Vsion and Pattern Recongniton，是計(jì)算機(jī)視覺(jué)的三大頂會(huì)之一 (另兩個(gè)是 ICCV 和 ECCV)，由 IEEE 每年舉辦一次

? ? 2021年，按照 Google Scholar Metrics 排名，CVPR 已經(jīng)擠掉了《柳葉刀》，成為全球影響力排名第四的頂級(jí)期刊會(huì)議，排在前面的有 《Nature》和《Science》

? ? ?

?

?2? Oral 論文

? ? 2020年的 CVPR 會(huì)議中，有效投稿 6656 篇論文，1470 篇被錄用，接收率約 22%，其中 335 篇選中 Oral，比率約 5%

? ? 這篇《Bringing Old Photos Back to Life》屬于 Oral 論文，含金量可見(jiàn)一斑，論文鏈接：https://arxiv.org/pdf/2004.09484.pdf

? ? 論文的內(nèi)容不再贅述，請(qǐng)讀者自行閱讀，摘錄論文實(shí)現(xiàn)的效果圖，如下：

? ? ???

? ? 源碼作者已經(jīng)開(kāi)放，GitHub 鏈接：https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life

?

3? 實(shí)踐步驟

3.1? 測(cè)試環(huán)境

? ? Win 64 中使用 PoweShell 終端，已安裝 Python 3.9.9，安裝過(guò)程中勾選下圖 pip 選項(xiàng)：

? ? ??

? ? 可在 PowerShell 中輸入 py --version，查看安裝的 Python 版本?

3.2? 源碼和模型

3.2.1? 源碼? ??

? ? 如有 git 可用 git clone 命令，如下

git clone https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life.git　

? ? 也可直接下載鏈接中的 Source code：https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life/releases

? ? ??

? ? 如果下載速度較慢的話，可先點(diǎn)擊下載，然后復(fù)制鏈接到迅雷下載，能顯著提高下載速度

3.2.2? 模型

? ? 1)? 下載 face_landmark 預(yù)訓(xùn)練模型，解壓后放在 Face_Detection 目錄下

cd Face_Detection/wget http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2bzip2 -d shape_predictor_68_face_landmarks.dat.bz2cd ../

? ? 2)? 下載 face_checkpoints 模型，解壓后置于 Face_Enhancement 目錄下

cd Face_Enhancement/wget https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life/releases/download/v1.0/face_checkpoints.zipunzip face_checkpoints.zipcd ../　　

? ? 3)? 下載 global_checkpoints 模型，解壓后置于 Global 目錄下

cd Global/wget https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life/releases/download/v1.0/global_checkpoints.zipunzip global_checkpoints.zipcd ../

? ? 2) 和 3) 也可以通過(guò) 3.2.1 中的鏈接下載，解壓后分別置于對(duì)應(yīng)目錄中

3.2.3? sync_batchnorm

? ? 下載?Synchronized-BatchNorm-PyTorch，將子文件夾 sync_batchnorm，拷貝到 Face_Enhancement/models/networks/ 目錄下

cd Face_Enhancement/models/networks/git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorchcp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .cd ../../../

? ? 相同的 sync_batchnorm 文件夾，再拷貝到 Global/detection_models/ 目錄下

cd Global/detection_modelsgit clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch  # no need doing git clone once againcp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .cd ../../　

3.3??依賴庫(kù)

3.3.1? 第三方庫(kù)

? ? 可直接使用 pip 和 requirements.txt，一鍵下載全部依賴庫(kù)

pip install -r requirements.txt

　requirements.txt 中的所有依賴庫(kù)如下：其中，torch, torchvision 和 dlib 稍稍復(fù)雜，可放在后面多帶帶安裝

torchtorchvisiondlibscikit-imageeasydictPyYAMLdominate>=2.3.1dilltensorboardXscipyopencv-pythoneinopsPySimpleGUI

3.3.2? Torch 和 Torchvision　　

? ? Torch, Torchvision 和 Python，三者版本是有一定的對(duì)應(yīng)關(guān)系，需要多帶帶安裝，關(guān)系圖參考：https://github.com/pytorch/vision

? ? ??

? ? 第一種方法，用 pip install torch==1.8.1 和 pip install torchvision==0.9.2 進(jìn)行安裝，但在 PowerShell 中，有時(shí)會(huì)因網(wǎng)絡(luò)不穩(wěn)定導(dǎo)致安裝不成功

? ? 第二種方法，提前下載好對(duì)應(yīng)的 .whl 版本，下載鏈接：https://download.pytorch.org/whl/torch_stable.html，然后，分別執(zhí)行如下命令? ??

pip install  torch-1.8.1+cpu-cp39-cp39-win_amd64.whlpip install  torchvision-0.9.1+cpu-cp39-cp39-win_amd64.whl

? ? 安裝成功后，可用如下命令查看版本? ??

import torchprint(torch.__version__)

? ? 查看到的版本是 torch 1.8.1+cpu 和 torchvision 0.9.1+cpu

3.3.3? dlib

? ? 直接使用 pip install dib，安裝并不成功，建議先下載 .whl 文件，再通過(guò) pip 來(lái)安裝，下載鏈接：https://github.com/sachadee/Dlib? ??

pip install dlib-19.22.99-cp39-cp39-win_amd64.whl

3.4? 執(zhí)行效果

? ? 此處使用普通電腦測(cè)試，沒(méi)有 GPU，所以 "--GPU" 設(shè)為 “-1”

? ? 1)? 對(duì)于帶有劃痕的照片，加選項(xiàng) “--with_scratch”?

? ? 2)? 對(duì)于高分辨率的照片，加選項(xiàng) "--HR"

py run.py --input_folder ./test_images/old/ --output_folder ./output/ --GPU -1

? ? 翻拍的老相片，復(fù)原前后對(duì)比如下：尤其放大相片后，人臉的對(duì)比效果非常明顯

? ??? ??

?? ??

?4? 其它方法

? ? 閱讀一篇好的論文，顯然比在網(wǎng)上搜索更加有效，從文末的效果對(duì)比可知，主流的圖像復(fù)原方法有：DIP, CyleGAN, Sequential, Pix2Pix 和 Operation-wise Attention 等，也算是一個(gè)額外的收獲吧。

? ? ??

?

參考資料

? ??Bringing Old Photos Back to Life

? ? 照片修復(fù)-使用Bringing-Old-Photos-Back-to-Life

? ?