摘要：今天，圖鴨發(fā)布黑科技，將解決這一痛點。深度學(xué)習(xí)圖片壓縮的優(yōu)勢圖鴨科技通過深度學(xué)習(xí)技術(shù)研發(fā)的圖片壓縮在內(nèi)部的測試上已經(jīng)超過與，下圖是在標(biāo)準(zhǔn)數(shù)據(jù)集上測評結(jié)果分別是值與值。

在社交網(wǎng)絡(luò)上，用戶每天都要使用、分享和下載圖片，但是很多高清圖片由于存儲和帶寬的壓力被人為降低了畫質(zhì)。

伴隨著2K手機和4K顯示屏逐漸成熟并走向市場，用戶對高清畫質(zhì)的要求也在逐漸增加。但是高清顯示一直缺乏內(nèi)容，成為行業(yè)發(fā)展的痛點。所以將低分辨圖片轉(zhuǎn)化為高清版本，并在各大設(shè)備上進(jìn)行查看和分享，已成為市場的巨大需求。

今天，圖鴨發(fā)布黑科技——Tiny Network Graphics(TNG)，將解決這一痛點。

TNG是圖鴨科技在2018年推出的一款圖像壓縮技術(shù)，旨在在保持圖片的質(zhì)量下，盡可能降低圖片的大小，使用戶在帶寬受限的網(wǎng)絡(luò)情況下，仍然可以看到高清的圖像；同時幫助圖片類企業(yè)節(jié)約大量的帶寬成本。

相比目前市面上的圖像壓縮技術(shù)，圖鴨TNG采用了深度學(xué)習(xí)卷積網(wǎng)絡(luò)（CNN）的編碼方式，與JPEG相比，壓縮率提升了122%；與WebP相比，壓縮率提高了30% 。而且相比BPG/HEIF等圖片格式，TNG采用了CNN技術(shù)而非HEVC編解碼器，在保證圖片質(zhì)量的同時，避免了高昂的專利費用。

TNG采用的算法是深度學(xué)習(xí)技術(shù)中的卷積神經(jīng)網(wǎng)絡(luò)（CNN）。卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍，適合大型圖像處理。

上圖是卷積神經(jīng)網(wǎng)絡(luò)的示意圖，我們看圖可以發(fā)現(xiàn)，它就像搭積木一樣，一個卷積神經(jīng)網(wǎng)絡(luò)由卷積、池化、非線性函數(shù)、歸一化層等模塊組成。最終的輸出根據(jù)應(yīng)用而定，如在人臉識別領(lǐng)域，我們可以用它來提取一串特征來表示一幅人臉圖片。然后通過比較特征的異同進(jìn)行人臉識別。

如圖2所示，完整的深度學(xué)習(xí)圖片壓縮框架包括CNN編碼器、量化、反量化、CNN解碼器、熵編碼、碼字估計和碼率-失真優(yōu)化等幾個模塊。編碼器的作用是將圖片轉(zhuǎn)換為壓縮特征，解碼器就是從壓縮特征恢復(fù)出原始圖片。其中編碼網(wǎng)絡(luò)和解碼器，可以用卷積、池化、非線性等模塊進(jìn)行設(shè)計和搭建。

（圖2:用深度學(xué)習(xí)進(jìn)行圖片壓縮示意圖）

目前評判一個壓縮算法的重要指標(biāo)有三個：PSNR（Peak Signal to Noise Ratio）、BPP（bit per pixel）和MS-SSIM（multi-scaleSSIM index）。

我們知道，任何數(shù)據(jù)在計算機內(nèi)都是以比特形式存儲，所需比特數(shù)越多則占據(jù)的存儲空間越大。PSNR用來評估解碼后圖像恢復(fù)質(zhì)量，BPP用于表示圖像中每個像素所占據(jù)的比特數(shù)，MS-SSIM值用來衡量圖片的主觀質(zhì)量，簡單來說在同等的Rate/BPP下PSNR更高，壓縮效果更好，MSSIM更高，主觀感受更好。

?談到如何用深度學(xué)習(xí)做壓縮，我們以圖片來舉例。將一張大小 768 512 的三通道圖片送入編碼網(wǎng)絡(luò)，進(jìn)行前向處理后，會得到占據(jù) 96 64 * 192 個數(shù)據(jù)單元的壓縮特征。有計算機基礎(chǔ)的讀者可能會想到，這個數(shù)據(jù)單元中可放一個浮點數(shù)，整形數(shù)，或者是二進(jìn)制數(shù)。那到底應(yīng)該放入什么類型的數(shù)據(jù)呢？

從圖像恢復(fù)角度和神經(jīng)網(wǎng)絡(luò)原理來講，如果壓縮特征數(shù)據(jù)都是浮點數(shù)，恢復(fù)圖像質(zhì)量是最高的。但一個浮點數(shù)占據(jù)32個比特位，圖片的計算公式為（ 96 64 192 32）/（768512）=96，壓縮后反而每個像素占據(jù)比特從24變到96！圖片大小非但沒有壓縮，反而增加了，這是一個糟糕的結(jié)果，很顯然浮點數(shù)不是好的選擇。
?
所以為了設(shè)計靠譜的算法，可以使用一種稱為量化的技術(shù)，它的目的是將浮點數(shù)轉(zhuǎn)換為整數(shù)或二進(jìn)制數(shù)，最簡單的操作是去掉浮點數(shù)后面的小數(shù)，浮點數(shù)變成整數(shù)后只占據(jù)8比特，則表示每個像素要占據(jù)24個比特位。與之對應(yīng)，在解碼端，可以使用反量化技術(shù)將變換后的特征數(shù)據(jù)恢復(fù)成浮點數(shù)，如給整數(shù)加上一個隨機小數(shù)，這樣可以一定程度上降低量化對神經(jīng)網(wǎng)絡(luò)精度的影響，從而提高恢復(fù)圖像的質(zhì)量。

即使壓縮特征中每個數(shù)據(jù)占據(jù)1個比特位，可是壓縮還是有可進(jìn)步的空間。那如何進(jìn)一步優(yōu)化算法？再看下BPP的計算公式。

假設(shè)每個壓縮特征數(shù)據(jù)單元占據(jù)1個比特，則公式可寫成：（96641921）/(768512）=3，計算結(jié)果是3 bit/pixel，從壓縮的目的來看，BPP越小越好。在這個公式中，分母由圖像決定，我們進(jìn)行調(diào)整的只有分子：96、64、192，這三個數(shù)字與網(wǎng)絡(luò)結(jié)構(gòu)相關(guān)。所以，如果我們設(shè)計出更優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)，這三個數(shù)字也會變小。

那1與哪些模塊相關(guān)？1表示每個壓縮特征數(shù)據(jù)單元平均占據(jù)1個比特位，量化會影響這個數(shù)字，但它不是唯一的影響因素，它還與碼率控制和熵編碼有關(guān)。碼率控制的目的是在保證圖像恢復(fù)質(zhì)量的前提下，讓壓縮特征數(shù)據(jù)單元中的數(shù)據(jù)分布盡可能集中、出現(xiàn)數(shù)值范圍盡可能小，這樣我們就可以通過熵編碼技術(shù)來進(jìn)一步降低1這個數(shù)值，圖像壓縮率會進(jìn)一步提升。

用深度學(xué)習(xí)做視頻壓縮，可以看作是在深度學(xué)習(xí)圖片壓縮基礎(chǔ)上的擴展，可結(jié)合視頻序列幀間的光流等時空信息，在單張壓縮的基礎(chǔ)上，進(jìn)一步降低碼率。

圖鴨科技通過深度學(xué)習(xí)技術(shù)研發(fā)的圖片壓縮TNG在內(nèi)部的測試上已經(jīng)超過webp與BPG，下圖是在kodak24標(biāo)準(zhǔn)數(shù)據(jù)集上測評結(jié)果,分別是PSNR值與MS-SSIM值。

圖 3 圖4在kodak24標(biāo)準(zhǔn)數(shù)據(jù)集上測評結(jié)果，上圖為PSNR結(jié)果，下圖為MS-SSIM的結(jié)果

熟悉圖像壓縮的朋友可以直接通過PSNR和MS-SSIM值看出:TNG的PSNR值與MS-SSIM值明顯高于WebP、jpeg2000和jpeg；且TNG在高碼字的情況下PSNR值高于BPG，且其MS-SSIM值基本一致高于BPG

圖5圖6 低碼字情況下TNG與WebP壓縮效果對比。上圖TNG，下圖Webp

相比TNG，WebP盡管保留了更多的細(xì)節(jié)，但是其失真更多，不利于后期恢復(fù)。而TNG采用了保邊濾波的方法，讓其失真更少，整體圖像效果優(yōu)于WebP。

圖7圖8 高碼字情況下TNG與BPG壓縮效果對比，上圖TNG下圖BPG

上面兩幅圖是高碼字的情況，在實際的測試中，BPG會出現(xiàn)上圖所示的顏色失真情況；而反觀TNG其基本不會出現(xiàn)這類的失真狀況。

這是因為BPG在編碼壓縮時盡管圖片時，其YUV通道是分開進(jìn)行編解碼，產(chǎn)生了一些色差。
而TNG在編碼時考慮到了整體圖片的情況，采用了同一編碼，也就避免了上述的情況。

圖9圖10低碼字情況下TNG與BPG壓縮效果對比，上圖TNG下圖BPG

在低碼字的情況下，BPG壓縮圖片中出現(xiàn)了偽輪廓和塊效應(yīng)等問題，整個圖片的連續(xù)性比較差；而TNG的圖片連續(xù)性和物體的輪廓保持的更好。

?
總體而言，借助于深度學(xué)習(xí)設(shè)計圖像壓縮算法是一項非常具有前景但也非常具有挑戰(zhàn)性的技術(shù)。目前，其已經(jīng)在人臉識別等領(lǐng)域證明了它的強大能力，未來圖像壓縮領(lǐng)域的深度學(xué)習(xí)技術(shù)介入可以使大家在全面高清屏的時代有更優(yōu)質(zhì)的視覺體驗，同時在游戲、空間圖像傳感等領(lǐng)域，深度學(xué)習(xí)圖像壓縮算法的應(yīng)用也將帶來更高分辨率，更小存儲空間，更少帶寬成本。

這里附上TNG的測試鏈接，大家可以自行進(jìn)行測試：http://www.tucodec.com/pictur...