摘要：在這種場(chǎng)景下網(wǎng)易云信可以在接收的終端上通過(guò)超分辨率技術(shù)，恢復(fù)視頻質(zhì)量，極大地提升了移動(dòng)端用戶的體驗(yàn)。云信通過(guò)人工智能深度學(xué)習(xí)將低分辨率視頻重建成高分辨率視頻模糊圖像視頻瞬間變高清，為移動(dòng)端為用戶帶來(lái)極致視頻體驗(yàn)。

泛娛樂(lè)應(yīng)用成為主流，社交與互動(dòng)性強(qiáng)是共性，而具備這些特性的產(chǎn)品往往都集中在直播、短視頻、圖片分享社區(qū)等社交化娛樂(lè)產(chǎn)品，而在這些產(chǎn)品背后的黑科技持續(xù)成為關(guān)注重點(diǎn)，網(wǎng)易云信在網(wǎng)易MCtalk 泛娛樂(lè)創(chuàng)新峰會(huì)上重點(diǎn)介紹了超越像素的AI視頻黑科技“超分”。
超分辨率(Super-Resolution)通過(guò)硬件或軟件方法提高原有圖像的分辨率，通過(guò)一幅或者多幅低分辨率的圖像來(lái)得到一幅高分辨率的圖像過(guò)程就是超分辨率重建，可以通過(guò)人工智能深度學(xué)習(xí)將低分辨率視頻重建成高分辨率視頻模糊圖像、視頻瞬間變高清，為移動(dòng)端為用戶帶來(lái)極致視頻體驗(yàn)。
什么是超分辨率
廣義的超分辨率 (SR, Super Resolution) 是指一類(lèi)用于提升圖像分辨率的技術(shù)。這類(lèi)技術(shù)已經(jīng)存在了很長(zhǎng)一段時(shí)間，應(yīng)用也非常廣泛。事實(shí)上，每當(dāng)我們需要以不同于原始分辨率的尺寸來(lái)顯示或存儲(chǔ)圖像時(shí)，就已經(jīng)使用了SR，只不過(guò)使用的是其中最為簡(jiǎn)單的那類(lèi)算法而已。
隨著圖像處理理論的發(fā)展，以及機(jī)器學(xué)習(xí)的普及和更高性能的處理器的出現(xiàn)，各類(lèi)更優(yōu)秀的SR算法陸續(xù)出現(xiàn)?，F(xiàn)在我們提及SR時(shí)，往往是特指依靠機(jī)器學(xué)習(xí)來(lái)實(shí)現(xiàn)的圖像放大算法。下文提到SR時(shí)也均特指這類(lèi)算法。它能夠提供遠(yuǎn)超于傳統(tǒng)圖像放大算法的圖像質(zhì)量。當(dāng)然，運(yùn)算量也要高得多。

圖1. 將原始圖像縮小3倍后分別使用Bicubic (一種傳統(tǒng)圖像放大算法) 和SRCNN (一種基于CNN的圖像放大算法) 進(jìn)行放大[1]。
超分辨率理論描述
SR算法本質(zhì)上和傳統(tǒng)圖像放大算法沒(méi)什么不同，都是利用已有的圖像信息去預(yù)測(cè)需要的像素點(diǎn)。只不過(guò)傳統(tǒng)算法的預(yù)測(cè)模型非常簡(jiǎn)單，可以通過(guò)人工設(shè)計(jì)的方式實(shí)現(xiàn)。例如雙線性插值，就是利用目標(biāo)像素周?chē)乃膫€(gè)點(diǎn)來(lái)做預(yù)測(cè)，離目標(biāo)位置越近的點(diǎn)權(quán)重越大，通過(guò)一個(gè)簡(jiǎn)單的公式就能得到結(jié)果: f(x,y)=f(0,0)(1-x)(1-y)+f(1,0)x(1-y)+f(0,1)(1-x)y+f(1,1)xy

圖2. 雙線性插值，通過(guò)Q11~Q22這四個(gè)點(diǎn)預(yù)測(cè)點(diǎn)P
而現(xiàn)代SR算法為了得到更精確的預(yù)測(cè)結(jié)果，其預(yù)測(cè)模型則復(fù)雜了很多。一般有多個(gè)卷積層和激活層，會(huì)利用到目標(biāo)像素周?chē)艽笠黄瑓^(qū)域的圖像信息，包含成千上萬(wàn)個(gè)模型參數(shù)，純靠人工設(shè)計(jì)是不現(xiàn)實(shí)的。所以人們才會(huì)依靠機(jī)器學(xué)習(xí)的方式來(lái)決定參數(shù)。這種做法還附帶有不少好處。例如你無(wú)需對(duì)圖像處理有深厚的理解就可以訓(xùn)練模型，再比如你可以根據(jù)自己的應(yīng)用場(chǎng)景調(diào)整訓(xùn)練集，從而得到更適合你的預(yù)測(cè)模型。
下圖是一個(gè)簡(jiǎn)單的例子，來(lái)自經(jīng)典的超分算法SRCNN[1]。模型基于卷積神經(jīng)網(wǎng)絡(luò)，以原始圖像為輸入，先是用廉價(jià)的上采樣算法將分辨率提升到期望的大小, 然后經(jīng)過(guò)3層分別為9x9x128，3x3x64，5x5的卷積運(yùn)算，得到超分輸出。

圖3. SRCNN網(wǎng)絡(luò)結(jié)構(gòu)
這幾年每屆超分競(jìng)賽都會(huì)出現(xiàn)不少值得借鑒的新理論和新實(shí)現(xiàn)，SR的效果上限被不斷提高。介紹這些算法的文章有很多，感興趣的讀者可以自行搜索。
什么時(shí)候用超分辨率
雖然視覺(jué)效果很好，但SR在使用上有幾方面限制需要我們注意。其中最重要的就是性能這個(gè)硬性指標(biāo)。即便是極為簡(jiǎn)單的SR算法，其運(yùn)算量也是傳統(tǒng)放大算法的上千倍，能否滿足應(yīng)用的性能需求是需要經(jīng)過(guò)測(cè)試和優(yōu)化的。
另外，目前的SR算法主要分兩個(gè)流派，一派的目標(biāo)是盡可能地還原信息，另一派則允許在不影響視覺(jué)體驗(yàn)的前提下對(duì)內(nèi)容進(jìn)行一些修改。我們需要根據(jù)應(yīng)用場(chǎng)景來(lái)選擇不同的算法。如果在對(duì)圖像還原度要求較高的場(chǎng)合下使用了不適當(dāng)?shù)腟R算法，可能帶來(lái)不好的后果。

圖4. 上圖左側(cè)為SRGAN模型[2]放大4倍生成的圖片，可以看到首飾的紋理被大幅修改。
還有一點(diǎn)，目前的SR算法大都針對(duì)自然圖像。對(duì)于一些特殊的圖像，例如因?yàn)榭s小而失真的文字，直接使用SR算法去放大的效果實(shí)際測(cè)試下來(lái)并不理想。

圖5. 直接使用SR并不能較好地還原失真的文字
超分辨率的優(yōu)勢(shì)
基于深度學(xué)習(xí)的超分技術(shù)能較好的恢復(fù)圖像細(xì)節(jié). 在視頻發(fā)送源可能因?yàn)榉N種客觀限制， 無(wú)法提供高分辨率的視頻. 比如攝像頭采集能力不足， 網(wǎng)絡(luò)帶寬不足，源端處理能力不足等， 在這些情形下， 如果云端或者接收端的處理能力滿足要求， 可以借助超分技術(shù)， 對(duì)于視頻質(zhì)量做恢復(fù)， 呈現(xiàn)給用戶高質(zhì)量的視頻. 所以超分技術(shù)為在惡劣的客觀條件下的視頻應(yīng)用提供了高質(zhì)量呈現(xiàn)的可能， 是傳統(tǒng)的應(yīng)用借助人工智能技術(shù)提升使用體驗(yàn)的一種典型落地場(chǎng)景.
網(wǎng)易云信在超分辨率的實(shí)踐
網(wǎng)易云信提供了點(diǎn)播直播和實(shí)時(shí)音視頻等技術(shù)能力。 支持的終端包括Windows PC, MAC, iPhone, iPad, Android手機(jī)， 機(jī)頂盒， 智能手表等可穿戴設(shè)備。其中可穿戴設(shè)備， 機(jī)頂盒等終端的成本控制比較嚴(yán)格， 通常CPU處理能力相對(duì)較弱， 無(wú)法支持高清， 甚至標(biāo)清的視頻規(guī)格， 但是作為這些終端的使用者， 它們依然希望看到高清或標(biāo)清的視頻質(zhì)量， 接收的終端可能是PC或者性能較好的手機(jī), 平板電腦等設(shè)備，他們自己可能有能力提供優(yōu)秀的計(jì)算資源。在這種場(chǎng)景下, 網(wǎng)易云信可以在接收的終端上通過(guò)超分辨率技術(shù)， 恢復(fù)視頻質(zhì)量，極大地提升了移動(dòng)端用戶的體驗(yàn)。如果接收的終端本身運(yùn)算能力不足以支撐深度學(xué)習(xí)， 但是有能力處理高清視頻的解碼， 網(wǎng)易云信依然可以在云端對(duì)低分辨率的視頻進(jìn)行處理， 采用包括超分在內(nèi)的技術(shù)，對(duì)質(zhì)量恢復(fù)后，將高質(zhì)量的視頻提供到接收終端。
尤其針對(duì)弱網(wǎng)情況，云信將在云端或者接收終端通過(guò)超分技術(shù)對(duì)質(zhì)量進(jìn)行補(bǔ)償， 為用戶呈現(xiàn)超高質(zhì)量視頻。云信通過(guò)人工智能深度學(xué)習(xí)將低分辨率視頻重建成高分辨率視頻模糊圖像、視頻瞬間變高清，為移動(dòng)端為用戶帶來(lái)極致視頻體驗(yàn)。
[1] C. Dong, C. C. Loy, K. He, and X. Tang. Learning a deep convolutional network for image super-resolution. In European Conference on Computer Vision (ECCV), pages 184–199. Springer,
2014.
[2] Ledig C, Theis L,Huszar F, et al. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network[J]. 2016:105-114.

想要閱讀更多技術(shù)干貨、行業(yè)洞察，歡迎關(guān)注網(wǎng)易云信博客。

了解網(wǎng)易云信，來(lái)自網(wǎng)易核心架構(gòu)的通信與視頻云服務(wù)。