作者：SFXiang
首發(fā)：AI算法修煉營(yíng)

今天給大家介紹一篇圖像超分辨率鄰域的綜述，這篇綜述總結(jié)了圖像超分辨率領(lǐng)域的幾方面：problem settings、數(shù)據(jù)集、performance metrics、SR方法、特定領(lǐng)域應(yīng)用以結(jié)構(gòu)組件形式，同時(shí)，總結(jié)超分方法的優(yōu)點(diǎn)與限制。討論了存在的問(wèn)題和挑戰(zhàn)，以及未來(lái)的趨勢(shì)和發(fā)展方向。

1.前言

超分辨率（Super Resolution，SR）是從給定的低分辨率(LR)圖像中恢復(fù)高分辨率(HR)圖像的過(guò)程，是計(jì)算機(jī)視覺(jué)的一個(gè)經(jīng)典應(yīng)用。SR是指通過(guò)軟件或硬件的方法，從觀測(cè)到的低分辨率圖像重建出相應(yīng)的高分辨率圖像（說(shuō)白了就是提高分辨率），在監(jiān)控設(shè)備、衛(wèi)星圖像遙感、數(shù)字高清、顯微成像、視頻編碼通信、視頻復(fù)原和醫(yī)學(xué)影像等領(lǐng)域都有重要的應(yīng)用價(jià)值。

近年來(lái)，目睹了使用深度學(xué)習(xí)技術(shù)的圖像超分辨率的顯著進(jìn)步。文中將現(xiàn)有的使用深度學(xué)習(xí)方法解決圖像超分辨率問(wèn)題的研究工作主要分成三個(gè)部分：

1.supervised SR（有監(jiān)督學(xué)習(xí)的圖像超分辨率）
2.unsupervised SR（無(wú)監(jiān)督學(xué)習(xí)的圖像超分辨率）
3.domain-specific SR （特定應(yīng)用領(lǐng)域的圖像超分辨率）

2.超分辨率SR問(wèn)題定義

其中，Φ(θ)是正則化項(xiàng)，SR最常見(jiàn)的損失函數(shù)為逐像素差的均方誤差，更強(qiáng)大的模型往往采用將多種損失函數(shù)相結(jié)合的方式。

3.數(shù)據(jù)集

一些數(shù)據(jù)集提供HR-LR圖像對(duì)，有的只提供HR圖像，LR圖像通常是通過(guò)MATLAB中默認(rèn)設(shè)置的imresize函數(shù)（雙三次插值with anti-aliasing）獲得。下表是一些SR常用數(shù)據(jù)集：

4.圖像質(zhì)量評(píng)估

如何定量地評(píng)估模型的性能？許多圖像質(zhì)量評(píng)估(IQA)技術(shù)(或度量)用于相同的目的。這些指標(biāo)可以大致分為兩類(lèi)——主觀指標(biāo)和客觀指標(biāo)。

峰值信噪比 PSNR

峰值信噪比(PSNR)是一種常用的客觀指標(biāo)，通常用來(lái)衡量有損變換的圖像質(zhì)量。對(duì)于SR，通過(guò)圖片間的最大可能像素值L和均方誤差MSE定義，PSNR與ground truth圖像與生成圖像的均方誤差(MSE)的對(duì)數(shù)成反比。假設(shè)HR圖像I和重建圖像 ? I，兩者的像素都是N，MSE和PNSR(db)如下所示：

在上面的公式中，8bit表示一個(gè)像素點(diǎn)的取值，取值范圍為0~255，L是可能的最大像素值(對(duì)于8位RGB圖像，它是255),PSNR的典型值從20到40不等，越高越好。從式子可以看出，L一定，PNSR只與像素間的MSE有關(guān)，所以，PSNR只關(guān)心像素值之間的差異，它并不能很好地代表感知質(zhì)量。PSNR在真實(shí)場(chǎng)景的SR衡量效果較差，但由于缺乏感知衡量標(biāo)準(zhǔn)，運(yùn)用最為廣泛。

結(jié)構(gòu)相似度 SSIM

Operating Channels

除了RGB，YCbCr顏色空間也被廣泛使用。Y, Cb, Cr 分別表示亮度、藍(lán)差、紅差色度分量。早期的模型更傾向于在Y通道上進(jìn)行操作，最近的模型更多的處理RGB顏色通道。在不同的顏色空間或者通道上操作會(huì)使評(píng)估的性能造成很大的不同。

其他的IQA分?jǐn)?shù)

平均意見(jiàn)評(píng)分(MOS)

基于任務(wù)的評(píng)價(jià)

信息保真度準(zhǔn)則(IFC)

視覺(jué)信息保真度(VIF)

5.監(jiān)督式SR方法

深度學(xué)習(xí)可以用給定的低分辨率圖像來(lái)估計(jì)高分辨率圖像。通過(guò)使用高分辨率圖像作為目標(biāo)(或 ground-truth)和LR圖像作為輸入，我們可以將其視為監(jiān)督學(xué)習(xí)問(wèn)題。監(jiān)督式SR方法是同時(shí)使用LR和相應(yīng)的HR圖像進(jìn)行訓(xùn)練。

監(jiān)督式SR方法框架

通過(guò)上采樣模塊在模型中的位置，可以將這些模型分為四個(gè)框架。

1、前置上采樣SR

該方法首先對(duì)低分辨率圖像進(jìn)行插值，得到“粗”的高分辨率圖像。

直接從LR圖像學(xué)習(xí)HR圖像存在一定難度，利用傳統(tǒng)方法（雙三次插值）上采樣，在通過(guò)神經(jīng)網(wǎng)絡(luò)優(yōu)化重建高質(zhì)量的細(xì)節(jié)，是一種直接的解決方案。SRCNN學(xué)習(xí)經(jīng)過(guò)插值處理的LR圖像到HR圖像之間的映射。

優(yōu)點(diǎn)：通過(guò)傳統(tǒng)算法進(jìn)行上采樣，神經(jīng)網(wǎng)絡(luò)只需要對(duì)粗HR圖像進(jìn)行精細(xì)化處理，大大降低了學(xué)習(xí)難度?？梢詫⑷我獯笮〉牟逯堤幚砗蟮膱D像作為輸入，效果與單尺度模型相當(dāng)。

預(yù)先上采樣方法的副作用：噪聲放大、模糊、在高維空間計(jì)算造成的時(shí)間和空間成本大。由于這里沒(méi)有使用轉(zhuǎn)置卷積，checkerboard artifacts可能會(huì)被繞過(guò)。

2、后置上采樣SR

在這種情況下，低分辨率圖像被傳遞到CNNs。上采樣在最后一層使用可學(xué)習(xí)層來(lái)執(zhí)行。將上采樣操作移至網(wǎng)絡(luò)末端，在低維空間中學(xué)習(xí)映射。

該方法的優(yōu)點(diǎn)是在較低維空間(上采樣前)進(jìn)行特征提取，從而降低了計(jì)算復(fù)雜度。此外，通過(guò)使用一個(gè)可學(xué)習(xí)的上采樣層，可以對(duì)模型進(jìn)行端到端的訓(xùn)練。分辨率提升只在網(wǎng)絡(luò)后端發(fā)生，計(jì)算復(fù)雜度大大提升。上采樣只在一個(gè)步驟中進(jìn)行，學(xué)習(xí)大的上采樣因子的難度很大。每個(gè)尺度都需要單獨(dú)的SR模型，無(wú)法滿(mǎn)足多尺度SR的需要。

3、逐步上采樣SR

在上面的組中，雖然計(jì)算復(fù)雜度降低了，但是只使用了一個(gè)上采樣卷積。這使得大尺度縮放的學(xué)習(xí)過(guò)程更加困難。為了解決這個(gè)缺陷，Laplacian Pyramid SR Network和progressive SR采用了漸進(jìn)上采樣的框架。在這種情況下，模型使用級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)在較小的尺度上每一步逐步重建高分辨率的圖像。

通過(guò)將一個(gè)困難的任務(wù)分解成更簡(jiǎn)單的任務(wù)，可以大大降低學(xué)習(xí)難度，獲得更好的性能。此外，像curriculum learning這樣的學(xué)習(xí)策略可以進(jìn)一步降低學(xué)習(xí)難度，提高最終的performance。lapSRN 采用漸進(jìn)式SR框架解決了Post-upsampling SR框架無(wú)法滿(mǎn)足的多尺度問(wèn)題。采用連續(xù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，逐步重建高分辨率圖片。MS-LapSRN和progressive SR也采用了這個(gè)框架。但存在模型復(fù)雜、訓(xùn)練難度大的問(wèn)題。

4、迭代上下采樣SR

另一種流行的模型架構(gòu)是hourglass(或U-Net)結(jié)構(gòu)。有些變體，如Stacked Hourglass網(wǎng)絡(luò)使用幾個(gè)連續(xù)的hourglass結(jié)構(gòu)，有效地在上采樣和下采樣過(guò)程之間交替。

該框架下的模型能夠更好地挖掘出低分辨率圖像和高分辨率圖像對(duì)之間的深層關(guān)系，從而提供更高質(zhì)量的重建結(jié)果。為了探究LR-HR圖像對(duì)之間的關(guān)系，將一種有效的迭代過(guò)程——反向投影引入到SR中，迭代的上采樣-下采樣操作，迭代的應(yīng)用反向投影精細(xì)化圖像。計(jì)算重建誤差，再將其融合回來(lái)調(diào)整HR圖像的強(qiáng)度。DBPN采用這種結(jié)構(gòu)，將一系列中間HR結(jié)果聯(lián)系起來(lái)重構(gòu)成最后的HR結(jié)果。

6.上采樣方法

除了模型中的上采樣位置外，如何執(zhí)行上采樣也非常重要。盡管存在多種傳統(tǒng)的上采樣方法，但利用CNN來(lái)學(xué)習(xí)端到端的上采樣已逐漸成為一種趨勢(shì)。在本節(jié)中，我們將介紹一些傳統(tǒng)的基于插值的算法和基于深度學(xué)習(xí)的上采樣方法。

上采樣方法有：

1、最近鄰插值和雙線(xiàn)性插值

最近鄰插值：每個(gè)待插值的位置選擇最相鄰的像素值，而不考慮其他像素，處理速度快，生成圖片質(zhì)量低、塊狀化。

雙線(xiàn)性插值：每次在一個(gè)軸上進(jìn)行，然后在另一個(gè)軸上再次進(jìn)行。保持速度較快的同時(shí)，性能比最近鄰插值好得多。感受野為2*2雙三次插值同樣，雙三次插值對(duì)圖像的兩個(gè)維度進(jìn)行三次插值，需要4x4的像素進(jìn)行計(jì)算，計(jì)算速度慢，效果更平滑。anti-aliasing的雙三次插值是目前構(gòu)造SR數(shù)據(jù)集的主流方法。

基于插值的上采樣方法只能通過(guò)圖像的本身內(nèi)容提高圖像的分辨率，并沒(méi)有帶來(lái)更多信息，相反還有噪聲放大、計(jì)算復(fù)雜度增加、結(jié)果模糊等副作用。

2、轉(zhuǎn)置卷積

通過(guò)插入零值，進(jìn)行卷積來(lái)提高圖像的分辨率。由于轉(zhuǎn)置卷積在保持與卷積兼容的連接模式的同時(shí)以端到端的方式放大了圖像大小，因此它被廣泛用作SR模型的上采樣層。

然而，該層很容易在每個(gè)軸上引起“不均勻重疊”，并且兩個(gè)軸上的相乘結(jié)果進(jìn)一步創(chuàng)建了大小變化的棋盤(pán)狀圖案，從而損害了SR性能。

3、亞像素層

與轉(zhuǎn)置卷積層相比，亞像素層具有更大的感受野，它提供了更多的上下文信息以幫助生成更多逼真的細(xì)節(jié)。然而，由于感受野的分布是不均勻的，并且塊狀區(qū)域?qū)嶋H上共享相同的感受野，因此可能會(huì)導(dǎo)致在不同塊的邊界附近出現(xiàn)一些偽影。另一方面，獨(dú)立預(yù)測(cè)塊狀區(qū)域中的相鄰像素可能會(huì)導(dǎo)致輸出不平滑。

4、Meta upscale module

以前的方法需要預(yù)先定義縮放因子，即針對(duì)不同的因子訓(xùn)練不同的上采樣模塊，效率低下，而且不符合實(shí)際需求。Meta upscale 模塊基于元學(xué)習(xí)解決任意比例因子的SR。具體來(lái)說(shuō)，對(duì)于HR圖像上的每個(gè)目標(biāo)位置，此模塊將其投影到LR特征圖上的一個(gè)小塊（即k ×k×cin），根據(jù)密集層的投影偏移和縮放因子預(yù)測(cè)卷積權(quán)重（即，k×k×cin×cout）并執(zhí)行卷積。

這樣，Meta upscale module可以通過(guò)單個(gè)模型以任意因子連續(xù)放大它。并且由于大量的訓(xùn)練數(shù)據(jù)（同時(shí)訓(xùn)練多個(gè)因素），該模塊在固定因素上可以表現(xiàn)出相當(dāng)甚至更好的性能。但是，該方法基于與圖像內(nèi)容無(wú)關(guān)的多個(gè)值來(lái)預(yù)測(cè)每個(gè)目標(biāo)像素的大量卷積權(quán)重，因此當(dāng)面對(duì)較大放大倍數(shù)時(shí)，預(yù)測(cè)結(jié)果可能不穩(wěn)定且效率較低。

7.常用網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

除了經(jīng)典的2D卷積，網(wǎng)絡(luò)中還可以使用一些有趣的變體來(lái)改進(jìn)結(jié)果。Dilated卷積可以提供更有效的感受野，因此可以使用長(zhǎng)距離依賴(lài)的信息。Skip connections、Spatial Pyramid Pooling和Dense Blocks推動(dòng)了低級(jí)特征和高級(jí)特征的結(jié)合，以提高性能。

1、Residual Learning

全局殘差學(xué)習(xí)：由于輸入與輸出圖像高度相關(guān)，研究者嘗試只學(xué)習(xí)兩幅圖像的殘差，只需要學(xué)習(xí)一個(gè)殘差映射恢復(fù)丟失的高頻細(xì)節(jié)，大大降低了模型的復(fù)雜度和難度。

局部殘差學(xué)習(xí)：用于緩解網(wǎng)絡(luò)不斷加深造成的梯度消失、爆炸的問(wèn)題，增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力。

由跳躍連接和逐像素加法進(jìn)行計(jì)算，前者連接輸入與輸出，后者在不同網(wǎng)絡(luò)層之間進(jìn)行連接。

2、Recursive Learning

為了實(shí)現(xiàn)更大的感受野和進(jìn)行更高層次的特征學(xué)習(xí)并且避免更多的參數(shù)，將遞歸引入模型。16個(gè)循環(huán)的DRCN采用單卷積層遞歸，感受野達(dá)到41×41，遠(yuǎn)大于SRCNN的13×13，并且沒(méi)有過(guò)多參數(shù)。

DRRN將殘差塊作為遞歸單元進(jìn)行25次遞歸，性能優(yōu)于17個(gè)殘差塊的非遞歸基線(xiàn)。

后來(lái)Tai等人提出了基于記憶塊的MemNet，記憶塊由6個(gè)遞歸殘塊組成，每個(gè)遞歸的輸出連接起來(lái)，再經(jīng)過(guò)一個(gè)額外的1×1卷積進(jìn)行記憶和遺忘。CARN也采用了包含多個(gè)殘差塊的遞歸單元。

Han等提出了雙狀態(tài)遞歸網(wǎng)絡(luò)(dual-state network, DSRN)來(lái)交換HR狀態(tài)和LR狀態(tài)之間的信號(hào)。在每個(gè)時(shí)間步，它們根據(jù)當(dāng)前LR狀態(tài)和HR狀態(tài)更新LR狀態(tài)，然后將其傳輸?shù)紿R狀態(tài)進(jìn)行更新。通過(guò)雙態(tài)遞歸學(xué)習(xí)(最多7次遞歸)，更好地探索了LR-HR圖像對(duì)之間的深層關(guān)系。而Lai不僅將卷積層作為遞歸層，還將特征嵌入模塊、特征上采樣模塊和圖像上采樣模塊作為遞歸模塊，對(duì)每個(gè)子問(wèn)題共享參數(shù)。

遞歸學(xué)習(xí)使得參數(shù)的數(shù)量大大減少，但帶來(lái)了梯度消失和梯度爆炸的問(wèn)題。因此通常將殘差學(xué)習(xí)和遞歸學(xué)習(xí)結(jié)合來(lái)緩解這些問(wèn)題。

3、Multi-path Learning

多路徑學(xué)習(xí)是指通過(guò)模型的多個(gè)路徑傳遞特性，這些路徑執(zhí)行不同的操作，以提供更好的建模能力。具體來(lái)說(shuō)，它可以分為三種類(lèi)型：

Global Multi-path Learning：全局多路徑學(xué)習(xí)是指利用多個(gè)路徑提取圖像不同方面的特征。這些路徑在傳播過(guò)程中可以相互交叉，從而大大提高了特征提取的能力。

LapSRN包含一種從粗到細(xì)預(yù)測(cè)子帶殘差的特征提取路徑，以及一種基于兩種路徑信息重構(gòu)可見(jiàn)HR圖像的圖像重建路徑。

同樣，DSRN利用LR路徑和HR路徑分別在低維空間和高維空間中提取信息。這兩條路徑不斷交換信息，進(jìn)一步提高學(xué)習(xí)能力。

Local Multi-path Learning：MSRN采用了一種新的多尺度特征提取塊，如上圖所示，在該塊中，采用核大小為3×3和5×5的兩個(gè)卷積運(yùn)算同時(shí)提取特征，然后將輸出串接起來(lái)，再次進(jìn)行相同的運(yùn)算，最后再進(jìn)行一個(gè)額外的1×1卷積。，最后再進(jìn)行一個(gè)額外的1×1卷積。跳躍連接通過(guò)elementwise加法連接此塊的輸出和輸入。通過(guò)這種局部多路徑學(xué)習(xí)，SR模型可以更好地從多個(gè)尺度提取圖像特征，進(jìn)一步提高性能。

Scale-speci?c Multi-path Learning：不同尺度要經(jīng)歷相同的特征提取過(guò)程，提出這種結(jié)構(gòu)，來(lái)處理單一網(wǎng)絡(luò)下的多尺度SR問(wèn)題。

具體來(lái)說(shuō)，它們共享模型的主要部分，并在網(wǎng)絡(luò)的開(kāi)始端和結(jié)束端分別附加特定尺度的預(yù)處理路徑和上采樣路徑。在訓(xùn)練期間，只啟用與所選比例相對(duì)應(yīng)的路徑。通過(guò)這種方式，大多數(shù)參數(shù)可以在不同的尺度上共享。

4、Dense Connections

5、Channel Attention

6、Advanced Convolution

Dilated Convolution. 空洞卷積，增大感受野，有助于生成逼真的細(xì)節(jié)

Group Convolution：群卷積。一些工作已經(jīng)證明，群卷積可以在性能不高的情況下減少大量的參數(shù)和運(yùn)算，而CARN-M在性能損失很小的情況下將參數(shù)數(shù)量減少了5倍，運(yùn)算減少了4倍。

7、Pixel Recursive Learning

大多數(shù)SR模型將SR看作是一個(gè)像素獨(dú)立的任務(wù)，因此不能合理地獲取生成像素之間的相互依賴(lài)關(guān)系。

受PixelCNN的啟發(fā)，Dahl等首先提出像素遞歸學(xué)習(xí)，利用兩個(gè)網(wǎng)絡(luò)分別捕獲全局上下文信息和序列生成依賴(lài)關(guān)系，逐像素生成。雖然這些方法在一定程度上表現(xiàn)出了較好的性能，但是需要較長(zhǎng)的傳播路徑的遞歸過(guò)程大大增加了計(jì)算成本和訓(xùn)練難度，特別是對(duì)于超分辨率HR圖像。

8、Pyramid Pooling

受空間金字塔池層的激勵(lì)，提出了金字塔池模塊，以更好地利用全局和局部上下文信息。

9、Wavelet Transformation

10、Desubpixel

11、xUnit

8.常用損失函數(shù)

利用損失函數(shù)來(lái)測(cè)量生成的高分辨率圖像與ground truth高分辨率圖像之間的差異。然后用這個(gè)差(誤差)來(lái)優(yōu)化監(jiān)督學(xué)習(xí)模型。存在幾種類(lèi)型的損失函數(shù)，每一種函數(shù)都對(duì)生成的圖像的不同方面進(jìn)行懲罰。

通常，通過(guò)對(duì)每個(gè)損失函數(shù)的誤差分別加權(quán)和求和，可以使用多個(gè)損失函數(shù)。這使得模型能夠同時(shí)關(guān)注多個(gè)損失函數(shù)所貢獻(xiàn)的方面。

total/_loss = weight/_1 * loss/_1 + weight/_ 2 * loss/_2 + weight/_3 * loss/_3

像素?fù)p失

像素?fù)p失是最簡(jiǎn)單的一類(lèi)損失函數(shù)，其中生成的圖像中的每個(gè)像素都直接與ground-truth圖像中的每個(gè)像素進(jìn)行比較。使用流行的損失函數(shù)，如L1或L2損失，或高級(jí)變體，如smooth L1損失。

PSNR度量(下面討論)與像素?fù)p失高度相關(guān)，因此最小化像素?fù)p失可以直接最大化PSNR度量值(表明性能良好)。然而，像素?fù)p失并沒(méi)有考慮到圖像質(zhì)量，而且模型常常輸出感知上不令人滿(mǎn)意的結(jié)果(通常缺乏高頻細(xì)節(jié))。

內(nèi)容損失

這種損失是基于圖像的感知質(zhì)量來(lái)評(píng)估圖像質(zhì)量的。一種有趣的方法是比較生成的圖像和ground truth圖像的高層特征。我們可以讓圖像通過(guò)一個(gè)預(yù)先訓(xùn)練好的圖像分類(lèi)網(wǎng)絡(luò)(如VGG-Net或ResNet)來(lái)獲得這些高級(jí)特征。

上面的函數(shù)計(jì)算ground-truth圖像和生成的圖像之間的內(nèi)容損失，給定pre-trained網(wǎng)絡(luò)(Φ)，和第I層的輸出，網(wǎng)絡(luò)計(jì)算這兩者的損失。這種損失鼓勵(lì)生成的圖像在感知上類(lèi)似于ground-truth圖像。由于這個(gè)原因，它也被稱(chēng)為感知損失。

紋理?yè)p失

為了使生成的圖像具有與ground-truth圖像相同的樣式(紋理、顏色、對(duì)比度等)，使用紋理?yè)p失(或樣式重建損失)。根據(jù)Gatys et. al的描述，圖像的紋理被定義為不同特征通道之間的相關(guān)性。特征通道通常用預(yù)訓(xùn)練的圖像分類(lèi)網(wǎng)絡(luò)(Φ)來(lái)提取。

對(duì)抗損失

生成對(duì)抗網(wǎng)絡(luò)(GANs)已越來(lái)越多地用于包括超分辨率在內(nèi)的幾種基于圖像的應(yīng)用。GANs通常由兩個(gè)神經(jīng)網(wǎng)絡(luò)組成——生成器和鑒別器——相互競(jìng)爭(zhēng)。

給定一組目標(biāo)樣本，生成器嘗試生成樣本，以欺騙鑒別器，使其相信它們是真實(shí)的。鑒別器試圖從假(生成的)樣本中分辨出真實(shí)(目標(biāo))樣本。使用這種迭代訓(xùn)練方法，我們最終得到一個(gè)生成器，它非常擅長(zhǎng)生成與目標(biāo)示例類(lèi)似的示例。下圖顯示了一個(gè)典型GAN的結(jié)構(gòu)。

為了提高性能，對(duì)基本GAN體系結(jié)構(gòu)進(jìn)行了改進(jìn)。例如，Park et. al使用特征級(jí)鑒別器來(lái)捕捉真實(shí)高分辨率圖像的更有意義的潛在屬性。你可以查看這個(gè)blog：https://medium.com/beyondmind...

通常情況下，進(jìn)行對(duì)抗損失訓(xùn)練的模型具有更好的感知質(zhì)量，即使它們?cè)赑SNR上可能比那些進(jìn)行像素?fù)p失訓(xùn)練的模型要差。一個(gè)小缺點(diǎn)是，GAN的訓(xùn)練過(guò)程有點(diǎn)困難和不穩(wěn)定。但是，目前正在積極研究穩(wěn)定的GAN的訓(xùn)練的方法。

9.特定領(lǐng)域的應(yīng)用

1、深度圖超分辨率

深度圖記錄了場(chǎng)景中視點(diǎn)和目標(biāo)之間的距離，深度信息在姿態(tài)估計(jì) 、語(yǔ)義分割 等許多任務(wù)中發(fā)揮著重要作用。然而，由于生產(chǎn)力和成本方面的限制，由深度傳感器生成的深度圖通常分辨率較低，并飽受噪聲、量化、缺失值等方面的降級(jí)影響。為了提高深度圖的空間分辨率，研究人員引入了超分辨率。

2、人臉圖像超分辨率

人臉圖像超分辨率（又名 face hallucination，F(xiàn)H）通常有助于完成其它與人臉相關(guān)的任務(wù)。與一般圖像相比，人臉圖像擁有更多與人臉相關(guān)的結(jié)構(gòu)化信息，因此將人臉先驗(yàn)知識(shí)整合到 FH 中是一種非常流行且頗有前景的方法。

3、超光譜圖像超分辨率

與全色圖像（panchromatic image，PAN）相比，超光譜圖像（HSI）包含數(shù)百個(gè)波段的高光譜圖像，能夠提供豐富的光譜特征，幫助完成許多視覺(jué)任務(wù)。然而，由于硬件限制，不僅是搜集高質(zhì)量 HSI 比搜集 PAN 難度更大，搜集到的 HSI 分辨率也要更低。因此，該領(lǐng)域引入了超分辨率，研究人員往往將 HR PAN 與 LR HSI 相結(jié)合來(lái)預(yù)測(cè) HR HSI。

4、視頻超分辨率

在視頻超分辨率中，多個(gè)幀可以提供更多的場(chǎng)景信息，該領(lǐng)域不僅有幀內(nèi)空間依賴(lài)，還有幀間時(shí)間依賴(lài)（如運(yùn)動(dòng)、亮度和顏色變化）。因此，現(xiàn)有研究主要關(guān)注更好地利用時(shí)空依賴(lài)，包括明確的運(yùn)動(dòng)補(bǔ)償（如光流算法、基于學(xué)習(xí)的方法）和循環(huán)方法等。

5、其它應(yīng)用

基于深度學(xué)習(xí)的超分辨率也被應(yīng)用到其它特定領(lǐng)域的應(yīng)用中，而且表現(xiàn)出色。尤其是，RACNN 利用 SR 模型增強(qiáng)了用于細(xì)粒度分類(lèi)的 LR 圖像細(xì)節(jié)的可辨性。類(lèi)似地，感知 GAN 通過(guò)超分辨小目標(biāo)的表征解決了小目標(biāo)檢測(cè)問(wèn)題，實(shí)現(xiàn)了與大目標(biāo)相似的特征，檢測(cè)更具可辨性。FSR-GAN超分辨化了特征空間而非像素空間中的小圖像，將質(zhì)量較差的原始特征轉(zhuǎn)換成了可辨性更高的特征，這對(duì)圖像檢索非常有利。此外，Dai 等人驗(yàn)證了 SR 技術(shù)在若干視覺(jué)應(yīng)用中的有效性和有用性，包括邊緣檢測(cè)、語(yǔ)義分割、數(shù)字和場(chǎng)景識(shí)別。Huang 等人 開(kāi)發(fā)了專(zhuān)門(mén)用于超分辨率遙感圖像的 RS-DRL。Jeon 等人 利用立體圖像中的視差先驗(yàn)來(lái)重建配準(zhǔn)中具有亞像素準(zhǔn)確率的 HR 圖像。

10.未來(lái)發(fā)展方向

1、Network Design（網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)）

可考慮從如下方面改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)：

Combining Local and Global Information，結(jié)合局部和全局信息，大的感受野可以提供更多的紋理信息，這樣可生成更加真實(shí)的的HR圖像。

Combining Low- and High-level Information，結(jié)合低層和高層信息，deep CNNs中的較淺層易于抽取如顏色和邊緣等低層特征，而較高層更易獲得如目標(biāo)識(shí)別等高層次的特征表示，結(jié)合低層網(wǎng)絡(luò)抽取的低層細(xì)節(jié)信息和高層網(wǎng)絡(luò)抽取到的高層紋理信息可獲得效果更好的HR圖像。

Context-specific Attention，結(jié)合特定內(nèi)容的注意力機(jī)制，增強(qiáng)主要特征可促進(jìn)生成的HR圖像具體更加真實(shí)的細(xì)節(jié)。

Lightweight Architectures，目前網(wǎng)絡(luò)結(jié)構(gòu)日趨復(fù)雜，如何減少模型大小，加快預(yù)測(cè)時(shí)間并保持性能仍然是一個(gè)研究課題。

Upsampling Layers，如何設(shè)計(jì)出有效并有效率的上采樣層是值得研究的，特別是在放大倍數(shù)較大的圖像超分辨率問(wèn)題上。

2.Learning Strategies（學(xué)習(xí)策略）

Loss Functions，目前的損失函數(shù)是建立于 LR/HR/SR 圖像之間的限制并優(yōu)化層面上的。在實(shí)際應(yīng)用上，通常把這些損失函數(shù)進(jìn)行加權(quán)得到，對(duì)SR問(wèn)題來(lái)說(shuō)，最有效的損失函數(shù)還不明確。因此，一項(xiàng)有意義的研究工作是，如何找到 LR/HR/SR 圖像間的潛在聯(lián)系并找到更加準(zhǔn)確的損失函數(shù)。

Normalization，雖然BN在視覺(jué)問(wèn)題上大量使用，但是在SR問(wèn)題上，BN并不是最佳的規(guī)范化效果，有時(shí)使用BN反而會(huì)得到不好的效果。因此，在SR領(lǐng)域，其他有效的規(guī)范化技術(shù)是需要被提出的。

3.Evaluation Metrics（評(píng)價(jià)方法）

More Accurate Metrics，傳統(tǒng)的PSNR/SSIM圖像質(zhì)量評(píng)價(jià)方法并不能客觀反應(yīng)圖像的主觀效果，MOS方法需要大量的人力成本并且不能再現(xiàn)。因此，更加精確的圖像質(zhì)量評(píng)價(jià)方法亟待提出。

Blind IQA Methods，目前所提到的SR問(wèn)題，都是LR-HR圖像對(duì)做出的，但是，在這類(lèi)數(shù)據(jù)集是很難獲得的，大部分都是通過(guò)人工手段獲得的LR-HR圖像對(duì)。這樣，在評(píng)價(jià)這類(lèi)問(wèn)題時(shí)，就變成了反向預(yù)測(cè)退化問(wèn)題的過(guò)程，因此，無(wú)依賴(lài)的圖像質(zhì)量評(píng)價(jià)方法是有很大需要的。

4.Unsupervised Super-resolution（無(wú)監(jiān)督圖像超分辨率）

文中提到了一些已有的無(wú)監(jiān)督超分辨率工作：

A. Shocher, N. Cohen, and M. Irani, “zero-shot super-resolution using deep internal learning,” in CVPR, 2018.

A. Bulat, J. Yang, and G. Tzimiropoulos, “To learn image super- resolution, use a gan to learn how to do image degradation first,” in ECCV, 2018.

Y. Yuan, S. Liu, J. Zhang, Y. Zhang, C. Dong, and L. Lin, “Unsu- pervised image super-resolution using cycle-in-cycle generative adversarial networks,” in CVPRW, 2018.

D. Ulyanov, A. Vedaldi, and V. Lempitsky, “Deep image prior,” in CVPR, 2018.

目前大量的SR方法都是使用Matlab Bicubic方法獲得LR圖像，用LR-HR作為SR網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)，這樣SR問(wèn)題會(huì)變成預(yù)先定義圖像退化過(guò)程的逆過(guò)程，在自然低分辨率圖像上應(yīng)用這類(lèi)SR方法，效果會(huì)很不好。因此，在未來(lái)的研究領(lǐng)域，沒(méi)有LR-HR圖像對(duì)的無(wú)監(jiān)督圖像超分辨率問(wèn)題是有意義的研究方向。

5.Towards Real-world Scenarios（面向真實(shí)場(chǎng)景）

Image super-resolution在真實(shí)場(chǎng)景上，往往會(huì)受到“不明確的圖像退化過(guò)程”，“缺少LR-HR圖像對(duì)”等的條件限制，使得現(xiàn)有的SR算法難以實(shí)際應(yīng)用。

Dealing with Various Degradation，解決多種圖像退化問(wèn)題，針對(duì)不同方式獲得的LR圖像。目前已有一部分這方面的工作，但是存在一些固有缺點(diǎn)，如模型難以訓(xùn)練，過(guò)于理想的假設(shè)條件。

Domain-specific Applications，特定領(lǐng)域的應(yīng)用，SR算法不一定非要用于特定領(lǐng)域數(shù)據(jù)或場(chǎng)景中，SR算法同樣可協(xié)助處理其他視覺(jué)問(wèn)題，如視頻監(jiān)控、人臉識(shí)別、目標(biāo)跟蹤、醫(yī)學(xué)圖像、場(chǎng)景渲染等。SR算法可用于這類(lèi)視覺(jué)問(wèn)題的預(yù)處理或后處理。

Multi-scale Super-resolution，目前大部分SR網(wǎng)絡(luò)是針對(duì)固定放大尺寸訓(xùn)練的，實(shí)際應(yīng)用中，有一定局限性。使用單一網(wǎng)絡(luò)的進(jìn)行多尺度圖像超分辨率，有一定的研究?jī)r(jià)值。最近在CVPR 2019上，曠視提出了“Meta-SR: A Magnification-Arbitrary Network for Super-Resolution”：?jiǎn)我荒Ｐ蛯?shí)現(xiàn)任意縮放因子。是這一研究方向的最新進(jìn)展。

審核編輯 黃昊宇