基于深度學(xué)習(xí)的圖像超分辨率重建方法綜述

《基于深度學(xué)習(xí)的圖像超分辨率重建方法綜述》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

云南民族大學(xué)學(xué)報(bào)(自然科學(xué)版)，2019，28(6):597－605CN53－1192/NISSN1672－8513doi:10．3969/j．issn．1672－8513．2019．06．013http://ynmz.cbpt.cnki.net基于深度學(xué)習(xí)的圖像超分辨率重建方法綜述1，23陳文靜，唐軼(1．中國(guó)科學(xué)院西安光學(xué)精密機(jī)械研究所光譜成像技術(shù)重點(diǎn)實(shí)驗(yàn)室，陜西西安710119;2．中國(guó)科學(xué)院大學(xué)，北京100049;3．云南民族大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，云南昆明650500)摘要:圖像超分辨率重建(super－resolution，SＲ)是指從觀測(cè)到的低分辨率圖像重建出相應(yīng)的高分辨率圖像，在目標(biāo)檢測(cè)、醫(yī)學(xué)成像和衛(wèi)星遙感等領(lǐng)域都有著重要的應(yīng)用價(jià)值．近年來，隨著深度學(xué)習(xí)的迅速發(fā)展，基于深度學(xué)習(xí)的圖像超分辨率重建方法取得了顯著的進(jìn)步．為了把握目前基于深度學(xué)習(xí)的圖像超分辨率重建方法的發(fā)展情況和研究熱點(diǎn)，對(duì)一些最新的基于深度學(xué)習(xí)的圖像超分辨率重建方法進(jìn)行了梳理，將它們分為兩大類(有監(jiān)督的和無監(jiān)督的)分別進(jìn)行闡述．然后，在公開的數(shù)據(jù)集上，將主流方法的性能進(jìn)行了對(duì)比分析．最后，對(duì)基于深度學(xué)習(xí)的圖像超分辨率重建方法進(jìn)行了總結(jié)，并對(duì)其未來的研究趨勢(shì)進(jìn)行了展望．關(guān)鍵詞:圖像超分辨率重建;深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);生成對(duì)抗網(wǎng)絡(luò)中圖分類號(hào):TP391.4文獻(xiàn)標(biāo)志碼:A文章編號(hào):1672－8513(2019)06－0597－09圖像超分辨率重建(superresolution，SＲ)，簡(jiǎn)稱1有監(jiān)督的基于深度學(xué)習(xí)的圖像超分辨率超分，是指從觀測(cè)到的低分辨率圖像重建出相應(yīng)的重建高分辨率圖像，是計(jì)算機(jī)視覺和圖像處理領(lǐng)域里一種重要的圖像處理技術(shù)，在許多領(lǐng)域有著重要的應(yīng)目前大多數(shù)基于深度學(xué)習(xí)的超分方法都是有監(jiān)用價(jià)值，比如目標(biāo)檢測(cè)、醫(yī)學(xué)成像和衛(wèi)星遙感等．由督的，即訓(xùn)練時(shí)使用低分辨率圖像和對(duì)應(yīng)的真實(shí)高于總有多個(gè)高分辨率圖像對(duì)應(yīng)于同一個(gè)低分辨率圖分辨率圖像．根據(jù)網(wǎng)絡(luò)類型的不同，有監(jiān)督的超分方像，因此超分問題非常具有挑戰(zhàn)性且是一個(gè)不適定法可以分為基于CNN的方法和基于GAN的方法．問題．此外，隨著超分縮放因子的增大，圖像丟失細(xì)1.1基于CNN的超分方法［7］節(jié)的恢復(fù)會(huì)更加復(fù)雜．Dong等受傳統(tǒng)基于稀疏編碼的超分方法的近年來，隨著深度學(xué)習(xí)的迅速發(fā)展，深度學(xué)習(xí)被啟發(fā)，首次提出了基于CNN的超分方法，簡(jiǎn)稱SＲC-［1－3］應(yīng)用于各種人工智能任務(wù)，比如圖像分類和目NN(super－resolutionconvolutionalneuralnetwork)．［4－6］標(biāo)檢測(cè)等，并取得了突破性進(jìn)展，研究學(xué)者們也SＲCNN的結(jié)構(gòu)設(shè)計(jì)簡(jiǎn)單，先用雙3次插值把低分辨積極地探索用深度學(xué)習(xí)來解決超分問題，提出了各率圖像放大至和要重建的高分辨率圖像相同的尺種各樣的基于深度學(xué)習(xí)的超分方法，從早期的基于寸，然后用3個(gè)卷積層分別進(jìn)行圖像塊提取和表達(dá)、卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneuralnetwork，CNN)非線性映射和重建操作．隨著SＲCNN的成功，研究［7］的方法(例如，SＲCNN)再到后來的基于生成對(duì)抗學(xué)者們積極地探索基于CNN的超分方法，下面將介網(wǎng)絡(luò)(generativeadversarialnetwork，GAN)的方法紹幾種有代表性的方法．［8］(例如，SＲGAN)，都展示了很好的性能．這些基于1.1.1基于殘差密集網(wǎng)絡(luò)的超分方法［9］深度學(xué)習(xí)的超分方法之間的不同之處主要體現(xiàn)在:Zhang等提出了ＲDN(residualdensenet-網(wǎng)絡(luò)結(jié)構(gòu)，損失函數(shù)，以及學(xué)習(xí)原理和策略等．work)，充分利用了所有卷積層的分層特征．如圖1收稿日期:2019－08－09．基金項(xiàng)目:國(guó)家自然科學(xué)基金(61462096，61866040，61561053)．作者簡(jiǎn)介:陳文靜(1992－)，女，博士研究生．主要研究方向:圖像處理、圖像超分辨率重建、機(jī)器學(xué)習(xí)．

1598云南民族大學(xué)學(xué)報(bào)(自然科學(xué)版)第28卷所示，ＲDN主要包含4部分:淺層特征提取網(wǎng)絡(luò)狀態(tài)發(fā)送到當(dāng)前ＲDB中的每一個(gè)卷積層，局部殘差(shallowfeatureextractionnet，SFENet)，殘差密集塊學(xué)習(xí)表示當(dāng)前ＲDB的輸出等于上一個(gè)ＲDB的輸出(residualdenseblocks，ＲDBs)，密集特征融合加上當(dāng)前ＲDB局部特征融合后的輸出;DFF包括全(densefeaturefusion，DFF)，上采樣網(wǎng)絡(luò)(up－sam-局特征融合和全局殘差學(xué)習(xí);UPNet表示網(wǎng)絡(luò)最后plingnet，UPNet)．SFENet包括2個(gè)卷積層，用來提的上采樣和卷積操作，實(shí)現(xiàn)對(duì)輸入圖片的放大作用．取淺層特征;ＲDB結(jié)構(gòu)如圖2所示，將殘差塊和密ＲDN的優(yōu)點(diǎn)是，能充分利用原始低分辨率圖像的分集塊進(jìn)行了整合，連續(xù)記憶機(jī)制會(huì)將上一個(gè)ＲDB的層特征．1.1.2基于任意放大網(wǎng)絡(luò)的超分方法用來提取低分辨率圖像的特征，這里選取殘差密為了解決大多數(shù)超分方法針對(duì)每個(gè)縮放因集網(wǎng)絡(luò)(ＲDN)作為特征學(xué)習(xí)模塊(也可以用ED-［11］［11］［12］子分別訓(xùn)練一個(gè)模型從而導(dǎo)致計(jì)算效率低，而且SＲ、MDSＲ或ＲCAN等)，其中每個(gè)殘差［10］只考慮了整數(shù)縮放因子的問題，Hu等提出了密集塊(ＲDB)有8個(gè)卷積層;Meta－Upscale模Meta－SＲ，能通過單個(gè)模型實(shí)現(xiàn)低分辨率圖像進(jìn)塊由幾個(gè)全連接層和激活層組成，代替了傳統(tǒng)的行任意縮放因子(包括非整數(shù)縮放因子)的超分．上采樣模塊，對(duì)于任意的縮放因子能動(dòng)態(tài)地預(yù)測(cè)Meta－SＲ的結(jié)構(gòu)如圖3所示，整個(gè)網(wǎng)絡(luò)包括特征濾波器的權(quán)重，并用這些權(quán)重來生成高分辨率學(xué)習(xí)模塊和Meta－Upscale模塊．特征學(xué)習(xí)模塊圖像．

2第6期陳文靜，唐軼:基于深度學(xué)習(xí)的圖像超分辨率重建方法綜述5991.1.3基于處理多種退化類型的卷積神經(jīng)網(wǎng)絡(luò)的后作為輸入，然后用多個(gè)卷積層來執(zhí)行非線性映超分方法射，除了最后的一個(gè)卷積層只采用了卷積操作外，基于CNN的超分方法通常假設(shè)低分辨率圖像其它每層包括的操作有卷積、修正線性單元和批是由高分辨率圖像通過雙3次插值的方法下采樣得標(biāo)準(zhǔn)化，得到的多個(gè)高分辨率子圖像再經(jīng)過一個(gè)到的，當(dāng)真實(shí)的退化不符合這種假設(shè)時(shí)會(huì)導(dǎo)致性能子像素卷積層轉(zhuǎn)換為最終輸出的高分辨圖像．［13］較差，為了應(yīng)對(duì)這種情況，Zhang等提出了SＲMDSＲMD的優(yōu)點(diǎn)是:①適用于多種退化類型，具有高(super－resolutionnetworkformultipledegrada-實(shí)用性;②提出的維度拉伸策略能解決低分辨率tions)．SＲMD的結(jié)構(gòu)如圖4所示，先用維度拉伸策圖像、模糊核和噪聲之間的維度不匹配問題，且可略得到退化圖，再將低分辨率圖像和退化圖級(jí)聯(lián)以擴(kuò)展到去噪等其它任務(wù)．1.1.4基于反饋網(wǎng)絡(luò)的超分方法合，最后FB的輸出通過ＲB輸出殘差并和低分辨率Zhen等［14］提出了SＲFBN(super－resolution圖像(LＲ)的上采樣相加，得到本次迭代的最后輸出，feedbacknetwork)．SＲFBN有較強(qiáng)的早期重建能力，第T次迭代的最后輸出即最終的高分辨率圖像．SＲF-可以逐步生成最終的高分辨率圖像，結(jié)構(gòu)如圖5所BN的優(yōu)點(diǎn)是:①通過反饋連接在自上而下的反饋流示，整個(gè)網(wǎng)絡(luò)可以展開成T次迭代，放置在每次迭代t中提供高級(jí)信息，這種具有反饋連接的循環(huán)結(jié)構(gòu)只需中的子網(wǎng)絡(luò)包含低分辨率特征提取塊(LＲFB)、反饋要很少的參數(shù);②提出的FB可以有效地處理反饋信塊(FB)、重建塊(ＲB)，先通過LＲFB去提取低級(jí)特息流以及特征再使用;③提出的基于課程的學(xué)習(xí)策征，然后通過FB和上一個(gè)迭代里FB輸出的特征結(jié)略使得網(wǎng)絡(luò)能逐步學(xué)習(xí)復(fù)雜的退化模型．1.1.5基于神經(jīng)架構(gòu)搜索的超分方法方法處理超分問題，還提出了基于混合控制器的微觀為了通過神經(jīng)架構(gòu)搜索自動(dòng)達(dá)到圖像重建能力和宏觀層面的彈性搜索策略．FALSＲ的結(jié)構(gòu)如圖6所［15］和模型簡(jiǎn)潔性之間的平衡，Chu等提出了幾種快示，包含了:預(yù)定義的特征提取器，通過宏觀搜索空間速、準(zhǔn)確和輕量級(jí)的超分架構(gòu)和模型FALSＲ(fast，ac-的連接相連的n個(gè)來自微觀搜索空間的單元塊curateandlightweightsuper－resolution)，使用多目標(biāo)(cell)，以及基于子像素的上采樣和重建．

3600云南民族大學(xué)學(xué)報(bào)(自然科學(xué)版)第28卷1.2基于GAN的超分方法分方法，簡(jiǎn)稱SＲFeat(super－resolutionwithfea-生成對(duì)抗網(wǎng)絡(luò)(generativeadversarialnetworks，turediscrimination)，使用2個(gè)不同的判別器(用［16］GAN)包含2個(gè)相互對(duì)抗的網(wǎng)絡(luò)，一個(gè)是生成器，另于圖像域的圖像判別器和用于特征域的特征判一個(gè)是判別器．在基于GAN的超分方法中，生成器的別器)，還提出了一個(gè)新的具有遠(yuǎn)程跳躍連接的目的是生成盡量接近真實(shí)圖像的高分辨率圖像，使判生成器．該特征判別器通過區(qū)分生成器生成的圖別器不能準(zhǔn)確判斷其真(指真實(shí)圖像)假(指生成器生像的特征和真實(shí)圖像的特征，能促進(jìn)生成器產(chǎn)生成的圖像)，判斷器的目的是盡可能準(zhǔn)確判斷圖像的真高頻結(jié)構(gòu)特征而不是噪聲偽影．SＲFeat的生成器假，生成器和判別器互相博弈最終獲得足以“以假亂結(jié)構(gòu)如圖7所示，首先用9×9的卷積層提取低［8］真”的高分辨率圖像．隨著Ledig等提出SＲGAN將分辨率圖像的特征，然后使用多個(gè)具有遠(yuǎn)程跳躍GAN用于解決超分問題，重建的高分辨率圖像具有非連接的殘差塊來提取深度特征，再使用子像素卷常好的視覺感知效果，研究學(xué)者們開始探索基于GAN積層將殘差塊提取的特征圖上采樣至和目標(biāo)圖的超分方法，下面介紹幾個(gè)有代表性的方法．像相同尺寸;判別器結(jié)構(gòu)如圖8所示，卷積層上1.2.1基于特征判別器的超分方法面的數(shù)字表示濾波器的數(shù)量，下面的s2表示步［17］Park等提出了一個(gè)基于特征判別器的超長(zhǎng)為2．1.2.2基于流形和感知損失的超分方法響，殘差不滿足高斯分布．為了對(duì)殘差中重尾非高斯［18］大部分方法都使用滿足高斯分布的距離范數(shù)作分布進(jìn)行建模，Upadhyay等提出了一種基于GAN為損失函數(shù)，但實(shí)際圖像受對(duì)比度、對(duì)焦和噪聲等影的超分辨率學(xué)習(xí)框架，簡(jiǎn)稱SＲGAN－SQE，包含3個(gè)

4第6期陳文靜，唐軼:基于深度學(xué)習(xí)的圖像超分辨率重建方法綜述601子網(wǎng)絡(luò)，即生成器G(·，θG)，編碼器E(·，θE)，和判行表達(dá)和真實(shí)值流形表達(dá)之間的相似性;判別器利用別器D(·，θD)(θG、θE和θD表示權(quán)重參數(shù))．SＲGANKullback－Leibler散度判斷生成的高分辨率圖像與－SQE的結(jié)構(gòu)如圖9所示，生成器學(xué)習(xí)低分辨率圖像真實(shí)值是否服從同一分布．通過聯(lián)合優(yōu)化生成器、編到高分辨率圖像的映射，并同時(shí)利用q－擬范數(shù)和結(jié)碼器和判別器，SＲGAN－SQE可以生成紋理結(jié)構(gòu)清晰構(gòu)相似性作為生成器的損失函數(shù);編碼器用于提取圖的高分辨率圖像．但是，SＲGAN－SQE由于引入了一像的流形表達(dá)，使用q－擬范數(shù)衡量高分辨率圖像流個(gè)新的編碼網(wǎng)絡(luò)，增加了方法復(fù)雜性．導(dǎo)圖像像素到源圖像像素的轉(zhuǎn)換．所提出多層感知2無監(jiān)督的基于深度學(xué)習(xí)的圖像超分辨率器的結(jié)構(gòu)如圖10所示，輸入為一個(gè)引導(dǎo)圖像的像素重建值gn以及相應(yīng)坐標(biāo)Xn，輸出為源圖像對(duì)應(yīng)位置像∧在有監(jiān)督的超分方法中，通常用預(yù)先確定的空素值tn，其中n表示第n個(gè)像素．基于引導(dǎo)的超分間退化模型(如雙3次下采樣)將高分辨率圖像退方法首先用低分辨率引導(dǎo)圖像和源圖像訓(xùn)練所提出化為低分辨率圖像，進(jìn)而構(gòu)建同一場(chǎng)景下成對(duì)的低的多層感知器，然后將高分辨率引導(dǎo)圖像輸入到訓(xùn)分辨率圖像和高分辨率圖像用于訓(xùn)練深度超分網(wǎng)練好的多層感知器中，最終得到高分辨率源圖像．該絡(luò)．但是在實(shí)際應(yīng)用中通常會(huì)面臨幾個(gè)問題:①只基于引導(dǎo)的超分方法未用插值對(duì)源圖像進(jìn)行上采有低分辨率圖像，很難收集同一場(chǎng)景成對(duì)的低分辨樣，因此避免了不必要的模糊．率圖像和高分辨率圖像;②空間退化模型未知;③低分辨率圖像易受傳感器噪聲、運(yùn)動(dòng)模糊、圖像壓縮等因素干擾，成像質(zhì)量較低．為了構(gòu)建適用于實(shí)際應(yīng)用的超分方法，越來越多的工作開始關(guān)注于無監(jiān)督的學(xué)習(xí)方式，即不依賴于額外的低分辨率圖像和高分辨率圖像對(duì)，直接對(duì)實(shí)際應(yīng)用中的低分辨率圖像進(jìn)行超分辨率重建．2.1基于引導(dǎo)的超分方法［19］Lutio等提出了一個(gè)引導(dǎo)超分方法學(xué)習(xí)像素到像素的轉(zhuǎn)換，將圖像超分問題視為從引導(dǎo)圖像域到源圖像域的像素轉(zhuǎn)換，先利用下采樣操作將高分辨率引導(dǎo)圖像轉(zhuǎn)變?yōu)榕c源圖像相同尺寸的低分辨率2.2基于深度內(nèi)部學(xué)習(xí)的零次超分方法［20］引導(dǎo)圖像，再通過多層感知器構(gòu)建映射函數(shù)學(xué)習(xí)引Shocher等基于單個(gè)圖像內(nèi)部信息(例如圖像

5602云南民族大學(xué)學(xué)報(bào)(自然科學(xué)版)第28卷塊)在不同尺度會(huì)重復(fù)出現(xiàn)的假設(shè)，提出了無監(jiān)督的進(jìn)行旋轉(zhuǎn)、翻轉(zhuǎn)等操作進(jìn)行數(shù)據(jù)增強(qiáng)得到Iaugmented;然零次超分方法ZSSＲ(zero－shotsuper－resolution)，利后，將Iaugmented下采樣n倍得到LＲ(Iaugmented)，則LＲ用單個(gè)圖像內(nèi)部信息訓(xùn)練一個(gè)圖像特定的CNN．(Iaugmented)和Iaugmented構(gòu)成了訓(xùn)練圖像對(duì);接著，重復(fù)前ZSSＲ僅利用測(cè)試圖像構(gòu)建訓(xùn)練集，使得模型可以適面兩步生成大量訓(xùn)練樣本，輸入到ZSSＲ訓(xùn)練直至收應(yīng)各種圖像的不同設(shè)置，可以對(duì)任意圖像(真實(shí)舊照斂;最后，將測(cè)試圖像I輸入到訓(xùn)練完成的ZSSＲ中即片、噪聲圖像、生物數(shù)據(jù)以及獲取過程未知的圖像)進(jìn)可進(jìn)行n倍超分．ZSSＲ是首個(gè)用CNN做無監(jiān)督圖像行有效超分．ZSSＲ是一個(gè)全卷積神經(jīng)網(wǎng)絡(luò)，由8個(gè)卷超分的方法，不需要用額外的高分辨率圖像來預(yù)訓(xùn)練積層組成，每個(gè)卷積層有64個(gè)卷積核，損失函數(shù)為L(zhǎng)1網(wǎng)絡(luò)模型．但是，當(dāng)測(cè)試圖像的初始分辨率比較低時(shí)，函數(shù)．ZSSＲ的結(jié)構(gòu)如圖11所示，首先對(duì)測(cè)試圖像I該方法的超分效果較差．Matlab中imresize函數(shù)的雙3次操作分別對(duì)各高分3實(shí)驗(yàn)辨率圖像下采樣2倍、3倍和4倍得到相應(yīng)的低分在3個(gè)公開的圖像超分辨率重建數(shù)據(jù)集中，對(duì)辨率圖像．然后，在Set5、Set14和BSD100數(shù)據(jù)集主流基于深度學(xué)習(xí)的圖像超分辨率重建方法進(jìn)行了上，對(duì)低分辨率圖像用各基于深度學(xué)習(xí)的圖像超分客觀性能對(duì)比．方法進(jìn)行2倍、3倍和4倍超分，實(shí)驗(yàn)結(jié)果分別如表3.1數(shù)據(jù)集和評(píng)價(jià)指標(biāo)1－3所示．由于FALSＲ原始文獻(xiàn)只提供了2倍超分［21］［22］結(jié)果，故僅在表1中對(duì)比FALSＲ的性能;由于SＲ-使用的公開數(shù)據(jù)集為Set5、Set14和BSD100［23］．Set5數(shù)據(jù)集有5張測(cè)試圖像，圖像內(nèi)容分Feat原始文獻(xiàn)只提供了4倍超分結(jié)果，故僅在表3別是嬰兒、鳥、蝴蝶、頭、女人．Set14數(shù)據(jù)集有14張測(cè)中對(duì)比SＲFeat的性能．SＲCNN方法首次將CNN引入到圖像超分任試圖像，圖像內(nèi)容包括辣椒、斑馬、花朵、男人和橋等．BSD100數(shù)據(jù)集有100張測(cè)試圖像，圖像內(nèi)容比較豐務(wù)，構(gòu)建了端到端的超分網(wǎng)絡(luò)，由表1－3可知，憑借CNN強(qiáng)大的特征學(xué)習(xí)能力，SＲCNN方法的性能遠(yuǎn)超富，包括飛機(jī)、花瓶、賽車、人和動(dòng)物等．Set5、Set14和Bicubic方法．隨著SＲCNN方法在超分任務(wù)中取得BSD100數(shù)據(jù)集不僅包含了自然景色，也包含了人工的突破性進(jìn)步，研究學(xué)者們提出大量基于深度學(xué)習(xí)景物，可以有效地測(cè)試超分方法的性能．采用2個(gè)評(píng)的超分方法，比如VDＲ、DＲＲN、ＲDN等，殘差連接價(jià)指標(biāo)度量超分方法的性能:峰值信噪比(peaksignal與稠密連接等策略被用來構(gòu)建越來越深的超分網(wǎng)絡(luò)－to－noiseratio，PSNＲ)，和結(jié)構(gòu)相似度(structural結(jié)構(gòu)，性能越來越好．為了構(gòu)建適用于實(shí)際應(yīng)用的超similarityindex，SSIM)．PSNＲ和SSIM的值越大，表分方法，ZSSＲ等無監(jiān)督的超分方法引起了廣泛關(guān)示重建圖像的質(zhì)量越好，即超分方法的性能越好．注．ZSSＲ方法能有效利用卷積神經(jīng)網(wǎng)絡(luò)捕捉圖像內(nèi)3.2實(shí)驗(yàn)結(jié)果與分析部信息進(jìn)行超分，其在Set5、Set14和BSD100數(shù)據(jù)下面對(duì)一些主流的基于深度學(xué)習(xí)的超分方法進(jìn)庫中的性能超越了有監(jiān)督的SＲCNN方法．從表1－3行性能對(duì)比:雙3次插值Bicubic(作為實(shí)驗(yàn)對(duì)比的［7］［20］［24］可知，隨著研究學(xué)者們對(duì)深度卷積網(wǎng)絡(luò)的研究不斷基準(zhǔn)方法)，SＲCNN，ZSSＲ，VDSＲ，DＲ－進(jìn)步，基于深度學(xué)習(xí)的超分方法可更加有效地提?。?5］［13］［15］［17］ＲN，SＲMDNF，F(xiàn)ALSＲ，SＲFeat，SＲF-深度特征，性能不斷提升．和Set5和Set14數(shù)據(jù)集相［14］［9］BN，以及ＲDN．由于Set5，Set14和BSD100數(shù)比，由于BSD100數(shù)據(jù)集更大，且包含了大量城鎮(zhèn)風(fēng)據(jù)集只提供了高分辨率圖像，因此需要預(yù)先根據(jù)高景圖像，圖像紋理信息非常豐富、圖像結(jié)構(gòu)復(fù)雜，現(xiàn)分辨率圖像生成模擬的低分辨率圖像．本文使用

6第6期陳文靜，唐軼:基于深度學(xué)習(xí)的圖像超分辨率重建方法綜述603有方法在BSD100數(shù)據(jù)集中的性能顯著下降．ＲDN因子為3時(shí)，分別高4.32、3.02和2.05;在縮放因子方法是表1－3中性能最好的方法，通過比較ＲDN為4時(shí)，分別高4.05、2.81和1.76．可以看出，隨著方法和Bicubic方法的PSNＲ值可知，在Set5、Set14縮放因子的不斷增大，方法性能提升的程度在下降，和BSD100數(shù)據(jù)集上，ＲDN方法比Bicubic方法:在這表明針對(duì)大縮放因子的圖像超分任務(wù)仍然面臨著縮放因子為2時(shí)，分別高4.58、3.77和2.84;在縮放許多挑戰(zhàn)．表1基于深度學(xué)習(xí)的超分方法在縮放因子為2時(shí)的性能對(duì)比Set5Set14BSD100MethodsPSNＲSSIMPSNＲSSIMPSNＲSSIMBicubic33.660.929930.240.868829.560.8431［7］SＲCNN36.660.954232.450.906731.360.8879［20］ZSSＲ37.370.957033.000.910831.650.8920［24］37.530.958733.050.912731.900.8960VDSＲ［25］DＲＲN37.740.959133.230.913632.050.8973［13］SＲMDNF37.790.960133.320.915932.050.8985［15］37.820.959533.550.916832.120.8987FALSＲ［14］SＲFBN38.110.960933.820.919632.290.9010［9］ＲDN38.240.961434.010.921832.400.9022表2基于深度學(xué)習(xí)的超分方法在縮放因子為3時(shí)的性能對(duì)比Set5Set14BSD100MethodsPSNＲSSIMPSNＲSSIMPSNＲSSIMBicubic30.390.868227.550.774227.210.7385［7］SＲCNN32.750.909029.300.821528.410.7863［20］ZSSＲ33.420.918829.800.830428.670.7945［24］33.660.921329.780.831828.830.7976VDSＲ［25］DＲＲN34.030.924429.960.834928.950.8004［13］SＲMDNF34.120.925430.040.838228.970.8025［14］34.700.929230.510.846129.240.8084SＲFBN［9］ＲDN34.710.929630.570.846829.260.8093表3基于深度學(xué)習(xí)的超分方法在縮放因子為4時(shí)的性能對(duì)比Set5Set14BSD100MethodsPSNＲSSIMPSNＲSSIMPSNＲSSIMBicubic28.420.810426.000.702725.960.6675［7］SＲCNN30.480.862827.500.751326.900.7101［20］ZSSＲ31.130.879628.010.765127.120.7211［24］31.350.883828.020.767827.290.7252VDSＲ［25］DＲＲN31.680.888828.210.772127.380.7284［13］SＲMDNF31.960.892528.350.778727.490.7337［17］32.270.893828.710.783527.640.7378SＲFeat［14］SＲFBN32.470.898328.810.786827.720.7409［9］ＲDN32.470.899028.810.787127.720.7419

7604云南民族大學(xué)學(xué)報(bào)(自然科學(xué)版)第28卷放因子的圖像超分．另一方面，大縮放因子(例如164總結(jié)與展望倍)的圖像超分任務(wù)也受到廣大研究學(xué)者的關(guān)注．作為計(jì)算機(jī)視覺基礎(chǔ)任務(wù)之一的圖像超分辨率參考文獻(xiàn):重建，可以有效輔助于刑偵、醫(yī)療診斷、智慧城市等［1］SZEGEDYC，LIUW，JIAY，etal．Goingdeeperwith實(shí)際應(yīng)用，吸引了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注．本文convolutions［C］//ProceedingsoftheIEEEConferenceon對(duì)最新基于深度學(xué)習(xí)的圖像超分方法進(jìn)行梳理，并ComputerVisionandPatternＲecognition．2015:1－9．對(duì)比分析了主流基于深度學(xué)習(xí)的圖像超分方法的性［2］HEK，ZHANGX，ＲENS，etal．Deepresiduallearning能．隨著研究學(xué)者們不斷探索，深度學(xué)習(xí)已在圖像超forimagerecognition［C］//ProceedingsoftheIEEECon-分任務(wù)上發(fā)揮了出色性能，但是，基于深度學(xué)習(xí)的超ferenceonComputerVisionandPatternＲecognition．2016:770－778．分方法仍然存在一些挑戰(zhàn)，這也是未來的研究趨勢(shì):［3］HUANGG，LIUZ，MAATENL，etal．Denselyconnected1)研究新的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)．盡管現(xiàn)有基于convolutionalnetworks［C］//ProceedingsoftheIEEECon-深度學(xué)習(xí)的圖像超分方法已經(jīng)取得了出色性能，但ferenceonComputerVisionandPatternＲecognition．是如何利用現(xiàn)有技術(shù)(如注意力機(jī)制、多層卷積特2017:4700－4708．征融合等)構(gòu)建高效的超分網(wǎng)絡(luò)仍然是一個(gè)值得探［4］ＲENS，HEK，GIＲSHICKＲ，etal．Fasterr－cnn:To-索的問題．一方面，越多越多的研究學(xué)者嘗試將圖像wardsreal－timeobjectdetectionwithregionproposalnet-先驗(yàn)融入到神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)中;另一方面，隨著神works［C］//AdvancesinNeuralInformationProcessing經(jīng)架構(gòu)搜索技術(shù)在圖像分類任務(wù)中的快速發(fā)展，研Systems．2015:91－99．究學(xué)者們也開始研究如何利用神經(jīng)架構(gòu)搜索技術(shù)自［5］ZHANGS，WENL，BIANX，etal．Single－shotrefine-mentneuralnetworkforobjectdetection［C］//Proceedings動(dòng)構(gòu)造高效的圖像超分神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)．oftheIEEEConferenceonComputerVisionandPattern2)研究新的損失函數(shù)．經(jīng)典的L1和L2損失函Ｒecognition．2018:4203－4212．?dāng)?shù)仍然被廣泛應(yīng)用于各超分方法中，這類損失關(guān)注于［6］LIUS，HUANGD．Ｒeceptivefieldblocknetforaccurate重建圖像和真實(shí)圖像之間像素級(jí)的誤差，容易使超分andfastobjectdetection［C］//ProceedingsoftheEuropean的圖像過度平滑．由于L1和L2損失函數(shù)無法對(duì)圖像ConferenceonComputerVision．2018:385－400．輪廓結(jié)構(gòu)、語義信息等進(jìn)行建模，研究學(xué)者們提出將［7］DONGC，LOYC，HEK，etal．Imagesuper－resolution感知損失、結(jié)構(gòu)相似性等度量用作神經(jīng)網(wǎng)絡(luò)的損失函usingdeepconvolutionalnetworks［J］．IEEEtransactions數(shù)，感知損失可度量2張圖像卷積特征之間的相似onpatternanalysisandmachineintelligence，2015，38性，結(jié)構(gòu)相似性可度量?jī)蓮垐D像輪廓結(jié)構(gòu)之間的相似(2):295－307．［8］LEDIGC，THEISL，HUSZＲF，etal．Photo－realisticsin-性．但是，現(xiàn)有損失函數(shù)仍然不能充分地對(duì)圖像之間gleimagesuper－resolutionusingagenerativeadversarial的內(nèi)容、語義等信息進(jìn)行度量，構(gòu)建適用于圖像超分network［C］//ProceedingsoftheIEEEConferenceonCom-任務(wù)的損失函數(shù)一直是學(xué)術(shù)界和工業(yè)界的研究熱點(diǎn)．puterVisionandPatternＲecognition．2017:4681－4690．3)對(duì)實(shí)際應(yīng)用中的低分辨率圖像進(jìn)行超分．現(xiàn)有［9］ZHANGY，TIANY，KONGY，etal．Ｒesidualdensenet-方法在實(shí)際應(yīng)用中表現(xiàn)不佳，一方面，圖像空間退化模workforimagesuper－resolution［C］//Proceedingsofthe型一般未知;另一方面，低分辨率圖像往往受模糊、圖IEEEConferenceonComputerVisionandPatternＲecogni-像壓縮等因素干擾，使得圖像質(zhì)量較低．最近，一些研tion．2018:2472－2481．究關(guān)注于盲圖像超分，即在空間退化模型未知情況下［10］HUX，MUH，ZHANGX，etal．Meta－SＲ:Amagnifi-進(jìn)行圖像超分．還有少數(shù)研究學(xué)者開始研究使用無監(jiān)cation－arbitrarynetworkforsuper－resolution［C］//Pro-督的學(xué)習(xí)方式，直接用低分辨率圖像訓(xùn)練模型，生成高ceedingsoftheIEEEConferenceonComputerVisionandPatternＲecognition．2019:1575－1584．分辨率圖像．如何直接對(duì)實(shí)際應(yīng)用中的低分辨率圖像［11］LIMB，SONS，KIMH，etal．Enhanceddeepresidual進(jìn)行超分，已經(jīng)逐漸受到研究學(xué)者們的關(guān)注．networksforsingleimagesuper－resolution［C］//Pro-4)對(duì)圖像進(jìn)行任意縮放因子的超分．一方面，ceedingsoftheIEEEConferenceonComputerVisionand現(xiàn)有基于深度學(xué)習(xí)的超分方法主要關(guān)注于單一縮放PatternＲecognitionWorkshops．2017:136－144．因子的圖像超分(例如2倍超分)，訓(xùn)練完成的深度［12］ZHANGY，LIK，LIK，etal．Imagesuper－resolution神經(jīng)網(wǎng)絡(luò)僅能進(jìn)行固定倍數(shù)圖像超分辨率重建．但usingverydeepresidualchannelattentionnetworks［C］//是在實(shí)際應(yīng)用中，往往需要僅用單模型完成任意縮ProceedingsoftheEuropeanConferenceonComputerVi-

8第6期陳文靜，唐軼:基于深度學(xué)習(xí)的圖像超分辨率重建方法綜述605sion．2018:286－301．tion［C］//ProceedingsoftheIEEEInternationalConfer-［13］ZHANGK，ZUOW，ZHANGL．Learningasingleconvo-enceonComputerVision．2019．lutionalsuper－resolutionnetworkformultipledegrada-［20］SHOCHEＲA，COHENN，LＲANIM．“Zero－shot”su-tions［C］//ProceedingsoftheIEEEConferenceonCom-per－resolutionusingdeepinternallearning［C］//Pro-puterVisionandPatternＲecognition．2018:3262－3271．ceedingsoftheIEEEConferenceonComputerVisionand［14］LIZ，YANGJ，LIUZ，etal．FeedbackNetworkforIm-PatternＲecognition．2018:3118－3126．a(chǎn)geSuper－Ｒesolution［C］//ProceedingsoftheIEEE［21］BEVILACQUAM，ＲOUMYA，GUILLEMOTC，etal．ConferenceonComputerVisionandPatternＲecognition．Low－complexitysingle－imagesuper－resolutionbased2019:3867－3876．onnonnegativeneighborembedding［C］//Proceedingsof［15］CHUX，ZHANGB，MaH，etal．Fast，accurateandtheBritishMachineVisionConference．2012:1－10．lightweightsuper－resolutionwithneuralarchitecture［22］ZEYDEＲ，ELADM，PＲOTTEＲM．Onsingleimagesearch［EB/OL］．(2019－01－24)［2019－08－28］．scale－upusingsparse－representations［C］//Internation-https://arxiv．org/abs/1901．07261．a(chǎn)lConferenceonCurvesandSurfaces．2010:711－730．［16］GOODFELLOWI，POUGET－ABADIEJ，MIＲZAM，et［23］MAＲTIND，F(xiàn)OWLKESC，TALD，etal．Adatabaseofal．Generativeadversarialnets［C］//AdvancesinNeuralhumansegmentednaturalimagesanditsapplicationtoe-InformationProcessingSystems．2014:2672－2680．valuatingsegmentationalgorithmsandmeasuringecologi-［17］PAＲKSJ，SONH，CHOS，etal．Srfeat:Singleimagecalstatistics［C］//ProceedingsoftheIEEEInternationalsuper－resolutionwithfeaturediscrimination［C］//Pro-ConferenceonComputerVision．2001:416－423．ceedingsoftheEuropeanConferenceonComputerVision．［24］KIMJ，KWONLEEJ，MULEEK．Accurateimagesu-2018:439－455．per－resolutionusingverydeepconvolutionalnetworks［18］UPADHYAYU，AWATES．Ｒobustsuper－resolution［C］//ProceedingsoftheIEEEConferenceonComputergan，withmanifold－basedandperceptionloss［C］//Pro-VisionandPatternＲecognition．2016:1646－1654．ceedingsoftheIEEEInternationalSymposiumonBiomed-［25］TAIY，YANGJ，LIUX．Imagesuper－resolutionviaicalImaging，2019:1372－1376．deeprecursiveresidualnetwork［C］//Proceedingsofthe［19］LUTIOＲ，D＇AＲONCOS，WEGNEＲJ，etal．Guidedsu-IEEEConferenceonComputerVisionandPatternＲecog-per－resolutionasalearnedpixel－to－pixeltransforma-nition．2017:3147－3155．Asummaryreviewofthemethodsforimagesuper－resolutionreconstructionbasedondeeplearning1，23ChenWen-jing，TangYi(1．KeyLaboratoryofSpectralImagingTechnology，Xi’anInstituteofOpticsandPrecisionMechanics，ChineseAcademyofSciences，Xi’an710119，China;2．UniversityofChineseAcademyofSciences，Beijing100049，China;3．YunnanMinzuUniversity，Kunming650500，China)Abstract:Imagesuper-resolutionreconstructionreferstothereconstructionofcorrespondinghigh-resolutionimagesfromobservedlow-resolutionimagesandhasimportantapplicationvalueinmanyfields，suchastargetdetection，medicalim-aging，andsatelliteremotesensing．Inrecentyears，withthefastdevelopmentofdeeplearning，significantprogresshasbeenmadeinthemethodsforimagesuper-resolutionreconstructionbasedondeeplearning．Inordertograspthecurrentdevelopmentandresearchhotspotsinthisfield，thelatestmethodsareroughlydividedintotwocategories(supervisedandunsupervised)tobedescribedinthisreview．Then，theperformanceofthemainstreammethodsiscomparedincon-nectionwiththepubliclyavailablebenchmarkdatabases．Finally，themethodsforimagesuper-resolutionreconstructionbasedondeeplearningaresummarized，andfutureresearchtrendsarepredicted．Keywords:imagesuper-resolutionreconstruction;deeplearning;convolutionalneuralnetwork(CNN);genera-tiveadversarialnetwork(GAN)(責(zé)任編輯段鵬)