姓名：楊安東；學(xué)號：21021210846；學(xué)院：電子工程學(xué)院
轉(zhuǎn)載自：https://blog.csdn.net/aBlueMouse/article/details/78710553
【嵌牛導(dǎo)讀】超分辨率技術(shù)（Super-Resolution, SR）是指從觀測到的低分辨率圖像重建出相應(yīng)的高分辨率圖像，在監(jiān)控設(shè)備、衛(wèi)星圖像和醫(yī)學(xué)影像等領(lǐng)域都有重要的應(yīng)用價值。
本篇針對端到端的基于深度學(xué)習(xí)的單張圖像超分辨率方法(Single Image Super-Resolution, SISR)，總結(jié)一下從SRCNN到EDSR的發(fā)展歷程。
【嵌牛鼻子】SRCNN，高分辨重構(gòu)技術(shù)，深度學(xué)習(xí)
【嵌牛提問】什么是高分辨重構(gòu)？
【嵌牛正文】
1. SRCNN
(Learning a Deep Convolutional Network for Image Super-Resolution, ECCV2014)
SRCNN是深度學(xué)習(xí)用在超分辨率重建上的開山之作。SRCNN的網(wǎng)絡(luò)結(jié)構(gòu)非常簡單，僅僅用了三個卷積層，網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。
SRCNN首先使用雙三次(bicubic)插值將低分辨率圖像放大成目標(biāo)尺寸，接著通過三層卷積網(wǎng)絡(luò)擬合非線性映射，最后輸出高分辨率圖像結(jié)果。本文中，作者將三層卷積的結(jié)構(gòu)解釋成三個步驟：圖像塊的提取和特征表示，特征非線性映射和最終的重建。
三個卷積層使用的卷積核的大小分為為9x9,，1x1和5x5，前兩個的輸出特征個數(shù)分別為64和32。用Timofte數(shù)據(jù)集（包含91幅圖像）和ImageNet大數(shù)據(jù)集進(jìn)行訓(xùn)練。使用均方誤差(Mean Squared Error, MSE)作為損失函數(shù)，有利于獲得較高的PSNR。
code: http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html
2. FSRCNN
(Accelerating the Super-Resolution Convolutional Neural Network, ECCV2016)
FSRCNN與SRCNN都是香港中文大學(xué)Dong Chao， Xiaoou Tang等人的工作。FSRCNN是對之前SRCNN的改進(jìn)，主要在三個方面：一是在最后使用了一個反卷積層放大尺寸，因此可以直接將原始的低分辨率圖像輸入到網(wǎng)絡(luò)中，而不是像之前SRCNN那樣需要先通過bicubic方法放大尺寸。二是改變特征維數(shù)，使用更小的卷積核和使用更多的映射層。三是可以共享其中的映射層，如果需要訓(xùn)練不同上采樣倍率的模型，只需要fine-tuning最后的反卷積層。
由于FSRCNN不需要在網(wǎng)絡(luò)外部進(jìn)行放大圖片尺寸的操作，同時通過添加收縮層和擴(kuò)張層，將一個大層用一些小層來代替，因此FSRCNN與SRCNN相比有較大的速度提升。FSRCNN在訓(xùn)練時也可以只fine-tuning最后的反卷積層，因此訓(xùn)練速度也更快。FSRCNN與SCRNN的結(jié)構(gòu)對比如下圖所示。
FSRCNN可以分為五個部分。特征提?。篠RCNN中針對的是插值后的低分辨率圖像，選取的核大小為9×9，這里直接是對原始的低分辨率圖像進(jìn)行操作，因此可以選小一點(diǎn)，設(shè)置為5×5。收縮：通過應(yīng)用1×1的卷積核進(jìn)行降維，減少網(wǎng)絡(luò)的參數(shù)，降低計算復(fù)雜度。非線性映射：感受野大，能夠表現(xiàn)的更好。SRCNN中，采用的是5×5的卷積核，但是5×5的卷積核計算量會比較大。用兩個串聯(lián)的3×3的卷積核可以替代一個5×5的卷積核，同時兩個串聯(lián)的小卷積核需要的參數(shù)3×3×2=18比一個大卷積核5×5=25的參數(shù)要小。FSRCNN網(wǎng)絡(luò)中通過m個核大小為3×3的卷積層進(jìn)行串聯(lián)。擴(kuò)張：作者發(fā)現(xiàn)低維度的特征帶來的重建效果不是太好，因此應(yīng)用1×1的卷積核進(jìn)行擴(kuò)維，相當(dāng)于收縮的逆過程。反卷積層：可以堪稱是卷積層的逆操作，如果步長為n，那么尺寸放大n倍，實(shí)現(xiàn)了上采樣的操作。
FSRCNN中激活函數(shù)采用PReLU，損失函數(shù)仍然是均方誤差。對CNN來說，Set91并不足夠去訓(xùn)練大的網(wǎng)絡(luò)結(jié)構(gòu)，F(xiàn)SRCNN提出general-100 + Set91進(jìn)行充當(dāng)訓(xùn)練集。并且進(jìn)行數(shù)據(jù)增強(qiáng)，1）縮小尺寸為原來的0.9, 0.8, 0.7和0.6。2）旋轉(zhuǎn) 90°，180°和270°，因此獲得了數(shù)據(jù)量的提升。
code: http://mmlab.ie.cuhk.edu.hk/projects/FSRCNN.html
————————————————
版權(quán)聲明：本文為CSDN博主「aBlueMouse」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議。
原文鏈接：https://blog.csdn.net/aBlueMouse/article/details/78710553
