姓名：楊安東；學(xué)號：21021210846；學(xué)院：電子工程學(xué)院
轉(zhuǎn)載自：https://blog.csdn.net/aBlueMouse/article/details/78710553
【嵌牛導(dǎo)讀】超分辨率技術(shù)（Super-Resolution, SR）是指從觀測到的低分辨率圖像重建出相應(yīng)的高分辨率圖像，在監(jiān)控設(shè)備、衛(wèi)星圖像和醫(yī)學(xué)影像等領(lǐng)域都有重要的應(yīng)用價(jià)值。
繼上篇，從VDSR之后開始繼續(xù)敘述。
【嵌牛鼻子】SRCNN，高分辨重構(gòu)技術(shù)，深度學(xué)習(xí)
【嵌牛提問】DRRN做了哪些改進(jìn)？
【嵌牛正文】
7. DRRN
(Image Super-Resolution via Deep Recursive Residual Network, CVPR2017)
DRRN的作者應(yīng)該是受到了ResNet、VDSR和DRCN的啟發(fā)，采用了更深的網(wǎng)絡(luò)結(jié)構(gòu)來獲取性能的提升。作者也在文中用圖片示例比較了DRRN與上述三個網(wǎng)絡(luò)的區(qū)別，比較示例圖如下所示。
DRRN中的每個殘差單元都共同擁有一個相同的輸入，即遞歸塊中的第一個卷積層的輸出。每個殘差單元都包含2個卷積層。在一個遞歸塊內(nèi)，每個殘差單元內(nèi)對應(yīng)位置相同的卷積層參數(shù)都共享(圖中DRRN的淺綠色塊或淺紅色塊)。作者列出了ResNet、VDSR、DRCN和DRRN四者的主要策略。ResNet是鏈模式的局部殘差學(xué)習(xí)。VDSR是全局殘差學(xué)習(xí)。DRCN是全局殘差學(xué)習(xí)+單權(quán)重的遞歸學(xué)習(xí)+多目標(biāo)優(yōu)化。DRRN是多路徑模式的局部殘差學(xué)習(xí)+全局殘差學(xué)習(xí)+多權(quán)重的遞歸學(xué)習(xí)。
文章中比較了不同的遞歸塊和殘差單元數(shù)量的實(shí)驗(yàn)結(jié)果，最終選用的是1個遞歸塊和25個殘差單元，深度為52層的網(wǎng)絡(luò)結(jié)構(gòu)。總之，DRRN就是通過對之前已有的ResNet等結(jié)構(gòu)進(jìn)行調(diào)整，采取更深的網(wǎng)絡(luò)結(jié)構(gòu)得到結(jié)果的提升。
github(caffe): https://github.com/tyshiwo/DRRN_CVPR17
8. LapSRN
(Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution, CVPR2017)
論文中作者先總結(jié)了之前的方法存在有三點(diǎn)問題。一是有的方法在輸入圖像進(jìn)網(wǎng)絡(luò)前，需要使用預(yù)先定義好的上采樣操作(例如bicubic)來獲得目標(biāo)的空間尺寸，這樣的操作增加了額外的計(jì)算開銷，同時(shí)也會導(dǎo)致可見的重建偽影。而有的方法使用了亞像素卷積層或者反卷積層這樣的操作來替換預(yù)先定義好的上采樣操作，這些方法的網(wǎng)絡(luò)結(jié)構(gòu)又相對比較簡單，性能較差，并不能學(xué)好低分辨率圖像到高分辨率圖像復(fù)雜的映射。二是在訓(xùn)練網(wǎng)絡(luò)時(shí)使用? 型損失函數(shù)時(shí)，不可避免地會產(chǎn)生模糊的預(yù)測，恢復(fù)出的高分辨率圖片往往會太過于平滑。三是在重建高分辨率圖像時(shí)，如果只用一次上采樣的操作，在獲得大倍數(shù)(8倍以上)的上采樣因子時(shí)就會比較困難。而且在不同的應(yīng)用時(shí)，需要訓(xùn)練不同上采樣倍數(shù)的模型。針對這三點(diǎn)問題，作者提出了LapSRN，網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。
LapSRN的結(jié)構(gòu)可以看成有多級，每一級完成一次2倍的上采樣操作，要實(shí)現(xiàn)8倍的上采樣就需要有三級。在每一級中，先通過一些級聯(lián)的卷積層提取特征，接著通過一個反卷積層將提取出的特征的尺寸上采樣2倍。反卷積層后連有兩個卷積層，一個卷積層的作用是繼續(xù)提取特征，另外一個卷積層的作用是預(yù)測出這一級的殘差。輸入圖像在每一級也經(jīng)過一個反卷積層使尺寸上采樣2倍，再與對應(yīng)級的殘差相加，就能重構(gòu)出這一級的上采樣結(jié)果。LapSRN設(shè)計(jì)損失函數(shù)為：
其中，?
叫作Charbonnier懲罰函數(shù)(? 范數(shù)的變形)，? 大小設(shè)置為0.001。x表示低分辨率圖像，y表示高分辨率圖像，r表示殘差，s表示對應(yīng)的級。N表示訓(xùn)練時(shí)batch size的大小，L表示網(wǎng)絡(luò)一共有多少級。通過將高分辨率圖下采樣，在每一級都存在有對應(yīng)的ground truth進(jìn)行監(jiān)督，因此每一級都有一個損失，訓(xùn)練的時(shí)候就是要把每一級的損失的和降低。
LapSRN通過逐步上采樣，一級一級預(yù)測殘差的方式，在做高倍上采樣時(shí)，也能得到中間低倍上采樣結(jié)果的輸出。由于尺寸是逐步放大，不是所有的操作都在大尺寸特征上進(jìn)行，因此速度比較快。LapSRN設(shè)計(jì)了損失函數(shù)來訓(xùn)練網(wǎng)絡(luò)，對每一級的結(jié)果都進(jìn)行監(jiān)督，因此取得了不錯的結(jié)果。
github(matconvnet): https://github.com/phoenix104104/LapSRN
github(pytorch): https://github.com/twtygqyy/pytorch-LapSRNhttps:/
github(tensorflow): https://github.com/zjuela/LapSRN-tensorflow
————————————————
版權(quán)聲明：本文為CSDN博主「aBlueMouse」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/aBlueMouse/article/details/78710553
