科研思路：
大致方向：遙感圖像+超分
科研安排：前期調研，中期ideas+實驗循環，后期成文。
階段調研總結：
遙感圖像分為高光譜、光學、SAR等幾類，主要從以下幾個方面進行調研：
1、不同類型遙感圖像的特點以及超分的難點；
2、不同類型遙感圖像的深度學習超分應用；
3、針對圖像超分結果的評估指標。
針對評估指標:
【1】Image quality assessment for determining efficacy and limitations of Super-Resolution Convolutional Neural Network (SRCNN)
【2】Using image quality metrics to identify adversarial imagery for deep learning networks
【3】No-Reference Image Quality Assessment in the Spatial Domain
【4】A Framework of Mixed Sparse Representations for Remote Sensing Images
【1】介紹了SRCNN在不同情況下的超分結果，并用no-reference指標brisque和reference指標PSNR和SSIM進行圖像質量評估。文中介紹了四種情況下的超分，分別是：
Image Compression：利用SRCNN對JPEG壓縮圖像進行重建，其超分圖像在PSNR、SSIM上并未有所提升，但改善了brisque sroces。
Successive Image Correction：
Scaling Factor：針對不同的超分factor情況，factor增加會導致brisque、psnr、ssim變差。
Incremental Scaling：在brisque指標上，增量式重建（2X2X）比單次（4X）要好。
【1】中學習的想法：1、brsque是否可以作為超分評價指標，2、利用增量式重建是否質量更好。
【2】實驗驗證了BRISQUE可作為區別真實圖像與對抗圖像的標準。
【3】提出了BRISQUE指標，自然圖像的亮度歸一化后是趨向于高斯分布的，而失真會破壞這種分布，所以通過測量這種統計特征的改變可以達到衡量失真程度的目的。針對超分，可以考慮重建后保持這種分布，即brisque。但是該指標描述是自然圖像，對于遙感圖像是否也擁有這種分布，以及遙感圖像是否擁有其他某種分布，還需要繼續深入調研。
【4】引入點擴散函數（Pointed Spread Functions, PSFs）的概念對其超分方法進行評價，利用維納濾波計算超分遙感圖像與經過插值的低分辨率均值圖像的PSF值，通常情況下，PSF的半峰全寬值與圖像的模糊程度相關，寬度越寬圖像越模糊，相應地，在這里PSF的半峰全寬值越寬則表明重構質量越好。
對于指標，經過討論，最好還是研究常用指標PSNR、SSIM等指標，使用其他指標改模型難度較大，研究遙感的圖像基于某種分布屬于另外的研究問題，其他指標可作為附加實驗。
利用深度學習的遙感超分應用：
兩篇關于高光譜圖像的超分：
【1】Hyperspectral image reconstruction by deep convolutional neural network for classification
【2】Hyperspectral image super-resolution using deep convolutional neural network
【1】【2】指出高光譜圖像在重建過程中，既要實現空間特征的超分辨率，同時需保留光譜信息不distort。
【1】的contribution：
1、提出HRCNN，包含四層CNN，結構沒啥創新。
2、Band selection：從高光譜圖像波段中選出在六個特征上與first PC（pca降維的第一主成分）相近的一個band。including angular second moment(ASM), contrast, entropy, variance, correlation, dissimilarity
3、classification：最后用各種分類器來評估重建效果。
【2】的contrbution：
1、用于重建空間特征的SCT策略。
2、用于重建光譜信息的SDCNN，通過CNN網絡訓練高光譜圖像波段間的差值，實現光譜信息的重建。
3、結合SCT策略和SDCNN進行SR，實現在光譜信息不失真的情況下空間信息的重建。
在高光譜超分方面請教了師兄，指出幾個難點：
1、目前仍以傳統方法為主，并沒有很好的與深度學習結合；
2、高光譜圖像本身結構復雜，且存儲大，圖像處理計算消耗大；
3、利用深度學習進行end-to-end建模難度大，還沒有相關成果。
