題目 ：使用GAN實現可變形醫學圖像配準

傳統的深度學習配準方法都采用迭代方法，作者采用GAN實現了一種端到端的多模態圖像配準方法，消除了傳統方法耗時的迭代直接生成有變形場的配準圖像。
前人工作：
Sokooti et. al.[6]提出RegNet，它使用經過模擬變形訓練的CNNs為一對單一模態圖像生成位移向量場。
Vos et. al. [7][提出了一種可變形圖像配準網絡(dir - net)，它以一對固定圖像和一對運動圖像為輸入，非迭代地輸出變換后的圖像。訓練是完全無監督的，不像以前的方法，它沒有經過已知配準轉換的訓練
前人工作中需要改進的地方：
1）使用空間對應的patches 來進行預測轉換，但是在低對比度醫學圖像中尋找相應的patches是不容易的，可能會對配準任務產生不利影響
2）多模態配準由于其固有的尋找空間對應斑塊的問題，使得其配準方法具有挑戰性

3. 使用基于強度的代價函數限制了基于DL的圖像配準框架的優勢
   主要創新點：
   1）利用GANs進行多模態醫學圖像配準，可以恢復更復雜的變形范圍
   2）損失函數的改進，加入VGG，SSIM損失和變形場可逆性（deformation field reversibility變形場可逆性，emmm感覺怪怪的）
   對于多模態配準，我們使用cGANs來保證生成的輸出圖像(即，轉換后的浮動圖像）與浮動圖像具有相同的特征(強度分布)，而與參考圖像(不同模態)具有相似的位置。可以通過在圖像生成的損失函數中加入適當的約束來實現。此外，我們加強變形一致性，以獲得真實的變形場。這可以防止不切實際的配準，并允許任何圖像作為參考或浮動圖像。不需要對網絡進行再訓練，就可以從不屬于訓練集的模式中注冊新的測試圖像對。

網絡結構：

Fig. 1. (a) Generator Network; (b) Discriminator network. n64s1 denotes 64 feature maps (n) and stride (s) 1 for each convolutional layer.

生成網絡：

配準后的圖像為I_trans
待配準的圖像為I_Flt
固定圖像為I_Ref
I_trans 應該和I_Flt有相同的強度分布，和I_Ref有相同的結構信息
NMI(ITrans, IRef)表示IRef和IT rans之間的歸一化互信息(NMI)（normalized mutual information）再多模態配準任務中常使用
SSIM(IT rans, IRef)表示結構相似度指標(SSIM)[13]，基于邊緣分布等計算圖像相似度
保證結構相似性
V GG(IT rans, IRef)是使用預訓練V GG - 16網絡的Relu 4 - 1層全部512個feature map的兩幅圖像之間的L2距離
VGG損失提高了魯棒性，因為成本函數考慮了在不同尺度上捕獲信息的多個特征映射

對抗損失

image.png

循環一致性損失

image.png

實驗：

實驗一：colour fundus images and fluorescein angiography (FA) images 彩色眼底圖像和熒光素血管造影(FA)圖像

評價標準：
registration error (ErrDef) ：應用變形場和恢復變形場之間的配準誤差
95 percentile Hausdorff Distance (HD95)：配準前后95% Hausdorff距離
mean absolute surface distance(MAD)：配準前后的平均絕對表面距離
mean square error (MSE)：配準后的FA圖像與原始未變形的FA圖像對比。

表1。對比視網膜圖像配準前后不同方法的平均性能。Time表示配準一個測試映像對所需的時間(以秒為單位)。

Fig. 2. Example results for retinal fundus and FA registration. (a) Color fundus image; (b) Original FA image; (c) ground truth difference image before simulated deformation; (d) Deformed FA image or the floating image; Difference image (e) before registration; after registration using (f) GANReg; (g) DIRNet; (f) Elastix .

實驗二：心臟圖像配準

Fig. 3. Example results for cardiac RV registration. Superimposed contours of the ground truth (red) and deformed segmentation mask of moving image (green): (a) before registration; after registration using (b) GANReg; (c) DIRNet; (d) Elastix.