2021-08-19-Image Synthesis in Multi-Contrast MRI With Conditional Generative Adversarial Networks(TMI 2019)-無代碼

暫無公開代碼

pGAN網絡的實現(xiàn)https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix

這篇文章是做什么的：跨模態(tài)MR圖像合成

輸入：單張圖像/多張圖像(體積內相鄰橫截面(neighboring cross-sections within a volume))

是否需要數據配準：需要/不需要

是基于2D還是3D: 2D/3D 具體看數據集描述部分

---文章的Motivation---

本文提出了一種基于條件生成對抗網絡的多對比度MRI合成方法。所提出的方法通過對抗性損失保留高頻細節(jié)；它通過對已配準registered的多對比度圖像的像素級損失和對未配準圖像的周期一致性損失進行約束，提高了合成性能。利用相鄰截面的信息(neighboring cross-sections)進一步提高合成質量。

---方法發(fā)展過程---

給定M1（源域）中的對象圖像b1，目的是準確估計M2（目標域）中相同對象b2的相應圖像。根據他們如何解決這個問題，有兩種主要方法：基于配準和基于強度變換的方法[3](registration-based and intensity-transformation-based methods)。

基于配準的方法首先分別在M1和M2中獲取共同配準(co-registered)圖像集a1和a2生成地圖集(atlas)[4]。這些方法進一步假設來自不同對象的域內圖像通過幾何變換(geometric warp)相互關聯(lián)。為了從b1合成b2，估計將a1轉換為b1的變換，然后將該變換應用于a2。由于它們只依賴于幾何變換，基于配準的方法在基礎形態(tài)學(underlying morphology)方面存在跨對象差異[3]。例如，受試者和圖譜(atlas)之間的病理學不一致(inconsistent pathology)可能導致失敗。此外，即使在正常受試者中，域內配準的準確性也可能受到限制。

另一種方法是使用基于強度的方法，該方法不依賴于不同受試者解剖結構之間的嚴格幾何關系[3]，[5]–[8]。多對比度MRI的一種強大方法是基于壓縮傳感框架(?compressed sensing framework)，其中源圖像b1中的每個patch表示為atlas圖像a1中patch的稀疏線性組合[7]。然后將學習到的稀疏組合應用于從a2中的patch估計b2中的patch。為了改進跨域的patch匹配，還提出了使用多尺度patch和組織分割標簽的生成模型[9]，[10]。最近的研究不是聚焦于線性模型，而是旨在學習更一般的非線性映射，這些映射以a1中的patch表示a2中的單個體素，然后根據這些映射從b1預測b2。非線性映射通過非線性回歸[3]、[5]、[6]或位置敏感神經網絡(location-sensitive neural networks)[11]等在訓練數據上學習。一個重要的例子是對多分辨率圖像塊執(zhí)行隨機森林回歸的(Replica)[3]。Replica在多對比度MR圖像合成中顯示出巨大的前景。然而，在構建字典的過程中，不同空間尺度的patch是獨立處理的，并且在合成過程中對來自不同隨機森林樹的預測進行平均。這些可能導致丟失高空間頻率信息和次優(yōu)合成性能。

最近，提出了一種基于深度神經網絡的多模態(tài)端到端MRI圖像合成框架[12]。Multimodal訓練一個神經網絡，該網絡接收多個不同源對比度的輸入圖像，并預測目標對比度的圖像。該方法在一個統(tǒng)一的框架中執(zhí)行多分辨率字典構造和圖像合成，并且與non-network-based方法相比，即使只有一部分源對比度可用，該方法也能產生更高的合成質量。也就是說，Multimodal假設空間配準的多對比度圖像(spatially-registered multi-contrast images)可用。此外，多模使用均方誤差或絕對誤差損失函數，在高頻下性能較差[13]–[15]。

本文提出了一種基于生成對抗網絡（GAN）結構的多對比度MRI圖像合成新方法。對抗性損失函數最近已被證明可用于圖像到圖像的轉換，并可捕獲高頻紋理信息[16]，[17]。受這一成功的啟發(fā)，我們提出的方法在源對比度給定輸入圖像的情況下，使用條件GANs合成目標對比度的圖像。為了提高精度，所提出的方法在合成過程中利用了體積內相鄰橫截面(neighboring cross-sections within a volume)的相關信息。不同的實現(xiàn)用于兩種不同的場景，其中多對比度圖像在空間上配準（pGAN）和未配準（cGAN）。對于第一種情況，我們使用合成圖像和真實圖像之間的像素損失來訓練pGAN[16]。對于第二種情況，我們在將像素損失替換為循環(huán)損失后訓練cGAN，循環(huán)損失增強了從合成目標圖像重建源圖像的能力[17]。對健康正常人和膠質瘤患者(healthy normals and glioma patients)的多對比MRI圖像（T1和T2加權）進行了廣泛的評估。

---方法---

2.1 – Image synthesis via adversarial networks

傳統(tǒng)的GANs學習從噪聲中生成圖像樣本。然而，在圖像到圖像的轉換中，合成圖像在統(tǒng)計上依賴于源圖像。為了更好地捕獲這種依賴性，可以使用條件GAN接收源圖像作為附加輸入[21]。然后，可以根據以下對抗損失函數對生成的網絡進行訓練：

首先假設源對比度和目標對比度的圖像完全配準。對于這種情況提出了pGAN，該pGAN受pix2pix體系結構[16]的啟發(fā)，將像素級損失納入目標函數中：

由于觀察到生成器忽略pGAN中的潛在變量，因此使用以下總損失函數進行訓練：

在第二個場景中，我們沒有假設源圖像和目標對比度圖像之間存在配準。在這個更現(xiàn)實的場景中，無法利用像素損失，因為像素在對比度之間沒有對齊。本文提出了cGAN，該cGAN受cycleGAN架構的啟發(fā)，結合了循環(huán)一致性損失[17]。

此損失函數強制執(zhí)行將源圖像投影到目標域后，可以在投影損失最小的情況下重新合成源圖像的屬性。進一步將等式1中對抗性損失的負對數似然成本替換為平方損失[22](Further replacing the ?negative log-likelihood cost for adversarial loss in Eq. 1 by a squared loss [22])：

2.2 – MRI datasets

對于配準圖像，我們訓練并測試pGAN和cGAN模型。對于未配準的圖像，我們只訓練cGAN模型。實驗在三個獨立的數據集上進行：MIDAS數據集[23]，IXI數據集(http://brain-development.org/ixi-dataset/)還有BRATS數據集(https://sites.google.com/site/braintumorsegmentation/home/brats2015). MIDAS和IXI數據集主要包含來自健康受試者的數據，而BRATS數據集包含來自結構異常（即腦腫瘤）患者的數據。關于每個數據集中包含的圖像的協(xié)議信息如下所述。數據集被標準化，以確保受試者的體素強度范圍具有可比性。對于每個對比，每個受試者的大腦體積(volume)平均強度標準化為1。為了獲得[01?]中的強度標度，在受試者之間匯集的體素平均強度之上的三個標準偏差被映射為1。the mean intensity across the brain volume was ?normalized to 1 within individual subjects. To attain an intensity scale in [0 1], three standard deviations ?above the mean intensity of voxels pooled across subjects was then mapped to 1.

2.3 – Image registration

對于第一種情況，假設來自給定對象的多對比度圖像被配準。MIDAS和IXI數據集中包含的圖像是未配準的。因此，這些數據集中的T1和T2加權圖像是在網絡訓練之前配準的。對于MIDAS數據集，基于互信息使用仿射變換(affine transformation)進行配準。對于IXI數據集，基于互信息的剛性轉換(rigid transformation)。BRATS數據集不需要配準。未對第二個場景執(zhí)行任何配準。所有配準均使用FSL軟件包[24]，[25]執(zhí)行。

2.4 – Network training

在第一個場景中，我們假設源圖像和目標圖像之間完全對齊，然后使用pGAN學習從源到目標對比度的映射。在pGAN的第一個變體中，輸入圖像是源對比度的單個橫截面(single cross-section)，而目標是所需對比度的各個橫截面。請注意，MR圖像中的相鄰橫截面將顯示出顯著的相關性。因此，我們推斷，在源對比度中加入來自相鄰橫截面的附加信息應該可以改進合成。為此，實施了pGAN的第二種變體，其中源對比度的多個連續(xù)橫截面作為輸入，目標對應于中心橫截面處的期望對比度。據觀察，使用三個橫截面可產生接近最佳的結果，而不會顯著增加模型的復雜性。因此，第二個變體的實現(xiàn)基于此后的三個橫截面。

pGAN網絡的實現(xiàn)https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix使用基于256x256圖像。因此，在訓練之前，所有MR圖像在圖像域中被零填充到該大小。我們采用了[26]中的生成器架構，以及[13]中的鑒別器架構。訓練過程持續(xù)了200個epoch，Adam優(yōu)化器的最小批量為1[27]

在第二個場景中，我們沒有假設源圖像和目標圖像之間存在任何對齊，因此我們使用cGAN來學習未配準的源圖像和目標圖像之間的映射。與pGAN類似，cGAN的兩種變體被認為在單個橫截面和三個連續(xù)橫截面上起作用。實施cGAN的后一種變體時，源對比度的多個連續(xù)橫截面作為輸入，目標對比度的相同數量的連續(xù)橫截面作為輸出。雖然cGAN不假設源域和目標域之間存在任何對齊，但我們仍然希望定量檢查cGAN和pGAN中使用的不同損失函數的影響。為了進行比較，我們還針對配準的多對比度數據（cGANreg）訓練了單獨的cGAN網絡。訓練程序與pGAN相同。

2.5 – Competing methods

第一種方法是Replica，它估計從源對比度到目標對比度的單個體素的圖像塊之間的非線性映射[3]。Replica提取不同空間尺度的圖像特征，然后通過隨機森林進行多分辨率分析。然后將學習到的非線性映射應用于測試圖像。根據[3]中描述的參數，使用Replica方法作者發(fā)布的代碼來訓練模型。

第二種方法是Multimodal，即在給定源圖像作為輸入的情況下，使用端到端神經網絡來估計目標圖像。神經網絡實現(xiàn)隱式執(zhí)行基于這些特征的多分辨率特征提取和合成。經過訓練的網絡可以應用于測試圖像。根據[12]中描述的參數，使用Multimodal作者發(fā)布的代碼對網絡進行訓練。

為了比較所提出的方法和競爭方法，使用了相同的訓練和測試數據集。由于所提出的模型是針對兩個獨立對比度之間的單峰映射(unimodal mapping)實現(xiàn)的，因此Replica和 Multimodal的實現(xiàn)也僅在兩個對比度下執(zhí)行。

2.6 - Experiments

首先考慮多對比度圖像之間的配準方向是否會影響合成質量。特別是，我們從T1和T2加權圖像生成了多個配準數據集。在第一組中，T2加權圖像被配準到T1加權圖像上（產生T2*）。在第二組中，T1加權圖像被配準到T2加權圖像上（產生T1*）。除了配準的方向外，我們還考慮了兩個可能的合成方向（T2 from T1; T1 from T2）。

對于最初未配準的數據集（即MIDAS和IXI），上述考慮導致了四種不同的情況：a）T1→T2*，b）T1*→T2，c）T2→T1*，d）T2*→T1。這里，T1和T2是未配準的圖像，T1*和T2*是配準的圖像，并且→ 對應于合成的方向。對于每種情況，pGAN和cGAN網絡基于兩種變體進行訓練，一種接收單個橫截面作為輸入，另一種接收三個連續(xù)橫截面作為輸入。這導致總共有8個pGAN（一種變體四個，兩個變體就是8個）和4個cGAN模型（不需要配準，只考慮兩種合成方向，一種變體兩個，兩種變體四個）。對于BRAT不需要配準，這導致只需要考慮兩種不同的情況：a）T1→T2*和d）T2*→T1。pGAN和cGAN的兩種變體被認為在單橫截面和三橫截面上工作。

將合成圖像和參考圖像歸一化為最大強度1。為了評估合成質量，我們測量了合成圖像和參考圖像之間的峰值信噪比（PSNR）和結構相似性指數（SSIM）度量。在NVIDIA Titan X Pascal和Xp GPU上進行神經網絡訓練和評估。pGAN和cGAN的實現(xiàn)是使用Pytorch框架在Python中實現(xiàn)的[29]。REPLICA?MATLAB實現(xiàn)，以及帶有Theano后端的Multimodal ?Keras實現(xiàn)[30]。

3 – Results

這些改進可歸因于與成對配準圖像上的循環(huán)一致性損失相比，像素級損失的好處。雖然cGANunreg是在未配準的圖像上訓練的，但它可以捕獲合成對比度中的細粒度結構。

輸入到網絡的源對比度圖像有時可能包含相當大的噪聲水平。在這種情況下，可以通過在相鄰橫截面上合并相關結構信息來提高合成質量。

與處理成對圖像的pGAN不同，cGAN中的鑒別器處理來自源域和目標域的未成對圖像。反過來，這會降低跨橫截面合并相關信息的效率。

4 – Discussion

comparisons between the two directions based on reference-based metrics are not informative because the references for the two directions are inevitably distinct (e.g., T2* versus T2), so determining the optimal direction of registration is challenging. 基于參考的度量的兩個方向之間的比較不是信息性的，因為兩個方向的參考不可避免地是不同的（例如，T2*與T2），因此確定最佳配準方向具有挑戰(zhàn)性。

在源和目標對比度中的體素大小嚴重不匹配的情況下，cGAN方法不僅將學習合成，還將嘗試學習從源的空間采樣網格插值到目標的空間采樣網格。為了減少潛在的性能損失，可以首先通過多模態(tài)配準來估計源圖像和目標圖像之間的空間變換。然后可以將該插值函數級聯(lián)到cGAN體系結構的輸出。

關于基于神經網絡的方法，一個重要的關注點是大數據集的可用性，用于成功地訓練網絡參數。cGAN方法通過允許使用未配準和配準的多對比度數據集來促進網絡訓練。在這里，我們對成對圖像進行訓練，以進行無偏比較，而cGAN允許使用來自不同受試者組的未配對圖像。因此，它可以簡化大型數據集的編譯，這些數據集是通過更深入的網絡提高性能所必需的。然而，通過基于成對和非成對訓練數據的混合訓練網絡，進一步的性能改進是可行的[35]。

5 – Conclusion

本文出了一種新的基于條件生成對抗網絡的多對比度MRI合成方法。與大多數傳統(tǒng)方法不同，該方法對GANs進行端到端訓練，GANs在給定源對比度圖像的情況下合成目標對比度。對抗損失函數的使用提高了目標對比度中高頻信息合成的準確性。通過在已配準圖像的情況下合并像素級損失，以及在未配準圖像的情況下合并周期一致性損失，合成性能得到進一步提高。最后，所提出的方法利用了每個體積內相鄰橫截面的信息來提高合成精度。在健康受試者和膠質瘤患者的多對比度腦MRI數據集中，該方法優(yōu)于兩種最先進的合成方法。