論文原文:https://arxiv.org/abs/1902.09383
完整的圖、表及引用見原文,用于學習記錄,與有需要的人分享。
根據圖理解方法
理解實驗設計
數據:
? ? ? ?共選擇了101個腦部MRI來訓練這個轉換合成模型,其中的1個作為x,在其余的訓練中,剩下的100個都依次作為y參與訓練來合成新的100個數據,并且不需要這100個數據的標簽。另外用50個帶標簽的數據來作為驗證集,100個帶標簽的數據作為測試集。共計使用了251份數據。
步驟:
第一步,SAS:用state-of-the-art的方法得到分割標簽
第二步,SAS-aug:將第一步得到的標簽作為新的數據再次訓練分割
第三步,rand-aug:利用調參優化分割性能
第四步,利用有ground-truth的101個數據對一個完全監督分割網絡進行訓練得到結果
變體的比較:
ours-indep:使用100個未標記目標得到100個空間轉換和100個外觀轉換,合成10000個標記示例,由于內存限制,只在每次訓練迭代中增加一個示例。
ours-coupled:與indep不一樣,100個空間變換和100個外觀變換綜合起來,同樣每次訓練迭代只增加一個綜合示例。
our-indep + rand-aug:在訓練分割網絡時,交替訓練ous-indep合成的例子和rand-aug合成的例子。
摘要
? ? ? ?生物醫學圖像分割是醫學應用中的一個重要課題。基于卷積神經網絡的分割方法獲得了最先進的算法。然而,它們通常依賴于帶有大型標記數據集的監督培訓。醫學圖像數據集的標注需要大量的專業知識和時間,并且在大范圍內是可感染的。為了解決缺乏標記數據的問題,研究人員使用了手工設計的預處理步驟、手工調整的體系結構和數據擴充等技術。然而,這些技術涉及昂貴的工程師工作,并且通常是特定于數據集的。
? ? ? ?我們提出了一種醫學圖像的自動數據增強方法,展示了我們的方法在分割磁共振成像(MRI)腦掃描的任務,重點關注一次性分割的場景在許多醫學應用的實際挑戰。我們的方法只需要一個單一的分段掃描,并利用在半監督的方法leverage其他未標記的掃描。我們從圖像中學習了一個變換模型,并將該模型與帶標記的例子結合起來,合成了用于監督分段的傳統帶標記訓練例子。每個變換都由一個空間變形場和一個強度變化組成,從而能夠綜合復雜的效果,如解剖學和圖像獲取過程中的變化。用這些新例子來增強監督分割器的訓練,相對于最先進的一次生物醫學圖像分割方法,提供了顯著的改進。我們的代碼可以在https://github.com/xamyzhao/brainstorm上找到。
1.介紹
? ? ? ?語義圖像分割是許多生物醫學成像應用的關鍵,例如在人口分析,診斷疾病,計劃治療方面。當有足夠的標記數據可用時,基于監督的深度學習的分割方法產生最先進的結果。然而,在醫學領域,為醫學圖像保留手工分割標簽需要大量的專業知識和時間。在大多數臨床即時數據集中,很少有手動標記的圖像。由于機器和機構之間的圖像采集過程存在差異,導致圖像分辨率、圖像噪聲和組織外觀[43]存在較大差異,從而加劇了有限的標記數據問題。
? ? ? ?為了克服這些挑戰,許多監督生物醫學分割方法側重于手工工程的預處理步驟和架構[50,54]。使用手動調優的數據增強來增加訓練示例的數量也是常見的[2,52,54,60,62]。隨機圖像旋轉或隨機非線性形變等數據增強函數易于實現,并且已經證明,在一些設置中可以有效地提高分割精度[52,54,60,62]。然而,這些函數模擬各種真實例子[25]的能力有限,并且對參數[24]的選擇非常敏感。
? ? ? ?我們建議通過學習綜合不同的和現實的帶標簽的例子來解決有限的帶標簽數據的挑戰。我們新穎的、自動化的數據處理方法利用了未標記的圖像。利用基于學習的配準方法,對數據集中圖像之間的空間和外觀轉換集進行建模。這些模型捕獲了未標記體中存在的解剖和成像多樣性。然后,我們通過采樣轉換并將它們應用于單個標記的示例來綜合新的示例。
? ? ? ?本文介紹了一種對腦磁共振成像(MRI)掃描圖像進行一次性分割的方法。我們使用我們的方法合成新的標記訓練實例,使訓練一個監督的分割網絡成為可能。該策略優于現有的一次性生物醫學分割方法,包括單地圖集分割和手工調整數據增強的監督分割。
2.相關工作
2.1醫學圖像分割
? ? ? ?我們專注于腦磁共振圖像的分割,這是具有挑戰性的幾個原因。首先,人類大腦表現出大量的解剖變異[27,56,73]。其次,磁共振成像強度會因受試者特定的噪聲、掃描儀協議和質量以及其他成像參數[43]而變化。這意味著一個組織類可以在不同的圖像中以不同的強度出現——甚至是相同MRI模式的圖像。僅根據外觀分割這樣的掃描是一項困難的任務。
? ? ? ?許多現有的分割方法依賴于掃描預處理來減輕這些強度相關的挑戰。預處理方法的運行成本很高,而針對實際數據集的發展中的技術是一個活躍的研究領域[14,70]。我們的增強方法從另一個角度解決了這些強度相關的挑戰:它不是消除強度變化,而是使分割方法對MRI掃描中的自然變化具有魯棒性。
? ? ? ?許多經典分割方法都使用atlas-based或atlas-guided分割,其中一個標記的基準體積(或atlas)使用變形模型與目標體積對齊,標簽使用相同的變形進行傳播[6,13,21,31]。當多個地圖集可用時,每個地圖集都對齊到一個目標體積,并且將扭曲的atlas標簽融合在一起[35,40,65,75]。在基于atlas的方法中,受試者之間的解剖變化由變形模型捕獲,強度變化的挑戰通過使用預處理掃描或強度魯棒性指標得到減輕,如歸一化互相關。然而,組織外觀的模糊性(如組織邊界不清、圖像模糊)仍然會導致不準確的描述和定位。我們的目標是解決這一限制,通過訓練一個分割模型對不同的現實例子,使分割器更健壯。我們專注于擁有一個單獨的atlas,并證明我們的策略優于基于atlas的分割。如果有多個分段示例可用,我們的方法可以利用它們。
? ? ? ?近年來,采用分段教學的方法越來越受歡迎。為了減少對大型標記訓練數據集的需求,這些方法通常使用數據增強,并結合手工設計的預處理步驟和體系結構[2,39,50,54,60,62,78]。例如,在[50]中使用多分辨率圖像塊和卷積權值共享進行小鏡頭分割。
? ? ? ?半監督和非監督方法也被提出來對抗小訓練數據集的挑戰。這些方法不需要成對的圖像和分割數據。相反,他們利用分割數據集合來構建解剖先驗[20],訓練一個對抗網絡[38],或訓練一個新的語義約束[28]。實際上,圖像集合比分段更容易獲得。我們的方法不是依賴分段,而是利用一組未標記的圖像。
2.2 空間和外觀轉換模型
? ? ? ?形狀和外觀模型已被用于各種圖像分析。在醫學圖像配準中,利用空間變形模型建立圖像間的符號對應關系。這個成熟的領域包括基于優化的方法[4,7,64,67]和基于再學習的方法[8,9,19,41,59,69,76]。我們利用最近一種基于無監督學習的方法VoxelMorph[8,9]來學習空間變換。
? ? ? ?許多配準方法側重于強度歸一化圖像或與強度無關的目標函數,并沒有明確地解釋圖像強度的變化。對于未歸一化的圖像,空間和外觀轉換模型一起被用來注冊不同紋理或外觀以及形狀的對象。許多工作建立在Morphable Models[37]或Active Appearance Models (AAMs)的框架上[15,16],其中構建了形狀和紋理的統計模型。在醫學領域,AAMs已被用來定位解剖標志[17,55]并進行分割[49,53,74]。我們利用卷積神經網絡來學習無約束空間和強度變換場的模型。我們不是為了注冊或分割的最終目標而學習轉換模型,而是從這些模型中抽取樣本來綜合新的訓練示例。實驗表明,用這種方法對分段器的訓練集進行增強,可以比直接使用變換模型進行分割產生更健壯的分割效果。
2.3?自然圖像的小鏡頭分割
? ? ? ?在圖像分割、視頻目標分割和交互式分割中,少鏡頭分割是一項具有挑戰性的任務。現有的研究方法主要集中于自然圖像。少鏡頭語義分割的方法結合了待分割類的原型實例的信息[23,66]。通過將每一幀中的對象對齊到一個標記的參考幀,經常實現少鏡頭視頻分割[36,72]。其他方法利用大型標記的補充信息數據集,如對象外觀[11]。引導網絡已被用來合并額外的信息(例如,在循環的人),以執行少數鏡頭分割在各種設置[57]。自然圖像的小鏡頭分割;例如,組織類別之間的視覺差異與自然圖像中物體之間的差異相比是非常細微的。
2.4?數據增強
? ? ? ? 在基于圖像的監督學習任務中,通常使用簡單的參數化轉換(如旋轉和縮放)來實現數據增強。在醫學成像領域,常采用隨機光滑流場來模擬解剖變化[48,60,61]。這些參數化變換可以減少過擬合,提高測試性能[33,42,48,60,61]。然而,這些變換所帶來的性能增益隨著變換函數的選擇和參數集[24]的不同而有所不同。
? ? ? ?最近的工作提出了從數據中學習數據增強轉換。Hauberg等人的[30]專注于對數字進行分類的數據擴充。他們學習特定于數字的空間轉換,并對訓練圖像和轉換進行采樣,以創建旨在提高分類性能的新示例。除了空間模型外,我們還學習了appearance模型,并重點研究了MRI的分割問題。
? ? ? ?Ratner等人提出了一種半自動化的方法來學習空間和顏色轉換的數據定位。它們依賴于用戶輸入來創建簡單參數化轉換函數的組合(例如,旋轉和對比度增強)。他們學習使用生成的對抗性網絡生成轉換函數的新組合。相反,我們的方法是完全自動的。
3.?方法
? ? ? ? 我們提出在半監督學習框架下,通過合成真實的訓練實例來改進生物醫學圖像的單鏡頭定位。
? ? ? ?設{y (i)}為一組生物醫學圖像卷,令對(x,l x)表示一個標記的參考卷或atlas及其對應的分割映射。在我們的腦MRI分割問題中,每個x和y都是一個灰度三維體。我們將重點放在只有一個標記的atlas可用的具有挑戰性的案例上,因為在實踐中常常很難獲得許多分割體積。如果有更多的分割體積可用,我們的方法可以擴展到利用它們。
? ? ? ?執行數據增加,我們應用轉換τ(k)標記圖譜x。我們第一次學會獨立的空間和外觀變換模型來捕獲的解剖分布和外觀差異阿特拉斯和每個標記卷的標簽。使用這兩個學習的模型,我們通過對atlas卷應用空間變換和外觀變換來合成標記卷{(y (k), l (k) y)},并使用空間變換對atlas標簽映射進行翹曲。相對于空間變換模型中存在不確定性或誤差的單地圖集分割,我們使用相同的空間變換對體塊和標簽圖進行合成,確保新合成的體塊被正確標記。這些綜合的例子構成了一個標記數據集,它描述了未標記數據集的解剖和外觀變化。隨著地圖集,這個新的訓練集使我們能夠訓練一個監督分割網絡。這個過程如圖2所示。
3.1 空間和外觀轉換模型
? ? ? ?MR圖像在解剖和外觀上可以顯示出實質性的掃描間變化。我們使用空間和強度轉換的組合來描述掃描之間的差異。具體來說,我們定義了一個變換τ的成分從一個卷到另一個空間變換τs(·)和一個強度或外觀改變τ(·),也就是說,τ(·)=τs(τ(·))。
? ? ? ?我們假設一個空間變換的形式光滑voxel-wise位移場。根據醫療登記文學,我們定義變形函數φ= id + u, id是恒等函數的地方。我們使用x?φ來表示變形φx的應用。在我們的模型空間轉換的分布數據集中,我們計算出每個體積變形扭曲atlas x y(我)使用φ(i) = gθs (x, y (i)),在gθs(··)是一個參數的函數,我們描述之后。我們寫近似逆變形y(我)xφ?1 (i) = gθs (y(我),x)。
? ? ? 我們模型的外觀改變τ(·)作為per-voxel空間框架的地圖集。我們用這個函數計算每體素的體積ψ(i) = hθ(x, y (i)?φ?1 (i)), y (i)?φ?1(我)是一個卷-假定已經注冊到阿特拉斯空間使用我們學到的空間模型。總之,我們的空間和外觀變換是:
τ (i)s(x) = x ? φ (i) , φ = g θ s (x,y (i) ) (1)
τ (i)a(x) = x + ψ (i) , ψ (i) = h θ a (x,y (i) ? φ ?1 (i) ). (2)
3.2?學習
? ? ? ?我們的目標是捕捉分布變換τs和τ的阿特拉斯和標記之間的卷。我們估計變換函數g sθ(··)和hθ(··)轉換函數。(1)和(2)采用單獨的卷積神經網絡,每個網絡采用圖3所示的一般結構。借鑒Morphable Models[37]和Active Appearance Models[16,17]的觀點,我們獨立優化了空間和外觀模型。
? ? ? ?對于我們的空間模型,我們利用了VoxelMorph[8,9,19],這是一種最近使用開源實現的基于無監督學習的方法。VoxelMorph通過聯合優化animagesimilitylossanda位移場平滑度項,學習輸出一個平滑的位移向量場,將一個圖像映射到另一個圖像。我們使用的一個變體與歸一化互相關VoxelMorph?圖像相似的損失,使g sθ的估計(··)與非規范的輸入量。
? ? ? ?我們使用一種相似的方法來學習外觀模型。天真的,有人可能會定義hθEq(··)。(2)作為一個在atlas空間中的簡單的每像素減法。然而當注冊函數φ是不完美的時候,,這導致hθ(··)生產無關的細節,導致圖像細節不匹配相應的扭曲解剖標簽。我們不是設計hθ(··)作為神經網絡產生per-voxel強度變化在解剖學上一致的方式。具體來說,我們使用即時相似度損失以及語義感知的平滑正則化。鑒于網絡輸出ψ(i) = hθ(x, y(我)φ1),我們定義了一種基于地圖集分割圖的平滑正則化函數:
L smooth (c x ,ψ) = (1 ? c x )?ψ, (3)
Cx是一個二進制圖像的解剖邊界,?是空間梯度算子。直覺上,這個詞減弱同一解剖區域內劇烈的強度變化。
在總外觀變換模型損失1a中,我們使用均方誤差來計算圖像相似度損失
L sim(?y, y) = | |??y | | 2。在實驗中,我們發現計算被試在空間框架內的圖像相似度損失是有幫助的。我們用正則化項L光滑來平衡相似性損失:
L a (x,y (i) ,φ (i) ,φ ?1 (i) ,ψ (i) ,c x )
= L sim ? (x + ψ (i) ) ? φ (i) ,y (i) ? + λ a L smooth (c x ,ψ (i) ),
?λ a是超參數。
3.3?合成新的例子
? ? ? ?Eqs中描述的模型。(1)和(2)使我們樣本空間和外觀變換τ(i)年代,τ(j)山姆-乞討目標卷y (i), y (j)從一個標記的數據集。因為空間和外觀的目標可以有不同的主題,我們的方法可以把一個主題的空間變化與另一個強度聯合成一個單一的強度體積y。我們通過應用轉換計算從目標體積到atlas的標簽創建一個標記合成的例子:
y (i,j) = τ (i)s(τ (j)a(x)),
l (i,j)y= τ (i)s(l x ).
這個過程在圖2中的步驟3和步驟4中被可視化。這些新的標記訓練實例被包含在一個監督分割網絡的訓練集中。
3.4?分割網絡
? ? ? ?這些新合成的例子對于提高監督分割網絡的性能具有重要意義。我們使用一個基于[63]中描述的最先進架構的網絡來演示這一點。為了考慮GPU內存的限制,網絡被設計成每次只處理一個片。我們訓練的網絡隨機片增強訓練集。我們使用驗證集上的早期停止來選擇訓練的回合數。我們強調準確的分割網絡體系結構不是這個工作的重點,因為我們與任何監督分割方法可以結合使用網絡。
3.5?實現
? ? ? ?我們使用Keras[12]和Tensorflow[1]實現了所有的模型。利用[8]中描述的可微三維空間變壓器層實現了對圖像的空間變換應用,并利用最近鄰插值的相似層實現了對圖像的變換分割。為了簡單起見,我們使用兩個相同的神經網絡捕獲3.1節中描述的正向和反向空間變換。出現-狀態轉換模型,我們使用超參數置λ= 0.02。我們在每個批中使用一對卷訓練我們的轉換模型,并使用16個切片的批大小訓練分段模型。所有模型的學習速度均為5e4。我們的代碼可以在https://github.com/xamyzhao/brainstorm上找到。
4.實驗
? ? ? ?我們演示了如何使用我們的自動增強方法來提高大腦MRI分割。我們專注于非標準化掃描的一次分割一個具有挑戰性但實際的場景。強度正常化方法,如偏場校正[26,68,71],在現實情況下可能效果不佳(例如,臨床質量的掃描,或中風掃描[70]或創傷性腦損傷)。
4.1?數據
? ? ? ?我們使用t1加權的公共可用數據集腦MRI掃描描述在[8]。數據集由8個數據庫組成:ADNI[51]、OASIS[44]、遵守[46],ADHD200 [47], MCIC [29], PPMI [45],HABS[18],哈佛GSP[32]。就像在[8]中一樣,我們用1mm各向同性體素對大腦進行了256×256×256的重采樣,并將圖像對齊到160×192×224。我們不做任何強度校正。我們使用FreeSurfer[26]獲得所有掃描的解剖學- cal分割圖,并通過在沒有解剖學標簽的情況下將體素歸零來進行顱骨剝離。為了評估,我們使用了[8]中描述的30個解剖標簽的分割圖。
? ? ? ?我們主要用一個例子來說明分割的任務。我們隨機選擇了101個腦部掃描,以便在訓練時使用。在實踐中,地圖集的選擇通常是接近解剖平均的人口。我們從訓練集中選擇我們的地圖集,通過找到與[8]計算的解剖學平均值最相似的掃描。本圖集是我們方法在訓練過程中使用的單標號示例;其他100個訓練大腦的標簽沒有使用。我們使用額外的50個掃描作為驗證集,另外100個掃描作為測試集。
4.2?分割基線
我們將我們的方法與以下基線進行比較:
Single-atlas分割(SAS):我們訓練了[8]中描述的最先進的注冊算法來注冊每個訓練目標的標簽圖譜。在測試時,我們在一個單圖集分割框架中使用經過訓練的空間轉換模型:我們將圖集注冊到每個測試體積,并使用計算出的形變場對圖集標簽進行翹曲[6,13,21,31,40]。即為每個測試圖像y (i),計算φ(i) = gθs (x, y (i))和預測標簽l l (i) y = xφ(我)
使用單地圖集分割的數據增強(SAS-aug):我們使用SAS結果作為未注解的訓練腦的標簽,然后將其作為訓練樣本包含在監督分割中。這就增加了100個新的訓練實例。即使SAS由于注冊時的錯誤或歧義會產生不完善的標簽,對多個粗標簽進行訓練可以提高分割性能[79]。
手動調諧隨機數據增強(rand-aug):隨機平滑變形已被證明可以用于數據增強[48,60,61],而且在生物醫學應用中尤其重要,因為它們可以模擬組織[60]的解剖變化。與[48,60,61]類似,我們首先在稀疏網格上采樣隨機位移向量,然后應用雙線性插值和空間模糊,創建一個隨機光滑變形場。我們評估了變形場振幅和平滑度的幾種設置,包括[60]中描述的設置。我們使用的設置可以在驗證集上獲得最佳的分割性能。
我們使用一個隨機的全局強度倍增因子來合成組織成像強度的變化,類似于[34,39]。我們從范圍[0.5,1.5]中均勻地采樣這個因子,我們通過檢查來確定這個范圍,以匹配數據集中的強度。這代表了在實踐中如何調優增強參數。這種增強方法在每次訓練迭代中合成一個新的隨機轉換的大腦。
監督:我們訓練一個完全監督分割網絡工作,使用ground truth標簽的所有101個例子,在我們的訓練數據集。除了atlas標簽之外,這些標簽對任何其他方法都不可用。這個方法作為一個上界。
4.3?我們方法的變體
獨立抽樣(ours-indep):如3.3所述,我們樣本空間目標圖像和外觀,非獨立計算τ(i)年代,τ(j)。使用100個未標記目標,我們獲得100個空間轉換和100個外觀轉換,從而能夠合成10000個不同的標記示例。由于內存限制,我們在每個訓練迭代中合成一個帶隨機標簽的示例,而不是將所有10000個新示例添加到訓練集中。
(消融研究)耦合采樣(ours-coupled):為了突出我們的獨立變換模型的有效性,我們將ours-indep與我們的方法的變體進行比較,我們從相同的目標圖像中采樣每個空間和外觀變換。這就產生了100個可能的綜合例子。就像在ours-indep中一樣,我們在每個訓練迭代中綜合一個隨機的測試組。
our -indep + rand-aug:在訓練分段器時,我們交替訓練我們的s-indep合成的例子和rand-aug合成的例子。在我們的合成增強中添加手動調諧的增強可以引入額外的方差,即使在未標記的集合中也看不到,從而提高了分段器的魯棒性。
4.4?評價標準
? ? ? ?我們用骰子點數[22]來評估每種分割方法的準確性,它量化了兩個解剖區域之間的重疊。骰子得分為1表示完全重疊的區域,而0表示沒有重疊。預測的分割標簽相對于使用FreeSurfer[26]生成的解剖標簽進行評估。
4.5?結果
4.5.1?分割表現
? ? ? ?表1給出了每種方法的分割精度。我們的方法在所有30個評價標簽上的平均骰子得分都超過了所有的基線,在接下來的最佳基線rand-aug(使用配對t檢驗p < 1e-15)和SAS-aug (p < 1e-20)上顯示出顯著的改進。
? ? ? ? 在圖4和圖5中,我們將每種方法與單地圖集分割基線進行比較。從圖4可以看出,我們的方法平均上得到了最大的改進,并且比手工調優的隨機增強更有一致性。圖5顯示,ours-indep + rand-aug在每個測試對象上始終優于每個基線。ourindep單獨總是比SAS-aug和SAS好,并且在100次測試掃描中的95次都比rand-aug好。
? ? ? ?圖6顯示,在大型結構上,rand-aug優于SAS,但對較小的解剖結構是有害的。相比之下,我們的方法對所有大腦結構的SAS和SAS-aug產生了一致的改善。我們在圖7中展示了幾個分節海馬的例子。
4.5.2?合成的圖像
? ? ? ?我們獨立的空間和外觀模型能夠合成各種各樣的大腦外觀。圖8顯示了幾個例子,在這些例子中,將來自我們的模型的轉換與精確的標簽相結合,可以產生真實的結果。
5.討論
為什么我們優于單地圖集分割?我們的方法依賴于SAS和SAS-aug使用的相同的空間配準模型。我們的耦合和SAS-aug都增加了100個新的圖像分段訓練集。為了理解為什么我們的方法產生更好的分割,我們檢查了增強圖像。我們的方法以與標簽相同的方式扭曲圖像,確保扭曲的標簽與轉換后的圖像匹配。另一方面,SAS-aug將扭曲的標簽應用于原始圖像,因此在配準過程中出現的任何錯誤或噪聲都會導致錯誤標記的分段器新的訓練示例。圖9突出顯示了我們的方法在海馬體標簽內合成圖像紋理的例子,這些圖像紋理更符合ground truth海馬體的紋理,是一個更有用的合成訓練例子。
擴展:我們的框架適用于未來幾個有價值的擴展。在3.1節中,我們討論了這一種近似的反變形函數用法,用于學習地圖集參考幀中的外觀變換。在未來,我們將利用現有的不同形式配準研究成果,而不是學習一個單獨的逆空間反形式模型[3,5,10,19,77]。
? ? ? ? 我們從一組離散的空間和外觀變換中采樣變換。這可以擴展到更豐富的變換空間,例如,通過變換之間的插值,或者使用變換的組合。
? ? ? ? 我們在腦磁共振成像上演示了我們的方法。由于該方法不使用腦或mri特異性信息,因此可以將其擴展到其他解剖學或成像模式,如CT。
6.?結論
? ? ? ?我們提出了一種基于學習的數據增強方法,并在單鏡頭醫學圖像處理中進行了驗證。
? ? ? ?我們從一個標記掃描和一組未標記的示例開始。使用基于學習的配準方法,我們對帶標記和未帶標記的示例之間的空間和外觀轉換集建模。這些轉換效應包括非線性形變和成像強度的變化。我們通過采樣變換并將它們應用到帶標記的例子中來合成新的帶標記的例子,從而產生各種各樣逼真的新掃描。
? ? ? ?我們使用這些合成的例子來訓練一個監督分割模型。在我們的測試集中,該分割器在每個例子上都優于現有的一次分割方法,接近完全監督模型的性能。該框架支持在許多應用程序中進行分割,例如在臨床設置中,時間限制只允許手工注釋少量掃描。總之,這項工作表明
? ? ? ?從未標記的圖像中學習獨立的空間和外觀轉換模型,可以對各種真實的標記實例進行綜合
? ? ? ?這些綜合的實例可以用來訓練在一次性場景中優于現有方法的分割模型。