文 | 全世界最乖巧的小豬
Graph CNN for Survival Analysis on Whole Slide Pathological Images
這篇論文是基于上一篇論文 | 圖網絡理論之AGCN在WSI病理圖像上的應用,發表于MICCAI2018,下載地址:沒有下載地址。這里介紹主要方法。
1 WSI圖構建
給定從WSI采樣的patch圖像集合,要先去掉在邊界區域的只包含很少細胞的patch,所以每個WSI的基數||P||都不一樣。因此,WSI建立的圖的尺寸就都不一樣。將patch作為結點,結點特征由ImageNet預訓練的VGG-16生成。由于缺少patch標簽,無法用patch進一步微調網絡。本文將在下一章介紹圖CNN模型如何緩解這一缺陷。圖的邊是通過設定一對patch之間歐式距離的閾值來構建的(這是初始圖),是用VGG16的輸出壓縮成128維特征計算得到,壓縮是用PCA在訓練集和測試集上分別單獨進行的。DeepGraphSurv模型結構如圖1所示。
2 譜圖卷積
這里依舊跳過我們都很熟了的譜圖卷積。用普通GCN有個缺陷,初始WSI圖是基于patch特征建立的,VGG16特征提取器沒有在WSIpatches上微調,因為缺少patch標簽,因此初始圖可能無法正確表示WSIpatches之間的拓撲結構。
3 生存特定圖
初始圖的缺陷是由于特征網絡訓練不足造成的。有兩個問題:1)網絡用了無關監督(i.e ImageNet標簽),2)網絡沒有在病例圖像上微調。最好patch特征可以用生存審查標簽進行微調。所以本文設計了一個獨立的圖和
(Laplacian)去描述特定的生存相關的WSIpatches之間的拓撲關系[13,15](這里就用了AGCN的方法)。
在每個WSI上單獨學習。由于不同WSI圖的大小和拓撲結構不同,直接學習
不現實。因此學習mahalanobis距離度量M來評估邊連接,M隨機初始化。為了加速收斂,我們讓初始圖作為正則項,最后的圖Laplacian將是:
,圖卷積:
然后是重參數化:。模型參數{
}通過生存損失函數的反向傳播被更新,生存損失函數保證了微調特征和圖結構對于生存分析目的來說是最好的。
4 圖注意力機制
通常來說WSI中只有幾個局部RoI關系到生存分析。隨機采樣不能保證patched都來自RoI.(所以我們要想想能不能在采樣的時候就采得更好??)注意力機制提供了一種通過學習重要性來適應性地選取patch。在模型中,有一個并行網絡基于結點特征來學習結點的注意力。這個網絡包括兩個提出的GCN層,輸出是結點注意力值.給定學習到的注意力,輸出R是每個結點n的Yn加權求和:
如上所示,在graph gather層,注意力乘結點預測。注意力網絡和預測網絡共同訓練。模型直接生成預測風險。整合生存風險回歸和圖特征學習。損失函數: