Nat Mac Int | 弱監督機器學習用于顯微圖像的檢測、計數和分割
原創?蘇安?圖靈基因?2022-05-19 13:47?發表于江蘇
收錄于合集#前沿生物大數據分析
撰文：蘇安
IF：16.649
推薦度：?????
亮點：
1.?作者通過機器神經網絡學習以及顯微鏡技術建立了一個能夠檢測識別圖像并分析的微鏡深度學習平臺。
2.作者建立的微鏡深度學習平臺可以減輕圖像識別中注釋的工作量，并且此平臺可用于顯微鏡圖像的高通向定量分析。
強大的顯微鏡技術的發展，使我們能夠以亞細胞分辨率和大的視場來表征生物結構，所得到的圖像顯示了廣泛的結構，需要被識別、計數、精確定位和分割，這極大地增加了定量圖像分析任務的復雜性。近期，在Nature machine intelligence雜志上發表了一篇名為“?Microscopy analysis neural network to solve detection, enumeration and segmentation from image-level annotations”的文章，本文作者向我們介紹了一個在深度學習中的弱監督微鏡分析神經網絡(micra-Net)，它可以在一個簡單的主要分類任務上訓練來解決多個更復雜的任務，如語義分割。當Micra-當沒有精確注釋的數據集可用時，Net依賴于嵌入在訓練模型中的潛在信息，以實現類似于已建立的架構的性能。這些學習信息從使用梯度類激活圖的網絡中提取出來，并將其結合起來生成感興趣的生物結構的詳細特征圖。作者演示了micra-Net如何大大減輕了各種顯微鏡數據集上的專家注釋過程，并可用于顯微鏡圖像的高通量定量分析。
首先，作者向我們演示了micra-Net對注釋負擔的影響。根據感興趣的結構識別特定類的正和負圖像，讓Micra-Net接受簡單的多類分類任務訓練，與使用精確的邊界框輪廓來識別結構邊界相比，圖像級注釋不需要指定對象在圖像中的位置。通過進行用戶研究，作者量化了生成具有不同精度級別（精確輪廓、邊界框和點）的注釋所需的時間，并且使用一個度量分析了參與者間的可變性，該度量結合了對象之間的關聯水平(F1分數)和注釋對象的質量(聯合上的交集(IOU)。作者測量了點注釋位置的誤差，范圍從4到10像素(中位數=7像素)，而精確注釋的細胞邊界上的豪斯多夫距離在5到24像素之間（中位數=16像素），這取決于細胞系。與訓練完全監督的DL方法所需的精確注釋相比，全圖像二進制注釋的生成減少了1.2-19倍的變化。圖1.可以使用不同的監督級別來訓練DL模型，以分割顯微鏡圖像中感興趣的結構
圖2a顯示了micra-Net的架構，它是圍繞一個由8個卷積層(L1到L8)組成的CNN架構設計的，然后是一個完全連接的圖層。通過通過網絡反向傳播每個激活類，提取每個預測類，然后，在最后一個卷積層(L8)的梯度cam上應用校正線性單元(ReLU)激活和閾值化，生成一個粗糙的與類特定的特征圖。為了增加提取的特征圖中包含的信息，作者將來自L1-7層的局部圖連接起來，得到了一個特定于類的七維特征空間。為了驗證micra-Net的分類和分割性能，作者創建了一個合成數據集，包含MNIST數據集30個隨機采樣的雜亂手寫數字。第一步是對出現在每幅圖像上的數字進行分類，以驗證網絡的表示能力，得到的類平均分類測試準確率為98.9（5）%。隨后，作者將L1-7層的gram連接起來，生成詳細的分割圖，他們將micra-Net的語義分割性能與完全和弱監督訓練方案的U-Net31進行了比較。結果顯示，與U-Net的所有弱監督訓練實例相比，micra-Net獲得了類似或更優越的分割性能。圖2.Micra-Net在改進的MNIST數據集上的體系結構和實驗結果
為了研究micra-Net方法在超分辨率顯微鏡圖像分割中的適用性，作者語義分割了一個公開的刺激輻射耗盡(STED)顯微鏡中兩種f-肌動蛋白納米結構的顯微鏡圖像：（1）為周期性晶格結構和（2）縱向纖維。結果顯示，與多邊形邊界框注釋相比，圖像級注釋的注釋過程減少了三倍以上。在分類任務中，micra-Net在f-肌動蛋白周期性晶格和縱向纖維的測試數據集上的準確率分別達到了75.2%和83.7%。對于f-肌動蛋白周期性晶格，作者測量了與晶格周期性(180-190nm)對應的分段區域的快速傅里葉變換(FFT)，結果顯示，用micra-Net分割的區域計算的FFT度量與從精確注釋的數據集獲得的區域沒有顯著差異；之后作者發現與精確注釋的數據集相比，只有用micra-Net獲得的分割掩模與從精確標注的數據集獲得的像素強度分布沒有顯著差異。這支持了micra-Net精確識別STED圖像中單個纖維的輪廓和周期性晶格區域的邊界的能力。圖3.在超分辨率顯微鏡圖像上觀察到的f-肌動蛋白納米結構的語義分割
為了表征micra-Net對語義實例分割的性能，我們決定使用來自CTC數據集中的6個細胞系的圖像。作者將從研究的參與者中獲得的注釋的可變性與用于訓練完全監督方法的精確標簽的改變版本的修改版本進行了可變性。圖4b顯示了用戶研究的相關對象(Object-IOU)和精確標簽的修改版本（8次重復）之間的IOU的分布。從圖4b ALT-5的分布情況。因此，使用從多個參與者（例如，眾包參與者）獲得的訓練集來訓練DL架構應該會產生與使用ALT-5訓練時相似的基線性能。作者通過提取F1分數檢測下的歸一化區域作為相關對象曲線(AUC；方法)的IOU的函數來量化結果。圖4d（左）報告了在匯集所有細胞系的數據時，與經過不同級別監督訓練的基線相比的micra-Net的變化。如圖所示，當降低監督水平時，為完全監督的數據集開發的基線的性能會受到影響.Micra-Net實現了與使用弱標簽(ALT-2和ALT-5數據集)訓練的基線相似的性能。在ALT-10數據集上，micra-Net的性能優于所有考慮的基線，顯著提高了性能。與從用戶研究中獲得的精確輪廓注釋和邊界框相比，作者還測量了使用micra-Net時類似或顯著增加的測試AUC。雖然CTC是一個精確的注釋和策劃數據集，可以很容易地用于完全監督方法，但使用圖像級二進制標簽培訓將減少超過157h必要的注釋時間。圖4.對CTC數據集的5個選定細胞系的語義實例分割
為了評估micra-Net的穩定性，作者進行了多個設備的分析。選擇了giemsa染色的間日瘧原蟲（瘧疾）感染的人類血液涂片的亮場顯微鏡數據集，其訓練和測試數據集具有非常明顯的強度分布。作者將micra-Net的分割結果與專家精確的注釋進行了比較，與檢測精度的結果相比，與僅更新線性層相比，通過微調(線性+3、4{12、24、26}和All{12、24})顯著降低了IOU。
最后為了評估如何將micra-Net作為一種工具，指導專家在電子顯微鏡(EM)數據集的大圖像中注釋稀疏和小結構。作者在超薄小鼠大腦切片的掃描電子顯微鏡(SEM)圖像數據集上進行了測試，結果表明，micra-Net應用于這個EM注釋任務，成功地減少了生成訓練數據集的負擔，同時也顯著增加了被手工專家注釋所遺漏的區域的發現。
教授介紹：
Flavie Lavoie-Cardinal
Flavie Lavoie-Cardinal是加拿大CERVO中心的獨立研究員，也是拉瓦爾大學物理，遺傳學，物理學和光學系的副教授，智能納米學研究主席。
主要研究領域：智能納米鏡，機器學習，深度學習，神經光子學，細胞和分子神經科學，光學成像領域。致力于超分辨率顯微鏡的開發及將超分辨率應用于細胞和分子神經科學。Cardinal博士目前建立了一個研究項目，使用和開發用于顯微鏡的機器學習和深度學習。她的項目重點是提高顯微鏡技術的性能，并開發對所獲得圖像進行定量分析的技術。
參考文獻：
Bilodeau, A., Delmas, C.V.L., Parent, M.?et al.?Microscopyanalysis neural network to solve detection, enumeration and segmentation fromimage-level annotations.?Nat Mach Intell?(2022).
