近日，我校醫(yī)學(xué)部生物醫(yī)學(xué)工程學(xué)院倪東教授團(tuán)隊(duì)，聯(lián)合英國牛津大學(xué)、蘇黎世聯(lián)邦理工學(xué)院、浙江大學(xué)、深圳市人民醫(yī)院和度影醫(yī)療等單位，在國際醫(yī)學(xué)圖像分析領(lǐng)域的頂級期刊《Medical Image Analysis》（影響因子10.9）上，發(fā)表了一篇題為“Segment anything model for medical images?”的高質(zhì)量論文。深圳大學(xué)醫(yī)學(xué)部生物醫(yī)學(xué)工程學(xué)院倪東教授和深圳市人民醫(yī)院超聲科董發(fā)進(jìn)主任為共同通訊作者，生物醫(yī)學(xué)工程學(xué)院博士生黃雨灝和助理教授楊鑫為共同第一作者，深圳大學(xué)為第一署名單位。

為了充分評估分析Segment Anything Model（SAM）在醫(yī)學(xué)影像分割上的泛化性能，并對其進(jìn)行基于醫(yī)學(xué)影像微調(diào)的分析，本研究收集并標(biāo)準(zhǔn)化了53個公開數(shù)據(jù)集，最終構(gòu)建了一個包含了18種影像模態(tài)、84種生物醫(yī)學(xué)領(lǐng)域分割目標(biāo)和125個配對組合（分割目標(biāo)-模態(tài)）、1050K 2D圖像和6033K分割掩膜的大型醫(yī)學(xué)影像分割數(shù)據(jù)集COSMOS 1050K（圖1）。通過全面的實(shí)驗(yàn)分析，文章的主要結(jié)論為：（1）SAM在某些特定分割目標(biāo)上表現(xiàn)出色，但在其他情況下表現(xiàn)不穩(wěn)定、不完美甚至?xí)耆指钍?。?）與ViT-B（91M模型參數(shù)量）相比，基于ViT-H（636M模型參數(shù)量）的SAM在醫(yī)學(xué)影像分割任務(wù)上有較高的整體性能；（3）SAM在手動提示下（尤其是框提示模式）的表現(xiàn)優(yōu)于Everything模式。（4）SAM可以高效輔助專家標(biāo)注，實(shí)現(xiàn)更高的標(biāo)注質(zhì)量并減少標(biāo)注時間。（5）SAM的性能與邊界復(fù)雜性、強(qiáng)度差異等因素相關(guān)- -邊界越復(fù)雜、前景背景的差異越低，SAM對醫(yī)學(xué)目標(biāo)的感知能力越差。（6）使用醫(yī)學(xué)數(shù)據(jù)對SAM進(jìn)行微調(diào)，可使其在平均DICE性能提高4.39%（ViT-B）和6.68%（ViT-H）。同時，文章開源了相關(guān)代碼和模型，希望能幫助讀者和社區(qū)更好地了解SAM基礎(chǔ)模型在醫(yī)學(xué)影像中的分割性能，并最終促進(jìn)新一代的醫(yī)學(xué)影像分割基礎(chǔ)模型的發(fā)展。

圖1 COSMOS 1050K數(shù)據(jù)集展示

研究成果鏈接：https://www.sciencedirect.com/science/article/pii/S1361841523003213