為醫(yī)生減輕負擔。

試想一下，一位放射科醫(yī)生平均要花20分鐘，仔細查看數(shù)百張切片，才能完成一次腹部CT的解讀。

在全球范圍內(nèi)，這樣的情況每年會發(fā)生3億次，僅腹部CT的數(shù)量就占總量的四分之一。但和海量的影像需求形成鮮明對比的是嚴重的人力危機：預計到2036年，全球放射科醫(yī)生的缺口將超過19000人。

AI能成為幫手嗎？可惜的是，現(xiàn)有的醫(yī)學AI大多還處于平面階段。它們多基于2D圖像構建，很難真正理解CT掃描復雜的3D體積特性，而且極度依賴昂貴的人工標注，泛化能力也很有限。

如今，斯坦福大學的研究團隊在Nature期刊上發(fā)表了一項重大成果：一個名為Merlin的3D視覺-語言模型（VLM），不僅能原生處理3D體積數(shù)據(jù)，還在不需要額外人工標注的情況下，展現(xiàn)出超過傳統(tǒng)模型的出色臨床能力，為醫(yī)學影像分析帶來了全新的模式。

論文鏈接：https://www.nature.com/articles/s41586-026-10181-8

研究結果顯示，Merlin不僅能輔助腹部CT掃描的判讀，減輕放射科醫(yī)生的工作負擔，還能為未來生物標志物的發(fā)現(xiàn)和疾病風險分層創(chuàng)造價值。

Merlin是什么？能做什么？

Merlin是一個原生3D視覺語言模型（3D VLM）。它的核心能力是直接理解和處理完整的腹部CT容積數(shù)據(jù)。它可以同時融合三種不同維度的臨床信息，也就是體積CT掃描、電子健康記錄（EHR）里的診斷代碼，以及放射科醫(yī)生寫的自由文本報告。

在訓練策略方面，Merlin采用了高效的弱監(jiān)督學習框架，完全避免了對昂貴人工標注數(shù)據(jù)的依賴。這種方法直接挖掘并利用醫(yī)院在常規(guī)診療過程中自然產(chǎn)生的大量現(xiàn)有數(shù)據(jù)，即結構化的EHR診斷代碼和非結構化的放射科報告，把它們作為監(jiān)督信號來推動模型學習。具體的訓練數(shù)據(jù)規(guī)模非常大，包含來自15331次CT掃描的超過600萬張圖像、180萬個診斷代碼和600萬個文本標記。通過對這些現(xiàn)有數(shù)據(jù)的挖掘，Merlin實現(xiàn)了自我學習，大大降低了數(shù)據(jù)獲取的門檻和成本。

圖 | Merlin訓練與評估概述。

Merlin的核心優(yōu)勢

研究團隊在涵蓋六大類任務、共752個具體子任務的基準測試中，對Merlin進行了全面評估，結果證明它具有超過傳統(tǒng)方法的綜合性能。

零樣本分類測試表明，Merlin能直接識別30種常見的腹部影像表現(xiàn)，內(nèi)部驗證集的F1分數(shù)高達0.741，在包含椎體骨折檢測的外部驗證中也達到了0.767。在跨模態(tài)檢索任務中，不管是“從圖像檢索發(fā)現(xiàn)”還是“從發(fā)現(xiàn)檢索圖像”，Merlin的準確率都明顯優(yōu)于OpenCLIP等現(xiàn)有的2D視覺-語言模型。另外，Merlin還能利用CT圖像直接預測692種臨床表型，平均AUROC達到0.81，其中15%的表型預測準確率甚至超過了0.9。

在經(jīng)過微調(diào)的模型適應任務中，Merlin同樣表現(xiàn)突出。在疾病預測方面，即使只使用少量標簽，Merlin也能準確預測患者未來5年內(nèi)患慢性病的風險。在放射科報告生成任務上，Merlin生成的報告在結構完整性和質(zhì)量上都比現(xiàn)有的RadFM等基線模型好。值得一提的是，在3D語義分割任務中，當只使用10%的訓練數(shù)據(jù)時，Merlin的分割效果已經(jīng)超過了專業(yè)分割模型nnU-Net，顯示出它在低數(shù)據(jù)資源環(huán)境下的巨大優(yōu)勢。

圖 | 零樣本分類的實現(xiàn)過程，通過對比疾病存在提示和疾病不存在提示的文本嵌入與圖像嵌入。

除了在內(nèi)部測試集上的優(yōu)秀表現(xiàn)，Merlin在嚴格的驗證環(huán)節(jié)中也顯示出強大的魯棒性和泛化潛力。

在外部泛化能力測試中，研究團隊在3個外部醫(yī)療機構的44098次CT掃描上對模型進行了驗證。結果顯示，即使面對來自不同設備制造商、不同患者人群分布以及不同醫(yī)生報告風格的數(shù)據(jù)分布差異挑戰(zhàn)，Merlin仍然保持了高性能，沒有出現(xiàn)明顯的性能下降，證明了它應對真實世界復雜環(huán)境的穩(wěn)定性。

更讓人關注的是，Merlin表現(xiàn)出了驚人的跨解剖部位泛化能力。雖然這個模型只在腹部CT數(shù)據(jù)上進行訓練，但在胸部CT的測試評估中，它的表現(xiàn)擊敗了專門針對胸部CT訓練的基礎模型。這一結果有力地證明了Merlin所學到的3D特征表征具有很強的通用性和遷移能力，讓它有潛力解決多種醫(yī)學影像問題。

圖 | 腹部與胸部CT掃描的外部驗證。這些結果證明了Merlin在來自外部站點的44098例腹部和胸部CT掃描中的出色性能。

這種全面的優(yōu)越性在嚴格的橫向?qū)Ρ戎械玫搅诉M一步證實。通過與最先進的微調(diào)2D VLM、2D到3D升維VLM以及僅3D視覺模型進行系統(tǒng)比較，結果清楚地表明：Merlin的視覺-語言預訓練策略明顯優(yōu)于僅視覺預訓練。不管是在數(shù)據(jù)稀缺還是全監(jiān)督的設置下，Merlin的性能都全面超過其他基線模型。

圖 | 替代架構實驗。a–c，基線模型包括五個二維視覺語言模型（2D VLMs）(a)、三個二維到三維提升的視覺語言模型（2D-to-3D lifted VLMs）(b)以及兩個純?nèi)S視覺模型（3D vision-only models）(c)，用于評估Merlin數(shù)據(jù)集的不同訓練策略?；€模型作為與Merlin數(shù)據(jù)集的對比基準?；€模型的訓練流程也進行了說明。

意義與展望

Merlin的出現(xiàn)不只是一次技術上的成功，更預示著臨床工作流程的深刻變革。

在實際應用方面，這個模型有望成為放射科醫(yī)生的得力助手，通過自動化生成結構化報告、輔助進行準確的診斷編碼（ICD編碼）以及快速檢索相似歷史病例，大大減少因重復性勞動帶來的工作負荷，并有效降低人為計費錯誤。更重要的是，Merlin表現(xiàn)出了超過人類視覺局限的潛力。它能從復雜的3D體積數(shù)據(jù)中深入挖掘出那些在常規(guī)閱片過程中容易被忽視的早期疾病生物標志物。

從行業(yè)發(fā)展的宏觀角度來看，Merlin的研究成果為醫(yī)學人工智能的訓練模式提供了重要啟示。對比實驗結果有力地證明了，和單純的“圖像自監(jiān)督學習”相比，利用自然語言進行“視覺-語言對齊”能提供更豐富、更高效的監(jiān)督信號，從而學習到更具泛化性的特征表征。

另外，為了推動整個醫(yī)學AI社區(qū)的共同進步，研究團隊秉持開放科學的精神，不僅公開了Merlin的模型代碼，還發(fā)布了一個包含25494對腹部CT掃描與放射科報告的高質(zhì)量數(shù)據(jù)集。這一舉措將為全球研究人員提供寶貴的資源，加快3D醫(yī)學視覺-語言模型及其下游應用的研發(fā)和創(chuàng)新。

本文來自微信公眾號“學術頭條”（ID：SciTouTiao），作者：王躍然，36氪經(jīng)授權發(fā)布。

本文僅代表作者觀點，版權歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。

免責聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權或非授權發(fā)布，請及時與我們聯(lián)系進行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com