Meet NeuroVFM: A New Neuroimaging Foundation Model Trained With Vol-JEPA on Uncurated Clinical MRI and CT Volumes

密西根大學研究團隊近日在《自然醫學》（Nature Medicine）上發表了一款名為 NeuroVFM 的神經影像基礎模型，試圖解決當前通用 AI 模型在臨床腦部影像任務上表現不佳的困境。由於 MRI 與 CT 掃描影像中含有可辨識的臉部特徵，這些資料極少出現在公開的網路數據集中，導致以網路資料為主要學習來源的前沿模型，在處理實際醫院產生的神經影像時，準確度與泛化能力都明顯不足。NeuroVFM 的訓練規模相當龐大。

團隊使用了來自「UM-NeuroImages」資料集的 524 萬組臨床 MRI 與 CT 立體影像，這些影像涵蓋密西根大學醫學院（Michigan Medicine）超過二十年常規醫療過程中累積的 566,915 次檢查。研究人員將這種學習策略稱為「健康系統學習」（health system learning），核心概念是讓模型直接從未經人工整理、在正常臨床運作中產生的影像資料中學習，不需要依賴成對的放射科報告，也不需要針對特定疾病進行標註，從而跳脫傳統狹義分類器的瓶頸。

這項模型的核心基礎架構稱為 Vol-JEPA，是將先前提出的 I-JEPA 與 V-JEPA 方法擴展到立體醫學影像的成果。JEPA 風格的學習方式正逐步進入醫學影像領域，其特色是採用自監督、純視覺的演算法，不透過重建像素來學習，而是在一個學習到的潛在空間中預測表徵。因此，Vol-JEPA 不需要任何標籤、不需要報告文字，也不需要體素解碼器。具體運作流程如下：首先，每個 3D 立體影像會被切割成不重疊的區塊（patch），每個區塊大小為 4×16×16 體素。

接著，整個立體影像會被分成兩部分：一個較小的「可見上下文」（visible context）區域，以及一個較大的「遮罩目標」（masked target）區域。一個學生編碼器（student encoder）會處理上下文區塊，而一個預測器（predictor）則會結合上下文潛變量與目標位置編碼，來預測遮罩區域的潛變量。與此同時，一個教師編碼器（teacher encoder）會生成真實的目標潛變量。這個教師編碼器是學生編碼器的指數移動平均（EMA），並且在訓練過程中會停止梯度反向傳播。訓練的目標是讓預測出的潛變量與教師生成的潛變量之間的平滑 L1 損失（smooth L1 loss）最小化。

值得注意的是，遮罩策略是以前景為導向的。研究團隊預先計算出頭部遮罩（head mask），只針對頭部區域內的區塊進行取樣與預測。對於 MRI 影像，上下文比例設定為 25%；對於 CT 影像，則為 20%。此外，還會隨機丟棄 20% 的區塊，以避免模型過度依賴背景捷徑。這種設計迫使編碼器專注於學習共享的神經解剖結構，而不是影像中的瑣碎背景特徵。研究團隊表示，NeuroVFM 的推出展現了「健康系統學習」的潛力，證明在缺乏人工整理與標註的情況下，大規模的臨床常規影像仍能訓練出具有泛化能力的神經影像基礎模型。

這項成果不僅為腦部疾病診斷、手術規劃與神經科學研究提供了一個強有力的工具，也為未來將類似方法擴展到其他醫學影像領域開創了新的路徑。