華中師大 CoReFuse-Med：先淨化再融合，讓低質模態不再拖後腿｜ACM MM 2026

來源：多模態信息融合文章鏈接：https://mp.weixin.qq.com/s/SVr9DmtPyzORLYad-tNR-g多模態融合何時失效？ACM MM 2026 · CoReFuse-Med多模態並不是越多越好。當MRI已經空間對齊，但是T1、T2、FLAIR等模態的採樣質量差別很大時，低質量模態可能會把高質量模態中產生的重採樣偽影一起帶入到融合網絡中去。CoReFuse-Med從淺層汙染和深層模態偏置這兩個方面來對症下藥地進行修復。

論文標題：When Fusion Fails: Corruption-Aware Rebalanced Fusion for Multi-Modal Medical Image Segmentation作者：Yuchen Pei, Xiaoyu Hu, Yixiong Zou, Dingwen Hu, Hui Chu, Yutao Ma, Shijun Qiu, Gang Li單位：華中師範大學、華中科技大學、廣州中醫藥大學及其第一附屬醫院、北卡羅來納大學教堂山分校論文鏈接：https://arxiv.org/abs/2609.10261代碼鏈接：https://github.

com/lrever/CoReFuse01對齊好了，但是融合為什麼還不能成功呢？FUSION FAILURE · FIG.1論文在IH EPVS數據集中對高分辨率T1單模態DSC進行了觀察，並發現了一個出乎意料的結果：高分辨率T1單模態DSC為0.703，融合T1、T2 和 FLAIR 後反而降到大約 0.695。空間對齊並不等同於信息質量的一致性。低分辨率序列經過重採樣之後，其圖像和T1同大小，但是可能會含有不可靠的信息。三個證據：汙染和偏見作者把問題限定在了分辨率不同所引起的質量問題下降上，並沒有涉及到未對齊或者模態全部缺失的情況。

首先比較淺層特徵的F-CNR，然後聯合訓練梯度和遮擋測試，最後跟蹤跳躍連接的噪聲傳播：由此可以解釋為什麼“弱訓練貢獻”也有可能是“強推理干擾”。證據一：低分辨率產生噪聲論文中提出的特徵對比噪聲比F-CNR：用病灶區和背景區的均值之差除以背景區的標準差來衡量可分性。第三頁特徵可視化顯示，T1的F-CNR值是1.0283，T2的F-CNR值是0.4301，FLAIR的F-CNR值只有0.2980；T1 約為 FLAIR 的 3.4 倍。即使從幾何上來說是重合的，但是淺層表徵的可靠性卻不一樣。

式(1)｜F-CNR：病灶和背景特徵可以區分證據二：優化和推理不一致在EPVS的3D U-Net中，T1佔據了77.4%的梯度貢獻，FLAIR只佔到了13.1%；但是遮擋FLAIR會使DSC降低70.2%，和遮擋T1的影響一樣大。梯度更新次數少，並不代表在預測的時候就沒有影響了。論文把反差看作是優化——推理不一致性的主要證據。證據三｜Skip 連接會傳染U 型網絡中的 skip connections 本來是用來把空間細節送入解碼器的；在各向異性MRI中，它也會把重採樣的結構偽影一起帶到新的圖像中去。

網絡又傾向於依靠更加“乾淨”的、容易被優化的高質量模態，因此出現了特徵汙染和貪婪模態選擇的問題。T1、T2、FLAIR等淺層特徵F-CNRTable 1 梯度貢獻、模態遮擋之後DSC下降02首先進行淨化，然後對各個模態的貢獻進行平衡COREFUSE-MED·FIG.3CoReFuse-Med 不是簡單的再堆一個更強大的cross-attention，而把融合分成兩部分：LACE首先給每個MRI序列構建出高效的各向異性編碼；IMSH對淺層結構基底和殘差之間的可靠傳遞負責；MBCF 在深層次共享語義空間中重新校準模態貢獻。仍然是一套三流、對稱U型分割網絡。

01LACE+IMSH淺層先“去汙染”LACE 使用局部DoubleConv和沿著D、H、W三個方向的條帶卷積分支來分別保留細節、捕獲軸向上下文，之後用可選的通道注意力融合兩支特徵。IMSH使用無參數的3×3×3平均池化分離結構作為基礎，並且用高頻殘差來代替低頻殘差：基底部分用競爭性的Softmax權重選擇可靠解剖結構，殘差部分由共享Sigmoid門控過濾重採樣偽影組成，最後用輕量級DSConv3D來整合。LACE 雙分支選擇性融合：局部邊界和軸向上下文分別提取出來之後，再用自適應權重進行合成。

式(2)LACE選擇性特徵融合IMSH 空間尺度分解：平滑分量承擔共享解剖佈局，殘差包含有效的細節和重採樣的噪聲。式(3)｜平均池化構建結構基底和殘差式(4)｜競爭加權之後回寫淺層特徵02MBCF｜對深層糾正模態偏見MBCF的作用是針對L3-L4深層跳連特徵。首先把T1、T2、FLAIR的全局描述拼接起來，經過共享MLP產生通道權重；再利用空間門控來排除由於位置不穩而產生的不可靠響應；最後得到的是一個不屬於任何一個單一模態的公共查詢Q，對三模態拼接並下采樣K、V執行對稱交叉注意力。目的並不是要迫使所有的模態都以相同的權重來發言，而是在融合的時候給可信的信息合理的貢獻。

全局通道校準並不是通過Softmax強行使三個模態的權重相加等於1，而是在共享MLP和Sigmoid之間產生條件化的通道權重；空間門控和共享查詢更加限制了模態的競爭。式(5)為全局通道可靠性的校正式(6)不依賴於一個單一的模態來共享查詢式(7)｜三模態拼接和降採樣的後K、V式(8)對稱跨模態注意力融合實驗的結果和邊界：怎麼去讀呢？在EPVS上Ours(Med)DSC=0.7326、HD95=7.35，好於對比中的MedNeXt的0.7085、8.17；在 BraTS 上DSC=0.8528、HD95=4.43，比MedNeXt的0.8314、7.59要好一些。在 WMH 上DSC=0.

80，HD95=6.22，IAVD=0.171，參數量只有2.665M。論文還對BraTS中20%和30%軸向切片的保留情況進行考察，並且分別重新訓練了每個模型，在兩種不同的設置下取得了最好的DSC/HD95；但這不是同一個權重直接跨退化等級測試。額外的高斯噪聲是作為補充來驗證的。消融實驗：在EPVS中，BaselineDSC為0.7146；組合LACE+IMSH+MBCF之後的Ours(Base)為0.7322，表示這三個模塊之間存在互相補充的作用。在EPVS上已經嚴重退化的地區，模型主要是防止汙染破壞T1，並不是“憑空恢復”T2/FLAIR已經丟失的信息。

研究邊界：主要問題就是空間對齊之後的分辨率下降，並不是所有的模態都缺失了，也沒有解決所有的強噪聲場景。未來的方向是動態模態缺失以及更多的採集偽影。