模態缺失、噪聲幹擾怎麼辦？天津大學張長青：給多模態融合加上「可信度量尺」| CNCC 2026

真正的挑戰，是讓模型保留有效信息、識別可靠證據，並適應新的任務。作者丨張 璐 編輯丨馬曉寧 在具身智能、自動駕駛和智慧醫療等場景中，模型需要處理的數據遠不止圖像、文本和語音。雷達、觸覺、心電、醫學影像及各類傳感器數據，都可能成為預測和決策的依據。然而，不同模態之間既存在關聯，也包含彼此無法替代的信息；現實數據還常常面臨模態缺失、噪聲干擾等問題。如何在融合信息的同時保留模態差異？當不同來源的數據質量不一致時，模型又該如何判斷哪些信息更可靠？如果每遇到一種新任務，都需要重新設計和訓練專用模型，多模態技術的應用成本又該如何降低？

10月21日，在 CNCC 2026 首日的Tutorial環節，天津大學人工智能學院英才教授、國家級青年人才張長青作了題為《廣義多模態融合技術》的報告，介紹了團隊圍繞多模態表徵、動態可信融合和通用預測基座開展的研究。從保留模態特有信息，到利用證據評估預測的不確定性，再到嘗試構建能夠適應不同模態組合與預測任務的基礎模型，這些工作指向同一個問題：如何讓多模態融合更好地適應真實世界的複雜性。01超越簡單對齊：如何兼顧模態的共性與個性？多模態融合的價值，在於不同來源的信息能夠相互補充。單一模態只能呈現對象或事件的部分特徵，而不同模態的結合，有可能幫助模型形成更全面的判斷。

但模態數量增加，並不意味著預測準確率必然提高。新增信息可能包含噪聲，也可能對當前任務產生誤導。因此，多模態融合不僅要回答如何整合信息，還要回答如何保留有效信息、抑制無關干擾。張長青首先介紹了多模態表徵中的兩種思路：聯合表徵（Joint Representation）與協同表徵（Coordinated Representation）。聯合表徵嘗試將不同模態的信息整合到共同的表徵中；協同表徵則強調不同模態之間的關聯。以典型相關分析（CCA）及其深度學習變體為例，相關方法會將不同模態映射到具有較強相關性的空間，以利用它們之間的共性信息。

問題在於，如果過度強調共享信息，模態特有的信息可能難以得到充分保留。例如，在醫學診斷中，病原學檢測和 CT 影像能夠從不同角度提供信息。前者可能幫助識別感染的病原體，後者能夠顯示肺部病灶的位置與範圍。兩類信息相互補充，卻不能簡單地相互替代。因此，多模態表徵需要同時考慮共性與個性，而不是僅僅追求不同模態之間的一致性。張長青團隊嘗試改變表徵學習的思路：不只從觀測數據中提取共同特徵，還通過重構不同模態的觀測，學習能夠容納多種信息的潛在表徵。在這一思路下，可以將每個樣本背後的潛在表徵視為需要學習的變量，再通過不同的映射機制重構各模態的觀測數據。

與單純將不同模態映射到共同空間的做法相比，這種方式試圖從重構目標出發，保留觀測數據中包含的不同信息。張長青將這一思路與神經輻射場（NeRF）的立體結構恢復聯繫起來。NeRF 根據不同視角的觀測學習場景表示，並據此生成相應視角的圖像。兩者在通過潛在表示解釋多種觀測這一思路上具有相似之處，但具體任務和技術機制並不相同。這一研究方向也與醫療、工業場景中的模態缺失問題有關。在醫院中，不同患者接受的檢查項目可能不同：有些患者做了 CT，有些患者沒有；有些患者具有完整的化驗數據，有些患者則缺少部分檢查結果。如果算法必須先補齊所有缺失數據才能進行預測，就可能面臨高維數據補全困難、補全結果不可靠等問題。

針對這一問題，團隊探索了基於潛在表徵的學習方法，希望利用現有可觀測數據進行建模，而不必對每一種缺失情況都進行人工補全。這類研究的意義在於，現實中的多模態數據並不總是完整、規整的。如何在模態缺失的條件下有效利用已有信息，仍是多模態學習需要解決的重要問題。02從靜態融合到動態可信決策：模型如何判斷信息是否可靠？即使不同模態都能夠提供信息，它們在具體任務中的價值也可能隨環境和樣本發生變化。張長青在報告中用一個日常場景解釋了這種動態性：如果人在戶外被蚊子叮咬，天色較暗、看不清蚊子時，可能會根據皮膚髮癢的位置拍打；如果光線充足，則可以先觀察，再採取行動。

任務沒有改變，但人會根據當時能夠獲得的信息調整判斷依據。對於機器學習模型而言，問題也類似。在自動駕駛等場景中，可見光圖像和熱成像可能提供互補信息，但不同模態在不同環境下的有效程度並不相同。如果模型始終過度依賴某一種模態，就可能無法充分利用其他信息。此前的一些研究嘗試根據圖像的光照質量等外部指標調整模態權重。但光照條件並不能完全代表圖像對特定任務的判別價值。因此，僅憑預先設定的質量指標調整權重，並不一定能夠解決動態融合問題。張長青介紹的另一條研究路線，是將不確定性估計引入多模態融合。

在相關工作 Trusted Multi-View Classification with Dynamic Evidential Fusion 中，團隊提出可信多視圖分類方法 TMC。該方法利用變分狄利克雷分佈刻畫類別概率分佈，並結合 Dempster–Shafer 證據理論，融合不同視圖提供的證據，以估計預測的不確定性。與只輸出一個分類結果的方式相比，這類方法還嘗試回答：當前判斷獲得了多少證據支持？不同來源的信息是否一致？現有證據是否足以支持一個相對可靠的判斷？這種思路尤其適用於信息質量不穩定的場景。模型不必將每一種輸入都視為同樣可靠，而是可以根據不同來源提供的證據，調整融合結果。

報告還介紹了動態證據融合在晶體結構識別中的應用。利用電子顯微鏡獲取晶體結構信息時，不同觀測角度提供的信息量可能存在較大差異。如果將所有觀測一概而論，再通過固定權重或簡單投票整合結果，有效證據就可能受到大量低價值觀測的干擾。動態融合則嘗試根據每次觀測提供的證據更新判斷。在滿足相應條件時，系統還可以根據不確定性是否達到設定閾值，決定是否繼續採集數據。演講中展示的實驗結果顯示，該晶體結構識別任務的分類準確率由約58%—59%提高至93.9%左右。具體結果仍應結合對應論文的實驗設置理解，不能據此推斷所有多模態任務都能取得相同幅度的提升。

這類研究所關注的，不只是如何將不同模態的信息放在一起，更是如何根據證據質量形成判斷，並在適當的條件下停止繼續收集信息。03Fusion Anything：探索通用多模態預測基座前兩部分討論的是多模態融合中的具體問題：如何保留模態特有信息，以及如何在不同信息源之間進行動態、可信的決策。在此基礎上，張長青進一步介紹了團隊的通用多模態預測基座——Fusion Anything Model（FAM）。

相關論文 Fusion Anything: A Generalized Multimodal Foundation Model 提出了一個更具普適性的研究問題：能否訓練一個模型，使其不再侷限於預先指定的模態組合和單一任務，而是能夠利用上下文樣例，適應不同的多模態預測任務？傳統多模態模型通常針對特定的數據類型和任務進行設計。面對新的應用場景，研究者可能需要重新選擇算法、整理數據、訓練模型，並反覆調整參數。這種方式能夠針對具體任務進行優化，但也增加了遷移到新場景的成本。

FAM 希望探索另一種路徑：通過預訓練學習可遷移的多模態關聯模式，在面對新任務時，利用給定的上下文樣例完成預測，而不必針對每個任務重新更新模型參數。這一目標面臨的主要困難，是如何獲得足夠多樣的訓練數據。真實世界中的多模態數據往往難以覆蓋所有可能的模態組合和關聯模式。為此，團隊採用結構多模態因果模型（Structural Multimodal Causal Models，SMCMs）生成合成多模態預測任務，通過改變潛在信息、共享信息、模態特有信息及其關聯結構，構造具有不同相關模式的數據。

在模型架構上，FAM 使用三類注意力機制：模態內注意力（Intra-modality Attention）：建模同一模態內部不同特徵之間的關係。跨模態注意力（Cross-modality Attention）：建模同一樣本中不同模態之間的關係。樣本級注意力（Sample-level Attention）：利用上下文樣例之間的信息，幫助模型根據已有樣例預測新樣本。這三類注意力機制分別關注模態內部、模態之間和不同樣本之間的關聯，共同支持模型對多模態預測任務的處理。這裡需要區分兩個概念：無需針對新任務更新模型參數，並不意味著模型完全不需要任務樣例。

FAM 在推理階段採用上下文學習（In-context Learning）：研究者提供一些帶標籤的樣例，模型根據這些樣例中的輸入與目標值預測新的查詢樣本。模型不需要針對該任務進行額外的參數微調，但仍然需要上下文樣例來提供任務信息。在論文報告的評估中，FAM 在18個真實數據集、12種模態和11類預測任務上進行了測試。結果顯示，它在多種任務上取得了有競爭力的表現，論文報告的平均準確率較所比較的專用融合基線提高約6.9個百分點。不過，不同數據集上的表現並不完全一致，模型也並非在所有測試中都優於其他方法。除了論文中的公開評估，張長青還展示了團隊在若干實際任務上的初步測試。

在具身智能方向，團隊將 FAM 用於視觸覺抓取成功率預測。現場展示的結果中，FAM 的預測表現與一項專用方法接近。這說明通用預測基座有可能用於處理視覺和觸覺等不同來源的信息，但預測抓取是否成功，與機器人實際執行抓取動作仍是不同的問題。在另一項具身智能相關測試中，團隊嘗試將模型用於強化學習中的評分任務，結合文本指令和視頻觀測，對不同動作軌跡進行評價。現場 PPT 展示的結果中，加入 FAM 後的方案優於所比較的基線方案。具體提升幅度仍需結合相應實驗設置理解。在醫療方向，團隊與湘雅醫院皮膚科開展了多模態皮膚病診斷測試，涉及臨床圖像、皮膚鏡圖像和病史等信息。

報告展示了 FAM 與 PanDerm 等方法在相應測試中的比較結果。這些結果可以作為探索通用多模態預測模型在醫學任務中應用潛力的初步依據，但不能直接推導出它在所有皮膚病診斷場景中都優於專用模型。團隊還展示了一項歷史手稿識別測試。面對難以直接識別的手寫文本，研究者利用視覺信息、前後文以及其他特徵進行預測。該案例說明，通用預測框架不僅可以用於常見的圖像和文本任務，也有可能整合不同類型的輔助信息。不過，這項工作仍需結合其具體數據、評價指標和實驗設置進一步理解。

從這些探索可以看到，Fusion Anything 的目標並不是用一個模型立即取代所有專用模型，而是嘗試降低新任務的適配成本，讓多模態融合能夠更靈活地遷移到不同的應用場景。目前，這一方向仍有不少問題需要繼續研究，包括模型的後訓練、垂域適配、模態編碼器的選擇，以及如何將通用預測能力可靠地應用於真實的機器人系統。回顧整場報告，多模態融合研究涉及三個相互關聯的層面：在表徵階段，如何兼顧不同模態的共性與個性；在決策階段，如何利用證據評估預測的不確定性；在更通用的模型層面，如何讓學到的關聯模式適應新的模態組合和預測任務。

這些問題尚未全部解決，但它們共同指向一個明確的研究方向：讓多模態模型不僅能夠整合更多信息，還能夠更有效地利用信息，並在面對新的任務時減少重複設計和訓練的成本。CNCC 即將召開，歡迎參會的研究者、學生，以及關注計算機領域前沿進展的讀者加入我們的 CNCC 交流社群。在這裡，你可以認識同行、交流研究，分享招生信息、科研合作、約飯、投稿、組隊參會等，尋找潛在的合作伙伴。大會期間，我們也會持續帶來現場報道速遞、嘉賓演講解讀、前沿方向梳理和論壇精華。會場見，也在群裡見。?進群傳送門： 掃碼進群或添加微信Qvv0909777，備註：CNCC + 單位/學校+姓名+方向。

上車，帶你看遍全球 AI 頂會精華可獨家暢覽：專家演講PPT大會報告全文熱門論文解讀學術新星訪談掃描上方二維碼或點擊「閱讀原文」關注專區。