中大梁小丹團隊，GeoThinker 兩項研究成果，破除空間推理「幾何信息用不好、計算開銷大」難題

不再實時調用外部三維幾何編碼器，視覺語言模型空間推理提速約 3.6 倍。作者丨張豈萍 編輯丨幸麗娟 給視覺語言模型多塞一份三維幾何信息，它就一定看得更準？還真不一定。判斷物體的位置、距離和空間關係，是視覺語言模型實現空間推理需要具備的能力。現在一種常見做法，是接入 VGGT 這類三維幾何編碼器，從多視角圖像中提取深度、點雲等空間線索，輔助模型判斷。但外部幾何信息並不是越多越好。無關的幾何特徵可能干擾模型判斷，每次調用外部三維模型，也會增加推理時間。圍繞這一問題，中山大學梁曉丹團隊連續開展了 GeoThinker 系列研究。

第一項工作 GeoThinker 針對無關幾何特徵干擾判斷的問題，讓模型根據問題主動挑選有用的幾何線索，更好地利用外部三維幾何信息。該工作已被 ICML 2026 收錄。不過，這項工作仍需依賴 VGGT 實時提取幾何特徵，增加了推理階段的計算開銷。為了減少這部分開銷，團隊聯合小鵬汽車、南洋理工大學和穆罕默德·本·扎耶德人工智能大學（MBZUAI），進一步將研究延伸到模型內部的空間表示學習，讓視覺語言模型學會自己生成空間線索，在推理階段不再依賴外部三維幾何模型。模型的空間推理耗時從1.45秒縮短至0.40秒，速度提升約3.6倍，空間推理表現基本保持不變。論文地址：https://arxiv.

org/pdf/2610.20592兩項研究的通訊作者都是中山大學教授梁曉丹。作為 AI 領域青年獎項名單上的“熟面孔”，她是國家“萬人計劃”青年拔尖人才，曾獲達摩院青橙獎、吳文俊人工智能優秀青年獎等多項高含金量青年獎項。她長期研究多模態視覺理解、三維表徵與具身智能，GeoThinker 系列工作正是她沿著這一方向持續深耕的成果。GeoThinker-F 是怎麼做到在推理時不依賴外部模型、還能把計算開銷降下來的？先從第一項工作 GeoThinker 說起。

01GeoThinker：幾何信息不在多，而在用得準GeoThinker 的核心創新，是讓視覺語言模型能夠根據推理任務，有選擇地利用外部幾何特徵，減少無關信息的干擾。相關論文《Thinking with Geometry: Active Geometry Integration for Spatial Reasoning》已被 ICML 2026收錄 。論文鏈接：https://arxiv.org/pdf/2602.06037視覺語言模型做空間推理，常會用到三維幾何編碼器 VGGT（Visual Geometry Grounded Transformer）。

VGGT 可以結合多張照片提取場景三維幾何信息。例如輸入客廳不同角度的照片，它能整合多視角信息，分析沙發、茶几的位置關係，輸出幾何特徵，幫助視覺語言模型解答空間類問題。但幾何信息並非越多越好。判斷桌子在沙發的哪個方向，並不需要房間裡所有傢俱和牆壁的信息。為此，團隊設計了空間信息融合機制（Spatial-Grounded Fusion）。它允許模型根據當前問題，主動去幾何特徵裡尋找相關線索，再通過重要性門控（Importance Gating）突出關鍵區域，減少無關信息的干擾。

在衡量空間感知能力的綜合基準 VSI-Bench（ Visual Spatial Intelligence Benchmark ）上，GeoThinker 取得 72.6 分，比基礎模型提高了 14.7 分。AI 科技評論已對這項工作進行過詳細解讀，點擊查看VSI-Bench 72.6 分新SOTA，橫掃多項榜單！中山大學&引望發佈GeoThinker：開源最強空間智能模型，重塑“主動感知”新範式 不過，這份高分背後的代價也很明顯：推理慢、算力消耗大。因為 GeoThinker 每次做空間推理都得額外跑一遍 VGGT 編碼器，這就導致它很難滿足自動駕駛、機器人等場景對“即時反應”的要求。

能不能連這一步也省掉，讓視覺語言模型自己學會生成空間信息？這就引出了 GeoThinker-F 要解決的問題。02GeoThinker-F：讓視覺語言模型自己生成空間表徵GeoThinker-F 的核心變化，是把 VGGT 從實際推理環節拿掉。訓練時，研究人員利用 VGGT 提供的幾何特徵作為監督信號，讓視覺語言模型內部的預測模塊學習生成幾何信息。到了實際使用時，視覺語言模型不再需要額外調用 VGGT。整個過程分為兩個階段。第一步，讓視覺語言模型向 VGGT 學習。訓練時，研究人員先用 VGGT 處理多幀畫面，提取場景的幾何特徵，作為學習目標。怎麼讓視覺語言模型學會呢？

團隊在視覺語言模型的中間層，接入了潛在幀預測（Latent Frame Prediction，LFP）模塊。具體來說，它包含兩個輕量級預測模塊，分別負責幾何和時間信息的預測。這個模塊要學兩樣本事：第一，學看三維。視覺語言模型在看圖時，中間層本來就包含豐富的視覺語義信息。幾何預測模塊利用這些內部特徵，嘗試生成當前畫面的幾何表示，並以 VGGT 提取的幾何特徵作為訓練目標。這裡不要求視覺語言模型精確復現 VGGT 的所有信息，重點是學到有助於空間推理的幾何結構特徵。第二，學看未來。時間預測模塊根據當前幀的內部特徵，預測下一幀的視覺語義特徵。

它不需要直接生成下一幀圖像，而是在特徵空間中學習畫面隨時間變化的信息。在這個階段，這兩項學習任務是同時進行的。視覺語言模型的主幹參數被凍結，不參與更新。研究人員只訓練這兩個 LFP 預測模塊，讓它們在讀取同一份內部信息時，同步學習當前幾何特徵和下一幀語義特徵。第二步，移除 VGGT，讓視覺語言模型利用內部特徵進行空間推理。在完成第一階段訓練後，研究人員進入第二階段。此時，VGGT 被移除，視覺語言模型開始進行面向空間推理任務的指令微調。在論文最終採用的主要配置中，視覺語言模型主幹、LFP 預測模塊，以及負責信息整合的 SGT-Fusion 融合模塊，是一起參與訓練的。

具體來說，研究人員會輸入大量的空間推理指令數據（並在擴展配置中加入通用視頻數據）。在解答這些任務的過程中，這三個部分會根據反饋一起調整參數、進行聯合微調，讓視覺語言模型學會真正利用自身預測的幾何和時間特徵來答題。經過兩個階段的訓練，在實際推理時，視覺語言模型只需要輸入的多幀畫面和問題，就能通過內部的 LFP 預測模塊生成所需特徵，無需再運行 VGGT。那麼，視覺語言模型內部生成的兩類特徵，分別是什麼？第一類，是當前畫面的幾何特徵。它們包含與場景空間結構有關的信息，幫助視覺語言模型理解物體的位置、方向和相互關係。但這些特徵並非一張完整的三維地圖，也不直接輸出物體的精確三維座標。

它們是視覺語言模型內部用於輔助空間推理的幾何表示。第二類，是下一幀的語義預測特徵。視覺語言模型根據當前幀的隱藏狀態，預測下一幀可能具有的視覺語義表示，在特徵層面引入短期時間變化的信息。論文將這兩類內部預測的特徵統稱為預測性世界表示（Predictive World Representations），包括當前幾何信息和短期未來語義信息。既然生成了兩類特徵，怎麼讓視覺語言模型真正用上呢？如果在同一個網絡層同時融合幾何和時間特徵，由於這些特徵本身存在一定預測誤差，可能出現相互干擾和誤差累積。為此，團隊設計了 SGT-Fusion 融合機制。

它在第一項工作幾何信息融合機制的基礎上，增加了專門處理時間預測特徵的分支，形成幾何、時間兩個獨立分支。具體來看：幾何分支通過重要性門控和注意力機制，有選擇地整合當前畫面的幾何特徵；時間分支負責整合預測得到的下一幀語義特徵。在最後注入視覺語言模型時，團隊還採用了分層交錯注入的設計。簡單來說，就是將幾何和時間特徵交替注入不同的網絡層，並通過可學習的參數控制注入強度，避免兩類特徵在同一層直接疊加產生干擾。由此，視覺語言模型既能利用當前畫面的空間結構，也能利用短期未來的語義預測，輔助完成多幀場景下的空間推理。03速度提升 3.

6 倍，空間推理能力基本保留GeoThinker-F 最重要的變化，是在推理時不再需要運行外部三維幾何編碼器。但拿掉 VGGT 後，視覺語言模型還能不能保持原有的空間推理能力？團隊首先使用 Qwen2.5-VL-7B 作為基礎模型，在相同訓練數據下對 GeoThinker 和 GeoThinker-F 進行對照。在 VSI-Bench（視覺空間智能測試） 上，GeoThinker 得分為 50.5，GeoThinker-F 得分為 50.7，兩者表現基本持平。在相同訓練條件下，即使推理時不再調用外部三維幾何編碼器，GeoThinker-F 仍能保持接近 GeoThinker 的空間推理表現。

消融實驗顯示，經過第一階段訓練的“幾何預測”和“時間預測”都能提升模型表現，兩者結合效果最好。相反，如果只加裝這兩個模塊、不讓它們提前“學習”，模型的表現並沒有提升。這說明，帶來增益的是模塊學到的空間信息，單純增加參數量是沒有用的。在此基礎上，團隊進一步擴大訓練規模，增加訓練視頻幀數，並引入 OmniSpatial-Train 等數據，使用不同基礎模型評估六項空間智能基準。在 Qwen3-VL-8B 底座下，GeoThinker-F 的六項平均得分達到 69.29；使用 Qwen2.5-VL-7B 底座時，平均得分為 66.84。不過，訓練數據本身也會影響結果。

為了更準確地比較兩種架構，論文還提供了統一訓練數據的對照實驗。在同樣使用 Qwen3-VL-8B、且不加入額外 OmniSpatial-Train 數據的條件下，GeoThinker-F 的六項平均得分為 62.21，GeoThinker 為 62.23，幾乎沒有差距。單看 VSI-Bench，兩者分別為 70.9 和 72.6。這組對照進一步表明，在相同訓練數據下，GeoThinker-F 即使不再運行外部幾何編碼器，仍能基本保持原有的綜合空間推理表現。速度方面，完整系統的推理延遲從 1.45 秒降至 0.40 秒，約為 3.6 倍加速。

這項提升來自兩方面：一方面，移除推理階段的外部 VGGT，省去了最大的計算開銷；另一方面，團隊壓縮了空間 Token，減少了信息處理量。正是這兩項優化的疊加，才把速度提了上來。既然視覺語言模型變輕了、變快了，它在需要“即時反應”的下游場景裡表現如何？團隊在機器人操作（LIBERO）和自動駕駛（NAVSIM）仿真環境中進行了測試。在機器人操作仿真環境 LIBERO 中，GeoThinker-F 的任務成功率達到 97.1%，與 GeoThinker（96.7%）基本持平。但更關鍵的是速度：推理延遲從 254.8 毫秒大幅降至 104.2 毫秒，響應速度提升了一倍多。

在自動駕駛仿真平臺 NAVSIM 上，衡量安全性與綜合駕駛表現的 PDMS 得分為 83.3 分。雖然略低於 GeoThinker 的 84.4 分，但明顯高於專門針對自動駕駛任務的基線模型 ReCogDrive 的 81.9 分。綜合來看，LIBERO 和 NAVSIM 的結果顯示，這套方法在具身智能和自動駕駛場景中展現出了極高的應用潛力。不過，這兩項實驗都在仿真環境中進行，距離真實物理世界中的機器人操作或實際道路駕駛，還需要進一步的驗證。04從外部幾何輔助到模型內部預測，空間智能還要走多遠？

GeoThinker 讓視覺語言模型學會按需利用幾何信息，GeoThinker-F 進一步探索讓模型自己生成這些信息。兩項工作把空間推理研究從“幾何信息的有效利用”，延伸到了“模型內部的空間表示學習”，也為降低視覺語言模型進行空間推理的成本提供了新的思路。不過，目前的 GeoThinker-F 依然有它的侷限。它生成的空間特徵，主要服務於當前場景的幾何理解和短期未來視覺信息預測。它還沒有建立能夠根據動作推演長期場景變化的完整世界模型，也沒有證明視覺語言模型已經掌握複雜的物理交互規律。這意味著，視覺語言模型能自己生成空間信息，並不等於已經理解物理世界。

未來，如何讓空間表示進一步支持物理變化預測和動作決策，仍是空間智能需要解決的問題。GeoThinker：代碼：https://github.com/Li-Hao-yuan/GeoThinker