VLM 在預測性空間推理上的缺口還有多大？21 個模型，最高準確率僅 58.0%

空間專項模型反而不如通用模型？浙大莊越挺團隊提出空間智能新基準 作者丨張豈萍 編輯丨幸麗娟 空間智能正在成為 AI 競賽的主戰場。視覺語言模型（Vision-Language Model，VLM）已經能回答不少空間問題：一個物體在另一個物體的哪一側，兩者距離多遠，換一個視角後物體在哪裡。但空間智能不止於理解靜態場景。在真實交互環境中，機器人還需要面對動作帶來的場景變化：物體被移動、旋轉或拿走後，視覺語言模型需要判斷新的空間關係。如果不給變化後的畫面，只告訴視覺語言模型“把這個物體移走”或者“把整個場景轉一個方向”，它還能判斷新的空間關係嗎？

浙江大學最新提出的 SpaceCast-Bench，專門評估這類預測性空間推理（predictive spatial reasoning）：視覺語言模型需要從變換前的觀測中理解當前場景狀態，並在給定一個空間變換或干預後，對從未被直接展示的結果狀態進行空間關係推理。他們發現，在 21 個視覺語言模型的評測中，最高準確率竟然只有 58.0%，距離人類 87.2% 的準確率仍有明顯差距。更反直覺的是，6 個空間專項模型的總體準確率只有 25.7% 至 29.1%，接近 25.9% 的隨機水平，且低於所有閉源模型和通用開放權重模型。

這項工作由李弘幸、蘇進越共同一作，沈永亮擔任通訊作者，李鼎銘、張文祺、魯偉明、肖俊、莊越挺等參與。這支團隊在空間智能領域的分量不輕：浙江大學求是特聘教授莊越挺早在三十年前就發表過空間推理相關研究《基於空間推理的設計方法及其應用》，在空間推理還停留在理論探討的年代，他就先一步把它推向了真實的設計應用。通訊作者沈永亮是莊越挺的學生，也是浙江大學“百人計劃”研究員。他是 LLM Agent 領域開創性工作 HuggingGPT 的一作，如今深耕 Agentic AI 與 Physical AI，空間推理也是他重點關注的研究方向。

肖俊同為浙江大學求是特聘教授，曾獲吳文俊人工智能科學技術獎自然科學獎一等獎、ACM Multimedia 唯一最佳論文獎，長期深耕三維識別與檢索，如今也將跨媒體計算與計算機視覺方面的積累延伸到空間推理研究中。浙江大學研究員張文祺曾是“華為天才少年”，主要研究具身模型與空間智能方向，做的正是讓模型在三維環境中推理與行動。浙江大學副教授魯偉明則從大數據管理與知識挖掘的角度，為基準的數據構建提供支撐。圍繞這項工作的研究動機、實驗中出現的反常結果，以及團隊對空間智能瓶頸與應對路徑的進一步思考和判斷，AI 科技評論採訪到了論文一作李弘幸，他是浙江大學的博士生。論文地址：https://arxiv.

org/abs/2610.12402這個新的基準為什麼要測、怎麼測、又測出了什麼？先從現有基準沒有測到的地方說起。01現有空間推理，難在變化之後現有空間評測已經覆蓋單圖、多視角和視頻，也開始測試方向、距離、3D 尺度估計以及跨視角位置關係，但不少任務仍主要測試視覺語言模型對當前空間關係的識別，即根據輸入中已經呈現的視覺信息判斷物體之間的關係。真實操作裡的問題更復雜。一本書下面有一個信封，書上還放著一個杯子。機器人如果只回答“杯子在哪”“信封在哪”，判斷的是當前關係；但如果它要把信封取出來，就必須預測移動書以後場景關係會如何變化，並據此決定下一步操作。

這裡的關鍵區別在於，視覺語言模型需要根據一次空間干預，預測場景關係隨後如何變化。SpaceCast-Bench 將整個過程拆成 observe–transform–infer：先從一個或多個視角獲得當前場景信息，再應用一次指定的空間變化，最後推斷變化後的關係，結果狀態本身不會直接以新圖片提供給模型。02三個層級，拆開測試預測性空間推理能力為了區分視覺語言模型在靜態空間感知和變化後推理中的表現差異，SpaceCast-Bench 設置了三個能力層級。L1 Static Perception 不改變場景，只測試當前的方向、距離、可見性、遮擋和附著關係。

這一層提供基礎參照：如果原始空間關係本身就判斷錯誤，後面的預測失敗就不能全部歸因於狀態更新。L2 Local Prediction 加入局部變化，包括移動、旋轉或移除物體，並考慮附著關係帶來的聯動變化。例如，把床向北移動 1.5 米之後，再詢問兩個物體之間新的方向關係。L3 Global Prediction 對整個場景佈局進行整體旋轉，並要求模型在不同參考系下重新判斷空間關係。三個層級分別對應靜態空間感知、局部狀態變化預測和整體場景變化預測三類任務。

最終，SpaceCast-Bench 包含 182 個真實室內場景、3862 道問題和 16 類任務，並測試三種參考系（camera-centric、object-centric、world-centric，即以相機、物體和世界為中心的參考系）下的方向判斷。03空間專項模型為何沒有體現優勢？21 個被測視覺語言模型中，最高準確率為 58.0%，比人類 87.2% 的準確率低 29.2 個百分點。6 個空間專項模型的總體得分只有 25.7% 至 29.1%，接近 25.9% 的隨機基線，整體低於閉源模型和通用開放權重模型。問題出在哪？先看不同能力層級上的表現。

整體來看，三類模型在 L1 靜態感知、L2 局部預測和 L3 全局預測上的表現並不相同。閉源和通用開放權重模型在 L2 上普遍較 L1 下降，但其中表現較強的模型到了 L3 又明顯回升。比如 Gemini 3.5 Flash 從 L2 的 45.3% 升至 L3 的 69.4%，Qwen3.7-Plus 也從 43.2% 升至 66.6%。空間專項模型則呈現出不同的表現。它們在 L3 上的整體表現更弱。SenseNova-SI-1.2 從 L2 的 30.5% 降至 L3 的 16.1%，Cambrian-S-7B 從 28.8% 降至 17.1%。

這說明現有空間專項訓練尚未有效提升模型的全局空間表示及其更新能力，尤其是在需要推斷整體場景變化的任務中，仍然存在明顯不足。再往下拆到具體關係類型，問題更明顯。SpaceCast-Bench 測的不只是“A 在 B 的哪一邊”，還包括 attachment（附著關係）。簡單說，如果一本書上放著一個杯子，移動書時杯子也會跟著移動，模型需要理解這種物體之間的聯動關係，才能正確預測變化後的場景。對閉源和通用開放權重模型來說，附著關係反而是相對容易的一類任務。Qwen3.7-Plus、GPT-5.6-Luna 和 Qwen3.5-27B 的準確率分別達到 80.4%、74.2% 和 68.0%。

但空間專項模型在這一項上的表現明顯偏低。SenseNova-SI-1.2 只有 13.4%，SpatialLadder 為 9.3%。附著關係並不是各類模型普遍的難點，但空間專項模型在這一項上明顯偏低，說明附著關係在空間專項訓練中覆蓋還不夠。論文還測試了 Chain-of-Thought（思維鏈）提示，也就是讓模型在給出答案前先寫出推理步驟。結果顯示，增加推理步驟並沒有帶來穩定提升：不同模型、不同能力層級的變化方向並不一致，有些任務提高，有些反而下降。僅增加推理步驟並不能穩定改善預測性空間推理，模型還需要更有效地整合和利用空間信息。

評價視覺語言模型的空間推理能力時，也需要進一步區分它在哪類任務上表現更強：是當前關係識別、跨視角整合、3D 表示，還是變化後的空間關係推斷。04顯式 3D 信息幫助視覺語言模型提升空間推理能力為進一步分析不同空間信息對視覺語言模型預測性空間推理的影響，論文繼續測試了不同形式的空間信息輸入。這裡有兩類思路。一類是顯式 3D 信息。簡單說，就是不只給模型看照片，還把場景的三維結構直接告訴它。比如 BEV（鳥瞰圖），將場景轉換到俯視視角下的空間表示，可以直觀看到物體的位置關係和佈局。文本形式的 3D metadata（3D 元數據），則是把物體的位置、尺寸、朝向寫成文字或結構化數據，直接餵給模型。

第二類是生成式證據。讓圖像或視頻生成模型先“想象”出干預後的畫面，比如把桌子移走後的房間長什麼樣，再把這個生成結果交給模型，讓它基於新畫面回答問題。結果顯示，閉源模型和通用開放權重模型能夠更有效利用顯式 3D 信息。加入文本形式的 3D metadata 後，閉源模型平均提升 30.7 個百分點，通用開放權重模型平均提升 10.9 個百分點；BEV 也能帶來一定提升。從視覺觀察中獲得可靠的 3D 空間表示，是視覺語言模型處理預測性空間推理任務時的重要限制因素之一。當明確的空間結構被提供後，後續的空間變換和關係判斷會明顯改善。

相比之下，讓生成模型先生成變化後的圖片或視頻，帶來的幫助更小，也更不穩定。在生成式證據實驗中，論文選取 600 道局部變化題，先讓 Qwen-Image-Edit 或 GPT-image-2 生成干預後的畫面，再將生成結果作為額外信息提供給回答模型。結果發現，在模型回答錯誤的樣本中，Qwen-Image-Edit 條件下有 80.3% 的錯誤與生成失敗有關，GPT-image-2這一比例為 38.3 %。對這些錯誤案例進一步檢查後，常見的生成問題包括物體缺失、形變，以及尺度、透視不一致。這說明，生成式結果圖本身可能引入額外誤差。

即使生成結果沒有明顯錯誤，模型仍需要將新畫面與原始場景觀察進行對應。在 SpaceCast-Bench 這類受控任務中，明確的 3D 空間信息，比生成變化後的結果畫面更穩定地幫助了通用視覺語言模型。05多視角整合、訓練效果與評測邊界除了額外提供空間信息，視覺語言模型能否有效整合已有的多視角觀察，同樣影響預測性空間推理。論文從多視角整合、訓練效果和評測邊界三個角度做了進一步分析。先看多視角整合。SpaceCast-Bench 裡有些問題涉及兩個分開的場景區域，一個視角拍不全。先選兩個錨點視圖（anchor views），一個主要觀察其中一組物體，另一個觀察另一組物體，兩個視角之間缺少直接連接。

再在這兩個錨點之間加入 bridge views（橋接視角），用連續視角把原本分散的區域連接起來。去掉這些中間視角後，三個參考系下的方向判斷都會下降，其中世界參考系方向準確率從 39.9% 降到 34.6%。橋接視角能夠幫助模型整合分散視角中的空間信息，多視角輸入本身並不意味著模型已經建立完整的空間理解，還需要將不同觀察中的信息進行整合。除了輸入和視角，論文還測試了訓練能否改善這一能力。SFT（Supervised Fine-Tuning，監督微調），是一種常見的後訓練方法：用程序自動生成的一批問答數據繼續訓練模型，每道題都配有一個標準答案。這些答案由 3D 幾何引擎自動推導，不是人工標註。

分階段 SFT 則是先訓練 L1 靜態感知，再訓練 L2、L3 並回放 L1，逐步加入更復雜的任務。通用開放權重模型 Qwen3-VL-4B 在分階段 SFT 後，SpaceCast-Bench 準確率從 34.0% 提升到 65.7%，並在 6 個分佈外空間推理基準（OOD Benchmark）上獲得宏平均提升。關鍵並不只是“訓練有沒有用”，而是訓練數據覆蓋了哪一種預測性空間推理能力。對比之下，針對預測性空間推理任務生成訓練數據後，模型表現可以明顯改善。不過，這套評測距離完整的物理預測仍有明顯邊界。

SpaceCast-Bench 的場景來自真實室內三維數據集 ScanNet 和 ScanNet++，變化主要是程序化的平移、旋轉和移除，並沒有模擬更復雜的物理交互過程，例如物體形變、碰撞等動力學變化。這項測試衡量的是視覺語言模型在受控空間變化下的預測能力，而不是完整的物理世界模擬能力。它關注的是模型能否根據已有觀察更新空間狀態，並推斷變化後的關係。預測性空間推理只是空間智能能力中的一個重要維度。未來面向真實環境的視覺語言模型，還需要進一步處理更復雜的物理變化、長期交互和持續學習問題。

06對話 SpaceCast-Bench 一作李弘幸實驗結果之外，更值得關注的是團隊如何理解這些現象，以及這些結果對後續研究意味著什麼。以下為 AI 科技評論與 SpaceCast-Bench 一作李弘幸的對話，內容經不改變原意的刪減與整理。▎AI 科技評論：很多空間理解任務主要關注視覺語言模型能否識別當前場景中的空間關係。團隊為什麼認為，僅理解當前狀態還不夠？為什麼需要進一步研究“根據場景變化預測新的空間關係”？李弘幸：空間智能不僅要求模型理解當前環境，還需要具備預測環境變化的能力。

目前，視覺語言模型在空間感知方面已經取得了不少進展，比如判斷物體之間的方向、距離以及跨視角空間關係，但這些任務大多關注已經能夠被觀察到的空間狀態。而在真實物理環境中，智能體往往需要在執行動作之前，提前預測動作可能帶來的結果。比如機器人移動桌子時，不僅要理解桌子當前的位置，還需要預測桌面物體會如何隨之移動，以及這些變化對周圍環境的影響。從靜態空間感知走向預測性空間推理，是視覺語言模型進一步邁向真實物理世界、支持具身交互和複雜任務規劃的重要一步，也是我們提出 SpaceCast-Bench 的核心動機。▎AI 科技評論：從理解當前空間，到預測空間變化，中間最大的挑戰是什麼？

李弘幸：最大的挑戰在於模型能否建立一個穩定、完整且能夠動態更新的空間表示。傳統空間感知任務通常只需要識別當前的空間關係，而預測性空間推理還要求模型整合多視角信息、理解空間變換，並重新推斷變化後的物體關係。比如桌子發生移動時，模型不僅需要理解移動的方向和距離，還需要考慮桌面物體的聯動變化，以及最終的空間關係。從實驗來看，當前模型一方面難以形成跨視角一致的三維空間理解，另一方面也缺乏可靠的空間狀態更新能力。真正的挑戰不僅在於理解空間關係，更在於如何維護和操作空間表示，並在環境變化後保持推理的一致性。

▎AI 科技評論：SpaceCast-Bench 為什麼採用 observe–transform–infer 這一框架？李弘幸：我們選擇 observe–transform–infer（觀察—變換—推斷），主要是希望將預測性空間推理拆解為相對獨立的環節，更系統地分析模型的能力邊界。與傳統空間問答不同，模型只看到變化前的場景和指定的空間變換，不會直接看到變化後的結果。這樣可以進一步區分問題出在空間感知、狀態更新，還是關係推斷。▎AI 科技評論：你們此前已經做過 ViewSpatial-Bench、SpatialLadder、SpatialEvo、GPD 等工作。

這幾項工作和 SpaceCast-Bench 是怎樣串起來的？李弘幸：我們團隊從 2024 年到 2025 年開始持續關注空間推理這一方向。當時這一方向在多模態領域比較熱門，空間理解與推理也是 VLM 從視覺感知走向更高級智能的重要能力之一，尤其對具身智能這類需要與真實環境交互的場景很關鍵。這幾項工作其實都圍繞著提升 VLM 的空間推理能力展開，但側重點有所不同。ViewSpatial-Bench 主要關注空間感知與跨視角理解，SpatialLadder 探索從感知到推理的漸進式訓練，SpatialEvo 嘗試通過自進化機制持續提升空間推理能力，GPD 則研究如何利用三維幾何信息輔助模型訓練。

SpaceCast-Bench 進一步將研究重點從靜態空間理解拓展到預測性空間推理。總體來說，我們希望模型不僅能夠理解當前的空間關係，還能夠推斷空間變化後的狀態，逐步向更完整的空間智能邁進。▎AI 科技評論：這次實驗裡，有哪些結果和你們原來的預期不一樣？李弘幸：大部分結果其實在我們的預期之內。一些通用閉源模型的表現超出了預期。雖然它們距離人類水平仍有明顯差距，但已經展現出一定的預測性空間推理能力。隨著基礎模型整體能力不斷提升，它們在其他任務中獲得的推理能力，可能已經能夠在一定程度上泛化到未經專門訓練的新任務中。比較出乎我們意料的是生成式世界模型。

根據之前的研究，我們原本預期，世界模型能夠通過生成變化後的場景，幫助模型進行預測性空間推理。但實驗發現，目前的生成式世界模型在處理這類空間變化時仍存在明顯不足，生成結果容易出現物體缺失、形變或空間關係錯誤。生成視覺上合理的場景，並不意味著模型真正具備準確預測空間狀態變化的能力。生成質量和空間正確性應該分別評估：前者主要關注畫面是否清晰、真實、自然，後者更關注物體的位置、朝向、尺度及相互關係是否準確。世界模型的評測除了視覺質量，還應該更加關注幾何一致性、物體關係的保持，以及對外部干預的準確響應。長期預測能力也很重要，即模型能否在連續多步變化中保持空間狀態的一致性和準確性。

▎AI 科技評論：6 個空間專項模型整體表現偏低。你們怎麼看這個結果？李弘幸：空間專項模型沒有表現出明顯優勢，是一個值得進一步研究的現象。我們認為，這主要是因為現有空間模型的後訓練方法仍然以靜態空間感知為主，側重於提升模型對方向、距離和空間關係的識別能力，而對空間變化預測和動態狀態更新等能力的關注相對不足，導致模型在傳統空間任務中獲得的能力難以有效遷移到預測性空間推理任務。從具體錯誤看，模型往往不是識別不了物體，而是沒有正確維護三維空間關係。比如跨視角時容易依賴二維位置，物體移動時忽略聯動變化，全局旋轉時則可能簡單反轉左右關係。

綜合來看，當前模型主要有兩個瓶頸：一是難以從視覺觀察中建立準確、一致的三維空間表示，二是缺乏在空間變化後可靠更新場景狀態的能力。未來的空間模型後訓練不僅需要關注靜態空間感知能力的提升，還應當針對空間狀態更新和預測性推理設計相應的訓練任務與數據，從而推動模型從理解當前空間走向預測空間變化。▎AI 科技評論：BEV、3D metadata 等顯式 3D 信息都帶來了提升。這些結果給你們什麼啟發？李弘幸：如何準確獲取和表示空間信息，可能與模型本身的推理能力同樣重要。提供 3D metadata 後，閉源模型平均提升了 30.7 個百分點，說明準確的空間表示能夠顯著降低後續推理難度。

顯式三維表示與生成式世界模型並不衝突，兩者更可能形成互補：前者提供穩定的場景結構，後者負責預測動態變化。代碼：https://github.com/ZJU-REAL/SpaceCast-Bench數據：https://huggingface.co/datasets/hongxingli/SpaceCast-Bench 為了方便大家抱團交流、互通會議消息，我們專門建了 IROS 2026 參會交流群！進群你會解鎖這些「福利」?會議情報站：投稿 DDL、格式規範、評審進度……關鍵節點第一時間送達，再也不怕錯過 deadline，投稿準備穩穩的。

同行茶話會：天南海北的同行都在群裡，聊心得、碰思路、攢人脈，科研路上我們同行。前沿補給站：最新研究成果、熱點方向實時同步，結合會議主題幫你捋清投稿脈絡，給論文靈感加滿油。現場後援團：（會議期間專屬開啟）：到了會場也不用慌——路線導航：場館分佈、報告廳怎麼走，群裡隨時問；議題共讀：熱門 session、Keynote 探討，錯過也能追；Poster 彙編：現場海報精華整理，一鍵收藏不遺漏；約局廣場：約飯局、採訪局、交流局……想嘮嗑、想合作、想面基，群裡發起就成。?進群傳送門： 掃碼進群或添加微信Luyoyo_2026，備註：IROS + 單位/學校+姓名+方向。搞科研/搞技術，信息差很重要。

來，一起