多跳空間推理仍難

空間理解能力長期以來被視為視覺語言模型通往實體世界應用的重要關鍵，無論是自主機器人導航、無人機避障，還是協助使用者在真實環境中完成操作指令，都仰賴系統準確掌握物件與物件之間的相對位置與空間邏輯。然而，一項最新發布的評測結果卻顯示，當前最先進的視覺語言模型即便在一般視覺問答上表現亮眼，只要涉及多跳空間推理，也就是需要將多個空間關係逐步串聯、組合推演的情境，錯誤率就會急遽攀升，凸顯出此類模型在組合式空間理解上的結構性缺口。這項名為 MultihopSpatial 的全新基準測試，是由研究團隊專門設計來嚴格檢視視覺語言模型的多步空間推演能力。

與過去僅要求模型判斷單一空間關係的測驗不同，MultihopSpatial 刻意將任務難度推向由一到三跳組合而成的空間關係鏈。舉例而言，模型可能必須先判斷某一物件在另一物件的左側，接著推演出該參考物件與第三件物品之間的相對方位，再進一步結合視角變化，理解在換了一個觀察角度之後，原本的左右前後關係是否發生翻轉或保留。這種層層堆疊的組合式任務，意在逼使模型不只是完成表層的物件識別，而是真正建立對空間佈局的動態心理表徵。研究團隊對總計三十七個當前位居領先地位的視覺語言模型展開系統性評測，這些模型涵蓋了學術界與業界近年主力發布的各種架構與參數規模。

值得注意的是，本次評測引入了比過去更加嚴格的評估指標，不再只滿足於模型在回答中給出正確的空間關係名稱或方位判斷。新標準要求模型在給出答案的同時，必須在圖像內以視覺座標精確標示出所指涉的物件位置。換句話說，模型必須在理解的過程中，同時獲取與空間推理結果相對應的視覺錨點，若只是碰巧根據語感命中答案、卻無法圈選出相關的物件區域，仍會被視為推論失敗。此一標準大幅壓縮了模型靠隨機猜測或機率分布搶分的空間。令人警醒的是，最終結果顯示即便是綜合能力最突出的前沿模型，在面對三跳以內的空間組合推理時，表現仍舊遠遜於人類受試者，也遠遜於這些模型自身在一般視覺問答項目上的防護水平。

研究團隊歸納指出，當空間推理只需要一步、僅涉及單一物件的方位選擇時，多數模型還能維持堪用的正確率；然而一旦推理深度擴展至二跳、三跳，需要同時召喚並推理多個物件與多個相對方位時，幾乎所有測試模型都出現急劇的性能下降。這種表現上的斷崖式落差顯示，模型可能僅在語意層面上隱約掌握了空間詞彙，但缺乏一套連貫的空間運算機制，也未內建一套可隨取隨用的心智地圖。研究團隊進一步指出，這項缺陷並不僅是純學術領域的理論難題，也將直接阻塞視覺語言模型在機器人與動作模型發展上的落地進程。

實際世界中的每一項空間任務幾乎都屬於組合式問題：當機器人被要求「把桌上的紅色杯子拿到椅子右側的櫃子內」，系統必須在場景中同時鎖定杯子、桌面、椅子與櫃子，並透過多段式關係建構來判斷最優動作路徑。任何一個環節的空間推估出錯，都會連鎖反應導致後續動作失敗；而目前主流模型在此類多跳問題上的瓶頸，正是這種連鎖失誤的主要來源。此外，引入不同視角的變化測試更讓此難題難上加難。真實世界中，視線、鏡頭角度或機器人的身位都會改變物件的相對方位描述，而模型能否在視角變換後仍然保持一致的空間理解，成為檢驗其推理彈性的重要指標。

這份評測的資料顯示，多數模型在視角轉換後，特別容易在相對空間關係的推理出現直接對應錯誤，這種限制也讓眼前這些模型能在「以語言為核心」的視覺任務中偶爾含糊過關，卻無法支撐起更需精確空間協調的實地運作。該團隊期望，這項基準測試的推出能提供視覺語言模型研究社群一項更貼近實際應用需求的試煉場。透過將空間推理拆解、組合、加入視角與定位標示等多重要求，MultihopSpatial 希望業界不再以單調的一般問答準確率作為模型能力的開花結果，而是真正挑戰模型在純視覺與語言資訊交互過程中可被信任的空間自主推理能力。

唯有在這種複雜組合式空間理解上獲得更穩健的表現，視覺語言模型才能從靜態的辨識與描述工具，進一步演進為具備自主空間決策能力、適宜真實世界部署的助手。