從三維視覺到世界模型：空間智能為何成為 AI 走向物理世界的共同主線？| ECCV 2026覆盤

本文作者： 張豈萍 2026-09-30 14:24 導語：AI 正從看懂畫面，走向理解空間、預測變化、執行動作。AI 正從看懂畫面，走向理解空間、預測變化、執行動作。作者丨張豈萍 編輯丨幸麗娟 AI 已經越來越會生成一個“看起來真實”的世界，卻依然很難真正理解並行動於這個世界。物體在哪裡、彼此是什麼空間關係，遮擋之後還剩下什麼；一個動作發生後，世界會怎樣變化。這些問題的解法，共同指向空間智能。而近兩年具身智能與世界模型的爆火，進一步推動空間智能成為 AI 走向物理世界的核心能力基座。回看 ECCV 2026，這趨勢尤其明顯。

大會程序主席 Anna Rohrbach 公佈的數據顯示，本屆 ECCV 共收到 10473 篇投稿，最終接收 2834 篇。按研究主題劃分，圖像與視頻合成以超過 1400 篇位居第一，視覺、語言與推理第二，3D 則從此前的主導方向退居第三。但 3D 主題排名的後退，不等於3D 退潮。相反，過去主要集中在 3D 視覺和圖形學中的三維表示、幾何與物理一致性、動態建模、可交互生成與空間推理等基礎問題，正在向視頻生成、機器人、具身智能、世界模型等方向擴散，成為 AI 走向物理世界時共同面對的問題集。從大會 Workshop 也能看到這種變化。

93 場 Workshop 中，約 10 場與 3D 直接相關，11 場涉及空間智能，9 場指向物理AI，還有 5 場以世界模型為主題。尤其是在世界模型和物理 AI 相關 Workshop 中，不少演講都在圍繞三維空間理解、動態場景建模、預測以及進一步的執行能力展開探討。

香港科技大學教授譚平圍繞可擴展的 3D 場景重建與生成展開，從場景表示切入三維空間理解；斯坦福大學助理教授吳佳俊從二維視覺進一步走向隨時間變化的三維點雲軌跡，用時空表示理解物體狀態及空間關係；中山大學教授梁小丹把重點放在未來預測上，強調世界模型要能夠推演接下來真正可能發生的狀態變化；哈佛大學助理教授杜逸倫則從生成式 AI 和世界模型出發，讓模型先“想象”不同動作可能帶來的未來，再通過搜索這些未來結果完成規劃。如果說投稿和 Workshop 反映的是熱度，獎項則更能說明風向。今年的 Koenderink 時間檢驗獎中，有一項頒給了空間智能旗幟人物李飛飛及其團隊。

最佳論文重新討論三維表面的表示方式；兩篇最佳論文榮譽提名也分別落在物體三維重建和幾何感知上。這些信號放在一起看，3D 相關研究依然保持高熱度。幾何重建、場景表示和渲染等老問題繼續深化，研究也在向動態場景、4D 表示和交互式環境延伸。三維視覺開始承擔更多空間理解的任務，並進一步支撐狀態預測和行動。空間智能正在成為串起這些問題的一條主線。01三維視覺：從靜態幾何、重建與渲染，走向動態 4D 與交互場景今年幾項主要論文獎中，三維表示、重建和幾何感知反覆出現。

最佳論文《Heat Kernel Textures — the Geodesic Gaussians That Do Not Splat》由帝國理工學院的 Simone Foti、Caner Korkmaz、Stefanos Zafeiriou 和 Tolga Birdal 完成。它重新回答了一個很基礎的問題：三維曲面的紋理到底該怎麼表示。論文鏈接：https://arxiv.org/pdf/2609.07557傳統網格紋理大多依靠 UV 映射，把三維曲面攤到二維平面上貼圖。這套方法成熟好用，但一直襬脫不了幾個老毛病：紋理接縫、曲面拉伸、UV 空間浪費、頂點重複、不同區域分辨率參差不齊。

Heat Kernel Textures 換了一條路。它從離散黎曼幾何出發，用各向異性熱核在曲面的測地空間中直接表達紋理，相當於避開了“先把三維表面攤平，再貼紋理”這條傳統路徑的缺陷。評審委員會認為，這是一項簡潔而新穎的表面紋理表示方案。它把紋理表示從二維 UV 空間重新放回三維曲面本身，應用潛力也不侷限於論文本身。兩篇最佳論文榮譽提名，也都落在三維重建與幾何感知上。

Meta Reality Labs Research 的 Zhengqin Li 等團隊提出的 《LSRM-High-Fidelity Object-Centric Reconstruction via Scaled Context Windows》，關注前饋式物體三維重建的保真度。它通過擴大 Transformer 的上下文窗口，並加入 3D 感知空間路由等設計，讓模型利用更多跨視圖信息，在保持前饋效率的同時恢復更精細的物體結構和外觀。論文鏈接：https://arxiv.org/pdf/2604.

05182另一篇提名的論文《Poppy：Polarization-based Plug-and-play Guidance for Enhancing Surface Normal Estimation》（arXiv 版本題名有所調整），作者主要來自Stony Brook University計算機視覺實驗室。它從光學信息入手，用偏振光編碼的表面朝向信息，為 RGB 法線估計在複雜鏡面反射等場景中的幾何歧義補充物理線索，並以即插即用的方式接入現有 RGB-only 法線估計模型，無需重新訓練原有主幹網絡。論文鏈接：https://arxiv.org/pdf/2603.

27891經典的 Koenderink 時間檢驗獎中，有一項給到了斯坦福李飛飛團隊的《Perceptual Losses for Real-time Style Transfer and Super-Resolution》。把它和今年集中出現的三維表示、幾何理解放在一起看，計算機視覺關注的問題也在不斷向外延伸：從圖像看起來像不像，到三維結構怎麼表示、真實世界裡的空間關係怎麼理解。論文鏈接：https://arxiv.org/pdf/1603.08155Poster 區的變化也很直觀。

首個 Poster Session 中，3D Reconstruction、Gaussian Splatting 與 Neural Rendering 佔據了相當大的篇幅，現場大量工作圍繞三維表示、重建和新視角生成展開。到了後續場次，相關問題又繼續延伸到幾何、運動、動態場景，以及 3D 場景理解、機器人和具身智能。從這些論文可以看到，3DGS 已經不只用於追求更好的渲染效果，也開始被用於長序列建圖、動態重建和更復雜的真實場景。3D 視覺的基本問題仍然是幾何、重建和場景表示，但研究對象已經開始動起來。人和物體會運動、遮擋和交互，模型也開始從靜態三維表示，轉向動態 4D 時空場景的建模。

02時空記憶：讓模型持續理解同一個世界理解一個會變化的世界，還要解決另一個問題：機器每換一個視角，都得記得剛剛看過什麼。機器人在房間裡移動，相機視角不斷變化，物體會被遮擋，也會離開畫面之後再次出現。模型如果只能處理眼前這一幀，即使單幀看得再準，也很難形成對環境持續穩定的認識。一個真正進入環境中的智能體，需要把不同時間、不同視角看到的內容連起來，在移動過程中持續更新對同一個環境的認識，並維持空間關係、物體位置和自身軌跡的一致性。但現有不少視覺語言模型評測基準仍停留在靜態圖片或預錄視頻的“旁觀者視角”，很難衡量智能體在持續移動中建立、更新和維持空間認知的能力。

針對這一缺口，群核科技聯合浙江大學等團隊提出了交互式空間智能評測基準 WalkerBench，讓智能體只憑第一視角 RGB 視覺，在不同城市拓撲中完成主動探索和長程導航。它剝離了 GPS、街名等先驗信息，要求 Agent 依靠連續視覺觀察理解周圍空間關係並完成導航。測試中，隨著探索步數增加，主流 VLM 很容易出現方向迷失：短程判斷沒有問題，但軌跡一長，就難以持續維持之前的路徑信息和整體空間關係。GitHub鏈接：https://github.

com/lalayang123456-ctrl/WalkerBenchWalkerBench 概覽WalkerBench 不只把這個問題測了出來，團隊也進一步提出了 Spatial-IDE。其中，ETM（狀態外化與顯式拓撲記憶）把智能體走過的節點、座標、朝向、遍歷歷史以及語義註釋等信息持續記錄下來，形成一張動態更新的空間拓撲圖；GDP（認知解耦與目標導向感知）則把全局路徑規劃和局部視覺判斷拆開，避免越來越長的視覺上下文持續擠佔模型的推理空間。Spatial-IDE 框架引入 Spatial-IDE 後，9 個主流 VLM Agent 的平均得分提升了 104.97%。

團隊還把這一框架部署到宇樹 G1 人形機器人上，在真實開放街道中完成了連續多街區的千米級自主導航。另一條路線，則嘗試讓這些空間信息直接沉澱到模型內部。騰訊混元、清華大學和南洋理工聯合團隊提出的 Spatial-TTT，瞄準的就是長視頻裡的空間記憶。論文鏈接：https://arxiv.org/pdf/2603.12255傳統多模態模型處理連續視頻，通常不斷把新的視覺 Token 塞進上下文。視頻越長，計算量越大，不同時間和視角中的空間信息也越來越難持續組織和保留下來。Spatial-TTT 把一部分模型參數設計成可以在推理過程中持續更新的“快權重”，讓已經看到的空間信息逐步沉澱下來。

新的畫面進來後，模型仍能保留之前的空間細節，以及不同視角之間的位置關係。兩條路線處理的是同一個問題：當智能體持續移動、視角不斷變化時，怎樣讓它始終記得自己看過什麼，並維持對同一個環境的連續認識。能把過去的信息連續起來之後，下一步就是理解變化，並判斷世界接下來會變成什麼樣。03狀態預測：從動態變化的表示，到未來狀態的預測現實世界不會停在被記住的那一刻。人會行動，物體會移動，機器人每執行一個動作，環境都可能進入新的狀態。場景一旦動起來，就會出現兩個問題：一是怎樣表示正在發生的變化，二是給定當前狀態和一個動作，預測接下來會發生什麼。第二個問題，正是世界模型越來越關心的部分。

在今年的 Keynote 演講中，Yann LeCun 對這個問題講得最直接。圖靈獎得主、前 Meta 首席 AI 科學家 Yann LeCun 在 Keynote 中，把重點直接放在了未來狀態預測上。他反覆強調，“模型根本就不該去預測像素”。相比生成未來畫面的每一個細節，他更關心模型能否在抽象表徵中預測未來狀態，再根據不同動作可能帶來的結果進行規劃。機器人真正需要的，也不是一張目標圖像，而是一個“目標狀態”。另一場 Keynote 中，Wayve 首席科學家、前微軟 Mixed Reality & AI Labs 負責人 Jamie Shotton 則把討論繼續帶向了真實世界中的感知和行動。

他從早期視覺識別一路回顧到 Kinect的人體追蹤、HoloLens的手部感知，再講到今天的 Embodied AI 和 Wayve 的基礎模型。他把自動駕駛作為具身智能的重要試驗場：視覺系統真正進入物理世界後，面對的是持續變化的道路環境，也需要從識別和感知繼續走向行動。類似的議題，也反覆出現在今年與 3D、世界模型和具身智能相關的 Workshop 中。

斯坦福大學助理教授吳佳俊長期研究世界模型與空間智能，在本屆大會的相關分享橫跨 Agentic Robotics、Multisensory Reasoning 和 World Model Evaluation；香港科技大學教授、前阿里巴巴 XR 實驗室負責人譚平長期研究三維幾何與場景建模，這次也圍繞可擴展 3D 場景重建與生成分享了最新工作。慕尼黑工業大學教授 Angela Dai 也是 3D 場景理解與重建領域的重要學者，她在分享中討論瞭如何把真實世界的物理遮擋轉化為結構先驗，讓模型從不完整觀測中理解和補全三維空間。

除此之外，哥倫比亞大學助理教授李昀燭、清華大學助理教授高陽、中山大學教授梁小丹等學者，也出現在世界模型相關 Workshop 的演講陣容中，議題延伸到機器人學習、強化學習和物理一致性等方向。這些討論的切入點不同，但整體上，問題正在從“怎樣把動態世界表示出來”，繼續向“世界接下來會如何變化”推進。斯坦福吳佳俊ECCV 演講：機器需要怎樣的「世界表示」，才能真正開始行動？| ECCV 2026不堆 Transformer，斯坦福吳佳俊如何用物理重新定義多模態融合？｜ECCV 2026幾何的「反攻」！

港科大譚平：從局部先驗到全局一致，3D 幾何如何增強視覺大模型 | ECCV 2026TUM 教授 Angela Dai：放下完美數據執念，「逆向自監督」重構 3D 空間智能 | ECCV 2026主會論文則把這種變化落到了更具體的方法和評測問題上：論文 DreamWorld 把三維幾何先驗接進視頻生成，希望生成的世界在不同視角下仍然保持穩定的空間結構；論文鏈接：https://yanghb22-fdu.github.io/DreamWorld/asserts/DreamWorld.

pdf論文 《Interaction-Aware 4D Gaussian Splatting for Dynamic Hand-Object Interaction Reconstruction 》處理手與物體交互過程中不斷變化的四維場景；論文鏈接：https://arxiv.org/pdf/2511.14540論文《 A Physics-Grounded Benchmark for Multi-Agent Dynamics in World Models》進一步追問，多個智能體相互作用後，世界模型生成的狀態變化能否符合真實物理規律。論文鏈接：https://arxiv.

org/pdf/2606.28757這幾項工作對應了三個層次：保持空間一致性、表示動態 4D 場景、預測交互後的狀態變化。問題也從“怎樣表示變化”，繼續走向“怎樣預測變化”。但對具身智能來說，模型僅預測動作會帶來什麼結果還不夠，最終還要把這些理解轉成真實環境裡的動作。04具身交互：從空間理解，到可執行的動作首場 Keynote 演講中，前 Meta FAIR 研究總監、現任得克薩斯大學奧斯汀分校計算機科學教授的 Kristen Grauman，提出 AI 要從 understanding 走向 enabling，最終成為幫助人學習現實世界技能的 AI Guide。

她把問題說得很直接：模型需要弄清“什麼樣的動作，會把當前狀態帶到另一個狀態”。但要讓模型真正進入真實交互，機器人還需要從更多感官裡判斷環境狀態。NVIDIA Research 科學家李柏依在 workshop 分享了兩項工作。MultiGen用生成模型給仿真視頻補上聲音，讓機器人在倒水等任務中藉助音頻判斷物理狀態；DexImit 則從單目人類操作視頻中恢復手物交互，把人類示範轉成雙手機器人訓練數據，覆蓋工具使用、長程任務和精細操作等場景。論文鏈接：https://arxiv.org/abs/2507.02864論文鏈接：https://arxiv.org/pdf/2602.

10105有了對物理狀態和手物交互的理解，下一步就是讓動作在三維空間裡真正展開。對機器人來說，知道“水壺在桌子的右邊”還不夠。它還要判斷水壺離自己多遠，從哪個方向接近，中間有沒有障礙。北航、北大、智源和中科院自動化所等團隊提出的 RoboTracer，處理的就是這個問題。它讓模型同時理解空間指稱和真實物理尺度，再把語言指令轉成一條帶有深度和距離信息的多步 3D 軌跡，交給下游運動規劃器執行。軌跡採用圖像座標加絕對深度的方式表示，因此可以接到不同機器人本體上。論文鏈接：https://arxiv.org/pdf/2512.

13660RoboTracer 總體架構與 Step 1-7 多步感知推理示例空間軌跡解決了“往哪裡走”，但物理動作還涉及一個更直接的維度：接觸力。主會 Oral 中的 FEEL（Force-Enhanced Egocentric Learning）將第一視角視頻與手部受力信號同步起來，構建了約 300 萬幀力同步數據，用於理解接觸和物理動作。論文鏈接：https://arxiv.org/pdf/2603.15847感知、軌跡和力信號要真正訓練起來，還需要一個可以大規模反覆練習的環境。

SPEAR 把 Unreal Engine 做成可編程的具身仿真環境，支持行人、車輛、四足機器人等多類智能體，也可以和物理引擎協同運行，為感知和動作訓練提供虛擬三維場景。論文鏈接：https://arxiv.org/pdf/2607.06701從多感官感知，到空間軌跡與力，再到可反覆試錯的仿真環境，這些工作最終都指向同一個目標：讓模型對環境的理解，真正變成可以在三維空間裡執行的動作。05走向 Physical AI：空間智能成為核心能力基座把前面的工作放在一起看，方向已經很清楚。

3D 視覺開始處理更復雜的動態場景，長時記憶要維持對同一環境的持續認識，世界模型關注狀態變化和動作後果，具身智能還要把這些理解接到規劃和行動。這些方向最終都指向同一個目標：讓 AI 能夠持續理解一個會變化、會交互的物理世界。這些工作進一步推進，也都觸及一個更基礎的問題：究竟應該建立在怎樣的世界表示之上，尤其是空間結構應該如何表示。圍繞這個問題，相關討論早在大會前就已出現在社交媒體上，並一直延續到 ECCV 期間和會後。

今年 6 月，MIT CSAIL 副教授 Vincent Sitzmann 在 X 上發佈 MilliVid（長時視頻生成模型）時，就展示了一種不同思路：視頻模型可以在不依賴 3D 地圖的情況下維持長時場景一致性。ECCV 會議期間，他又連續參加了多場與 3D、視頻模型和世界模型相關的 Workshop，並在 Wild3D 以 “Challenging the Necessity of 3D” 為題發表演講，把“顯式 3D 是否仍然必要”這一問題直接帶到了現場討論中。

到了 ECCV 期間，長期研究 3D 視覺和計算機圖形學的得克薩斯大學奧斯汀分校副教授黃啟興（Qixing Huang） 也在 X 上談到了同一個問題：隨著視頻生成模型越來越強，顯式 3D（如點雲、網格、3D Gaussian 等）表示是否仍然必要。在他看來，如果只追求 benchmark 或實際任務表現，利用海量 2D 和視頻數據的方法可能更有優勢；顯式 3D 仍然提供了一套定義和推理多視角一致性的方式，也有助於理解模型究竟學到了什麼。大會結束後，相關討論仍在繼續。

長期從事計算機視覺、3D 視覺和機器人技術的意大利團隊 Deep Vision Consulting 在領英分享了他們對本屆 ECCV 的觀察：視頻生成與編輯成為大會很突出的方向，並與世界模型、機器人結合；3D Vision 也重新活躍起來，DUSt3R、VGGT 和 Gaussian Splatting 等方法讓相機位姿估計、SLAM 和三維重建等經典問題再次受到關注。可以看到，空間表示目前還沒有收斂到一條路線。視頻模型正在嘗試把更多空間結構學進內部表徵，顯式 3D 也仍在持續發展。但無論最終採用怎樣的表示，AI 要真正進入物理世界，都需要持續理解空間、判斷狀態變化，並進一步完成預測和行動。

技術路線還在變化，但空間智能作為 Physical AI 基礎能力的重要性，正在變得越來越清晰。為了方便大家抱團交流、互通會議消息，我們專門建了 ECCV 2026 參會交流群！進群你會解鎖這些「福利」?會議情報站：投稿 DDL、格式規範、評審進度……關鍵節點第一時間送達，再也不怕錯過 deadline，投稿準備穩穩的。同行茶話會：天南海北的同行都在群裡，聊心得、碰思路、攢人脈，科研路上我們同行。前沿補給站：最新研究成果、熱點方向實時同步，結合會議主題幫你捋清投稿脈絡，給論文靈感加滿油。

現場後援團：（會議期間專屬開啟）：到了會場也不用慌——路線導航：場館分佈、報告廳怎麼走，群裡隨時問；議題共讀：熱門 session、Keynote 現場探討，錯過也能追；Poster 彙編：現場海報精華整理，一鍵收藏不遺漏；約局廣場：約飯局、採訪局、交流局……想嘮嗑、想合作、想面基，群裡發起就成。?進群傳送門： 掃碼進群或添加微信Qvv0909777，備註：ECCV + 單位/學校+姓名+方向。搞科研/搞技術，信息差很重要。來，一起快人一步！上車，帶你看遍全球 AI 頂會精華可獨家暢覽：專家演講PPT大會報告全文熱門論文解讀學術新星訪談掃描上方二維碼或點擊「閱讀原文」關注專區。

(公眾號：) 原創文章，未經授權禁止轉載。詳情見轉載須知。0人收藏 分享： 相關文章 ECCV2026 覆盤 空間智能 李飛飛 世界模型 PhysicalAI 3D視覺 李飛飛押注的空間智能：生成的世界，如何「經得起折 ...時空張量"天眼"亮相WRC，7D空間感知開闢機器人視覺新 ...CVPR 2026 | 從生成式壓縮到3D空間智能，七項前沿突 ...獨家丨華為、聯想、富瀚微罕見「同框」，00後空間智 ...

張豈萍 編輯 發私信 當月熱門文章 NVIDIA 李柏依：機器人只會「看」還不夠，它還得學會「聽」| ECCV 2026 計算機視覺的下一個十年：從「看懂世界」到「教會人類」| ECCV 2026 從三維視覺到世界模型：空間智能為何成為 AI 走向物理世界的共同主線？

| ECCV 2026覆盤 具身智能不只在地上跑：給無人機裝上機械臂，它們要去天上「擰螺栓」了 | IROS 2026 最新文章 具身智能不只在地上跑：給無人機裝上機械臂，它們要去天上「擰螺栓」了 | IROS 2026 計算機視覺的下一個十年：從「看懂世界」到「教會人類」| ECCV 2026 NVIDIA 李柏依：機器人只會「看」還不夠，它還得學會「聽」| ECCV 2026 ECCV 2026 開幕：李飛飛團隊獲時間檢驗獎，7000人擠爆馬爾默 Yann LeCun 萬字演講：「預測像素」是偽命題，JEPA 也並非憑空而來 | ECCV 2026 樂享以太大模型，讓中國具身智能坐上定義席 熱門搜索 蘋果 人工智能 三星 視頻監控 O2O 搜狗 賈躍亭 地平線 surface iWatch Snapchat