浙大彭思達：從元宇宙到具身智能，一個三維視覺研究者的八年 | 世界模型50人

八年研究，兩個落地系統，超六萬GitHub Stars。作者丨李秋悅 編輯丨吳 彤 一支女團跳舞，鏡頭不必再聽導演安排，觀眾甚至能看到拍攝時不存在的機位。傳統MV拍攝，攝影機架在哪裡，觀眾看到的就是哪個角度。現在用多臺攝像機同時記錄舞者動作，再重建出一個三維動態場景，鏡頭可以任意調換位置；從隊形正面繞到側面，穿過舞者之間，甚至換一個從未真正架設過的機位，重新觀看剛才的表演。今年10月，韓國SM娛樂創始人李秀滿在新女團A2O LITE的出道活動上，展示了這項名為4D Gaussian Splatting（4DGS）的技術。SM娛樂旗下女團A2O LITE 《NEON》運用4DV.

ai的4DGS新技術彭思達對這項技術很熟悉。六年前，彭思達師從浙大教授周曉巍讀博，在浙大CAD&CG國家重點實驗室的三維視覺研究團隊ZJU3DV下研究的就是動態三維人體重建。很快他做的Neural Body入選CVPR 2021最佳論文候選，4K4D把動態場景的渲染推進到4K實時水平，FreeTimeGS把渲染質量推進到可落地的程度。實驗室積累的技術後來被一家名為4DV.ai的創業公司採用，出現了在影視颶風的視頻裡。技術走出了實驗室，但彭思達沒有繼續留在這個賽道。2023年博士畢業後，彭思達選擇留校任教，入選浙江大學軟件學院“百人計劃”研究員，把研究對象從人體換成了街道。

理想汽車找上門來，雙方合作自動駕駛仿真系統，Street Gaussians被應用到了理想汽車的仿真系統中。兩年後，自動駕駛仿真技術逐漸收斂，彭思達又開始研究機器人導航。從動態三維人體重建、自動駕駛仿真到具身智能，作為一個做了多年計算機視覺的研究者，彭思達反而認為視覺並不是智能的主角。對於像人一樣思考、推理和規劃，文本可能更重要；對於機器人學會操作，重要的是真正理解動作軌跡的因果性。“到了具身領域，視覺模態仍然不是主角，動作模態才是主角。”以下是AI科技評論與浙江大學軟件學院“百人計劃”研究員彭思達的對話，在不改變原意的基礎上有所編輯。

01端到端不是最優解▎AI科技評論：你們最近10月份公開的SuperNav和ScaleNav兩項工作，分別對應機器人導航的「大腦」和「小腦」。為什麼你們要把導航拆成「大腦」和「小腦」？彭思達：我們觀察到一個現象。之前很多人希望訓練一個端到端導航模型，也就是微調一個VLM，讓它直接預測行動。但我們持續嘗試以後發現，這樣微調有兩個問題。第一，把VLM的能力變差了。VLM本來還可以做一些識別等任務，一旦要求它直接輸出動作，它就變笨了。第二，他們使用的VLM本身就不是那麼聰明。我們試過一些3B或者4B模型，給它一張圖片，問一些問題，發現它的空間推理能力很差。但為什麼要用這些模型？

因為只有3B或者4B這種模型，才能微調得動，所以這就有點不那麼本質。▎AI科技評論：你認為VLM直接預測動作不夠本質，甚至可能損害原有能力。那問題出在哪裡？彭思達：我個人的看法是大部分公司不具備訓練出通用智能模型的能力，只有OpenAI這種基模公司才真正掌握了訓練VLM的能力。要給模型注入某種能力，一定不是微調，一定得在預訓練過程中就有這樣的過程。如果某個小團隊以前從來沒訓練過這種模型，突然號稱微調一下就獲得了這種能力，我認為大概率是在某個小數據集上過擬合，實際上沒有任何能力上的驗證，也沒有技術進步性。▎AI科技評論： 你們最終選擇了什麼方案？

彭思達：我們認為導航最重要的是迴歸問題本身，怎麼更好地做決策、交互，怎麼在環境裡面更好地移動。剛好Agentic System、Coding Agent這種架構出現以後，我們發現非常適合滿足這個技術需求。既然走Coding Agent路線，就以通用多模態大模型作為核心，讓它負責整體規劃、決策、推理。具體怎麼在環境中執行，只需要給Coding Agent提供合適的工具，比如導航小腦。SuperNav是做決策系統，決定接下來應該去哪，應該記住哪些東西，怎麼規劃導航路線。ScaleNav做的是導航小腦的事情，相當於大腦指定一個點，小腦負責怎麼走過去。▎AI科技評論：所以你更相信Agent路線？

彭思達：是的，我更相信通用多模態大模型+Agent這條路線。端到端路線要讓模型擁有很強的能力，模型肯定要很大。模型變大，最大的問題不是推理速度，而是通信速度。比如一個30B或者100B的模型，肯定不可能部署到本地機器人上，只能部署到服務器。雖然它在服務器上推理很快，但本地機器人上傳圖片觀測到服務器，通信時間好歹得有一秒，這是短期的問題。真正操作東西的時候，肯定不能是一秒一次、一赫茲的水平，至少得是50赫茲。所以端到端模型可以有這個能力，但因為實際交互頻率，我覺得它打不過外掛底層交互工具這種形式。

▎AI科技評論：如果不讓一個端到端大模型包辦所有事情，那麼一個通用智能體的感知、記憶、推理和行動應該怎麼分工？彭思達：感知、推理以及理解上下文基本上都可以交給VLM去做，記憶和行動是另外兩個部分。先說記憶，在空間裡面不太好直接用圖文去記，因為沒有任何空間結構。而且現在SLAM工具非常成熟，用SLAM做一個基本結構化是沒問題的。所以記憶有兩個層面：怎麼構建記憶，可以用外部工具；理解記憶，還是用VLM本身。其次是行動能力，也就是交互能力。機器人怎麼跟外界直接交互，怎麼預測Action。這個要求交互頻率特別高，理想狀態是50赫茲。所以這種情況下，最好也外包給一個小模型去做。

02從元宇宙到具身智能▎AI科技評論： 你是什麼時候開始接觸NeRF的？彭思達： 2020年3月份，博士第二年下學期。當時我習慣每天看一下arXiv網站上的論文，看到了NeRF，發現技術上跟以前的方法區別很大，效果又特別好，非常有突破性。▎AI科技評論： 後來為什麼選擇研究動態人體重建？之前好像不是做人體。彭思達：2020年初，也就是NeRF出來的那年，我開始做動態人體重建。我是一個很乖的學生，我老闆（周曉巍）指哪兒我打哪兒。當時他跟華為有一個合作，一直在做人體建模相關的研究。▎AI科技評論：華為為什麼會關注動態人體？彭思達： 動態人體和體積視頻是等價的。

他們要構建三維動態人體，也是為了放到VR眼鏡裡面看。以前拍體積視頻，要用128個相機，非常稠密。這個在好萊塢應用裡面叫Live Stage，廣泛應用於電影工業。華為希望把相機數量變得特別少，比如從64個相機變到4個相機。後來我們做的Neural Body就是想解決非常稀疏視角下的問題，這在當時屬於非常前沿的研究問題。▎AI科技評論：Neural Body拿了CVPR 2021的最佳論文提名，你們當時是怎麼找到突破點的？彭思達： 我覺得是運氣，當時的科研做法不是那麼本質。本質的科研做法，一定是分析核心問題到底是什麼，再從問題反推應該用哪些技術。

但我們當時的做法是，發現NeRF技術特別新潮，想趕緊把它用過來試一下。一用過來，確實就能解決問題，屬於撞大運了。▎AI科技評論： Neural Body做完以後，你們繼續研究了AniNeRF、4K4D等工作。研究重點發生了什麼變化？彭思達： 三維數字人本質上等價於體積視頻，我們做了三維數字人以後，一直貫徹研究風格，想做一套能夠落地的系統。我們希望它能放在VR眼鏡上，讓更多用戶觀看，就需要從採集、重建、渲染、部署四個方面不斷提升。最直接的是渲染，比如Neural Body渲染很慢，大家戴上VR眼鏡，是希望能以60 FPS去看的，所以得提升實時渲染能力。

訓練速度也是一樣，用戶採集重建的時候，我們希望普通用戶能像拍照、拍視頻一樣錄製內容，需要提升重建速度，這就是快速訓練。緊湊表示是另一個問題。如果一個體積視頻要放到VR眼鏡上，不可能像最早那種表徵一樣，需要幾百GB或者幾TB，這顯然放不到VR眼鏡上。我們把它壓縮到一兩百MB的程度，一切都是為了能落地到VR眼鏡上，我們為此做了很多努力。▎AI科技評論：後來這些技術真正進入了產業嗎？彭思達： 其實做得還挺好，最後也催生了一家創業公司，做體積視頻的，叫4DV.ai。4DV.ai跟影視颶風合作很多，影視颶風有幾期上百萬觀看量的視頻提到過4K4D。但我沒有參與4DV.

ai，只是他們用了很多我們實驗室的技術，特別是我博士中後期做的這些東西。▎AI科技評論：既然體積視頻已經有了一些應用，為什麼後來又轉向自動駕駛？彭思達： 博士畢業之前，更多是我的博士生導師指哪兒我打哪兒，沒想過到底有哪些具體應用。等我真正工作以後，對這方面的思考越來越深。我覺得體積視頻確實有用，但應用面不廣，頂多在影視或者VR裡面用一用，這兩個行業總體市場價值並不大。自動駕駛，聽起來想象空間就非常大，過去也是我們學計算機視覺的主要就業需求池。這也是後面轉向自動駕駛領域的仿真系統最主要的原因。▎AI科技評論：說到學計算機視覺，前段時間聽到一個觀點，認為視覺對智能能力的提升相當有限。

彭思達：首先這裡智能有很多層次的定義。最高層次的智能，是像人一樣思考、推理、規劃；也有一些比較低級的智能，比如操作。這種操作是不過腦子的、本能的智能，也可以叫本體智能。我不知道怎麼定義這個詞，大概就是這兩類智能。▎AI科技評論：現在大家討論的通用智能，屬於哪一種？彭思達：現在大家講通用智能，更多指第一種。真正像人一樣思考，像人一樣推理、決策、規劃，這種肯定跟視覺沒關係。文本本來就是最緊湊的一種信息。比如我們看偵探小說，或者各種書本知識，文字就是最好的推理、決策、規劃的載體。在文字上做模型學習，肯定能更好地接觸到這種智能。但如果想從視覺裡面學習，就非常冗餘。

我們看各種視頻，視頻裡也不會莫名其妙體現出推理、規劃、決策能力。所以從視覺去學習這些信息，基本是南轅北轍。▎AI科技評論：那視覺對於動作智能又有什麼作用？彭思達：視覺是一個重要部分，但我覺得不是最重要的。這種動作智能，是跟環境做交互的智能。視覺只是一個輸入，不是最關鍵的部分。最關鍵的是把動作軌跡採集下來以後，怎麼從動作軌跡裡面學習動作智能。視覺不管是在第一種高級的規劃、推理智能裡面，還是後面的動作智能裡面，更多像一個外掛，或者說掛件。比如文本智能學好了以後，我再把視覺加進去，讓它能夠從視覺裡面做規劃、推理。

第二種動作智能，是先從動作軌跡裡面學會怎麼操作，理解動作本身以後，再把視覺加進去，讓它能從視覺裡面推理動作。但動作智能這裡不是那麼容易，因為很多時候，人操作東西跟視覺是緊耦合在一起的。所以第一種文本智能，確實可以完全脫離視覺而存在，它自己就能做自己的事情。但第二種動作智能，確實一開始就得把視覺信息加進去，讓它學會怎麼從視覺裡面推理出動作。不過，視覺模態還不是主角，動作模態才是主角。03在具身領域的新徵程▎AI科技評論：2023年，你博士畢業留校在浙大軟件學院任教，是怎麼進入自動駕駛領域的？彭思達：我原來做的是三維人體重建，一下跳到一個跟先前技術鏈路區別很大的方向不太現實，就做了城市重建。

底層都是重建技術，從人體到城市，切換起來還挺絲滑的。只需要把輸入數據換一下，改一下特定問題。對我們整體積累的技術棧來說，並沒有構成太大挑戰，點雲重建、構建可微、可渲染的三維表徵等技術都是完全可複用的。剛好那時候有一些自動駕駛公司找我們合作，我們就發現了自動駕駛仿真系統這個需求。▎AI科技評論：最早是理想汽車找到你們？大概是什麼時候？彭思達：對，一開始是理想找我們。2023年下半年，就是我工作的那個下半年。我們當時做了一篇工作叫Street Gaussians，那篇工作應用到了理想汽車的自動駕駛仿真系統裡面。後來因為這方面做得比較出名，也有很多的智駕公司找我們合作。

自動駕駛公司跟高校的產學研合作一直非常緊密，智駕的很多技術都是高校實驗室提出來，再在智駕領域放大。我們和理想是典型的校企合作方式，他們規定好要研究哪些體技術需求，給我們提供計算資源、數據資源，我們就找學生去做。▎AI科技評論：Street Gaussians和後來做的StreetCrafter，分別解決什麼問題？彭思達：Street Gaussians本身是在解決場景表徵建模的問題，也就是如何在計算機裡面表達動態街景。在Street Gaussians之前，沒有一個工作能很好地把動態場景重建出來，甚至在計算機裡面，都沒有一個很好的表達方式。

我們發現，Street Gaussians雖然完成了重建，但如果視角偏移比較大，渲染質量就會比較差。所以StreetCrafter希望利用擴散生成模型引入視頻生成先驗來解決這個問題。▎AI科技評論：為什麼智駕公司需要把真實道路重建成仿真環境，而不是直接通過路測來驗證算法？彭思達：路測有很多問題。第一是成本，比如我要測試一萬次，如果在真實世界測一萬次，成本就很高。第二是復現，比如某個版本的算法在路上出現了問題，我必須保證在一模一樣的情況下，能夠重新復現這個問題，來確認新版算法有沒有解決它。這都是真實世界存在的問題，但仿真不會有這些問題。

因為仿真是在電腦裡面跑，成本很低，遇到問題也完全可以復現出來。▎AI科技評論：從實際合作經驗看，高保真仿真距離大規模工業應用，最大的阻礙是什麼？彭思達：高保真仿真已經被工業界大規模使用了。如果要更廣泛地應用，關鍵還是三維資產怎麼重建，怎麼規模化重建。比如車廠隨便就能積累幾千萬公里的數據，怎麼把這幾千萬公里的場景都重建成一個仿真環境。怎麼魯棒、快速地重建，還是比較麻煩的。所以近兩年，我的很多研究都在推進這方面，包括一系列工作，像InfiniDepth、InfiniSplat v1/v2/v3等就是不斷往這方面推進。▎AI科技評論： 做了兩年多自動駕駛仿真以後，你為什麼開始考慮轉向具身智能？

彭思達： 最主要的原因是，我們前面已經發生過一次研究轉向。剛工作的時候，我從體積視頻轉到了自動駕駛仿真。做了兩年多，自動駕駛方面研究慢慢進入平臺期，大家沒那麼強調自動駕駛技術了，自動駕駛仿真技術也在收斂了。現在自動駕駛仿真技術方案，基本就是前饋高斯。數據堆上去，通過前饋高斯得到比較好的初始化高斯，再通過視頻生成模型補全未觀測區域，形成智駕仿真的方案。這方面做好以後，我們肯定希望Move On，看看更有挑戰的領域，所以今年年初開始想做一些機器人相關研究。▎AI科技評論： 那為什麼沒有直接轉向機器人操作，而是先從機器人導航切入？彭思達： 每一次切入都得小心翼翼。

如果一下子變化太多，我覺得很容易出問題。還是得對實驗室學生負責，當然也是對自己負責。一旦切得太大，自己什麼都不懂，學生做不出東西，我也做不出東西。所以我們每次都是逐步切換，我本來做自動駕駛仿真，對自動駕駛、移動機器人就很熟悉。機器人導航本質上也是移動機器人，所以我們原來就很熟悉，就往這方面切。▎AI科技評論： 你們最早做的Habitat-GS，就是把原來面向自動駕駛的仿真技術遷移到移動機器人上？彭思達： 這是很簡單的一次切換。原先我們做的是自動駕駛場景仿真器，Habitat-GS是做面向移動機器人的仿真器。這個仿真器裡面可以放底盤、輪臂機器人、機械狗等各種機器人，本質上還是做仿真。

這是我們開始做移動導航方面的第一個工作。▎AI科技評論： 機器人仿真和自動駕駛仿真最大的區別是什麼？彭思達： 我覺得更多還是應用上的區別。機器人仿真需要支持更復雜的地形，也要直接支持移動機器人的各種任務。自動駕駛沒有那麼複雜的導航需求，沿著GPS路線往前開就行了。但是移動機器人跟人一樣，需要有像人一樣的移動能力。比如你讓它幫你拿杯水，它得知道怎麼找到這杯水。這樣一來，仿真器裡面就需要構建類似的評測環境和指令。所以跟自動駕駛最大的不同，是更復雜的指令任務，以及與之對應的更復雜環境。▎AI科技評論： 仿真環境除了用於測試，還能幫助機器人學習和提升智能能力，目前後者最大的技術瓶頸是什麼？

彭思達：我個人覺得最重要的是強化學習技術。這裡面又涉及很多問題，比如機器人跟三維世界模型交互時，反饋是很稀疏的，導致RL優化沒那麼好。但如果有一個全方面可微的世界模型，就能更好地保證RL收斂。▎AI科技評論： 目前有比較成熟的解決方案嗎？彭思達： 目前還沒有。不過最近有一篇比較火的工作叫SuperMimic，是一種比較好的嘗試。以前英偉達做的SONIC用的是傳統仿真器，這種在RL訓練的時候，反饋很稀疏。SuperMimic引入了一個可微世界模型，能夠很好地求解人形機器人和地形交互時的梯度。這種梯度不像傳統仿真器，只有接觸的時候才有梯度，而是在所有情況下都有連續梯度，這樣就能很好地指引RL訓練。

但它的世界模型還比較初步，只是建模人形機器人和平地的一種世界模型，不能做“Contact-Rich”那種複雜交互的世界模型。04三維重建不是空間智能▎AI科技評論：在你的研究體系中，是怎麼定義空間智能的？彭思達：空間智能概念很寬泛，我認為只要是在三維空間中的智能，都叫空間智能。比如機器人就是一種典型的空間智能應用，機器人需要在三維空間裡面做推理、交互、決策，當然自動駕駛也是。▎AI科技評論：空間智能跟你過去研究的三維重建有什麼區別？彭思達：三維重建不是空間智能，關鍵在於怎麼定義智能。我對智能的定義，標準比較高，智能一定是像人一樣去思考。三維重建不涉及像人一樣思考。

區別在於，三維重建只是把一些圖片觀測轉成三維空間中的數字環境。空間智能研究的是這些智能體在三維環境裡面怎麼做推理、決策和交互。▎AI科技評論：你之前在一些公開對話中談到，未來的智能體不一定需要顯式構建三維結構。你怎麼看顯式三維表示和直接從視頻中學習空間規律這兩條路線？彭思達：我覺得這裡最本質的問題，是智能體怎麼在空間中做推理、決策、交互。人做推理、決策、交互時，並沒有用到顯式三維幾何。我們是在自己腦海裡面構建出一種很模糊的場景狀態，比如我要抓起那杯水，我構建出這種很模糊的狀態，就能抓它了。但學習空間規律，如果是通過訓練學習，那需要顯式三維結構。

所以這裡有兩個部分，真正做推理、決策、交互時不需要，但在學習時需要。因為我們得真正抓過這個杯子，才能知道這個感覺。▎AI科技評論：機器人進入陌生環境以後，需要怎麼探索、理解和記住周圍空間？你之前提到過類似人類心靈地圖的空間記憶。彭思達：我們很快還會推出一篇新工作，叫SuperNav 1.5。之前的SuperNav沒有用心靈地圖，用的是比較樸素的圖文長上下文記憶。跟普通VLM一樣，把原來見過的圖片存在記憶裡面，把描述存在記憶裡面，然後去索引。SuperNav 1.5則利用SLAM設計了一種心靈地圖。現在SLAM非常成熟，機器人在探索過程中可以不斷建圖，慢慢就有一個基本地圖。

此外，我們又在這個地圖上標記一些關鍵點，讓它知道每個區域有哪些東西，這樣就能記住這些空間了。▎AI科技評論：當前導航系統如果要走向能夠長期自主行動的通用空間智能體，瓶頸在哪裡？彭思達：如果只有移動，我覺得技術瓶頸可能是怎麼構建非常大規模的空間記憶。比如人在一個辦公樓工作過以後，很莫名其妙地就能把一整棟樓記下來。但現在導航機器人沒有這個能力，每次還得非常慢地重新推理一遍。不過這在應用上可能也不是那麼大的問題，在學術上倒挺有意思。我很好奇人的大腦機制如何運行，使其能很自然地記住自己走過的地方。05後記彭思達有一個習慣，遇到不懂的東西，就每天磨一點。

剛開始讀一篇論文，他也可能完全看不懂，甚至需要把論文背下來。但只要每天反覆讀、反覆敲代碼，一兩週後，原本陌生的概念就會突然變得熟悉。這個過程，他從讀博一直延續到現在。研究具身智