李飛飛署名具身新論文：Sim2Real燒不起，Real2Sim量大管飽

一段真實世界影片，就能自動生成無限的機器人訓練場景——這項由英偉達GEAR團隊、史丹佛大學李飛飛實驗室以及喬治亞理工學院等機構共同提出的全新Real2Sim系統「SimFoundry」，正在為機器人領域帶來一場效率革命。研究團隊在最新發表的論文中指出，傳統的Sim2Real（從模擬到真實）策略不僅成本高昂，而且難以在不同環境間泛化，而SimFoundry反其道而行，透過Real2Sim（從真實到模擬）路徑，讓機器人先從真實世界影片中學習場景結構，再自動生成可交互、可訓練、可評測的仿真環境，實現「量大管飽」的數據擴增。 SimFoundry的核心突破在於其端到端的自動化流程。使用者只需要錄製一段日常場景的影片，例如廚房檯面上擺放著杯子、盤子與水果，系統就會自動解析影片中的物體幾何形狀、物理屬性、關節結構以及物體間的功能性關係（Affordance）。在此基礎上，SimFoundry能一鍵生成一個具備物理碰撞、重力模擬與操作反饋的機器人仿真環境。更關鍵的是，研究團隊設計了場景變換模組，讓系統能在不改變物體原始功能的前提下，自動替換物體外觀、調整場景佈局、甚至重新組合出全新的操作任務。這意味著，同一段真實影片不再只能產出一個靜態仿真場景，而是可以批量生成幾乎無限多樣的訓練數據空間。 這項技術的背後，是對傳統Sim2Real路線缺陷的深刻反思。過去幾年，機器人學習領域高度依賴人工建模的仿真環境，再將訓練好的策略遷移到真實機器人上。然而，建模過程既耗時又昂貴，且仿真場景與真實世界之間的「感知鴻溝」往往導致策略在真實環境中表現不佳。SimFoundry直接以真實世界影片為輸入，保留了真實場景中的光照、紋理與物體細節，大幅縮小了仿真與真實之間的差距。研究團隊強調，正是這種「真實到模擬」的逆向思路，讓SimFoundry生成的訓練數據在遷移時具備極高的可靠性。 在實驗驗證環節，SimFoundry展現了令人矚目的成績。團隊利用該系統在多個典型機器人操作任務上進行訓練，包括多步驟連續操作、雙臂協作搬運、以及需要操作帶關節物體（如冰箱門、抽屜、烤箱）的複雜場景。結果顯示，在SimFoundry生成的仿真數據上訓練出的機器人策略，可以直接零樣本部署到真實機器人上，無需任何微調或二次訓練。這項突破意味著，未來機器人開發者不必再為了收集海量真實操作數據而耗費大量人力物力，只需錄製幾段影片，就能獲得源源不絕的高品質訓練素材。 李飛飛作為具身智慧領域的權威學者，此次與英偉達GEAR團隊的聯手，進一步驗證了Real2Sim路線的潛力。事實上，李飛飛實驗室過去數年一直在探索如何利用合成數據與真實數據的結合來突破機器人學習的瓶頸。SimFoundry的出現，恰好回應了業界長期困擾的「數據稀缺」問題。不同於傳統數據增強僅能改變顏色或旋轉角度，SimFoundry能從功能層面重新組合物體與任務，例如原本影片中是「拿起杯子放到托盤上」，系統可以自動生成「拿起水果放到碗裡」或「打開抽屜放入毛巾」等變體，而且這些新任務的物理可行性與操作合理性都經過自動驗證。 從技術架構來看，SimFoundry包含三個核心模組：場景解析器、場景生成器與任務生成器。場景解析器負責從影片中提取物體的三維幾何、材質與關節資訊；場景生成器根據解析結果建立可交互的物理模擬環境；任務生成器則基於物體的Affordance與空間關係，自動設計出符合邏輯的操作序列。整個流程無需人工標註或手動建模，真正實現了從真實世界到仿真世界的全自動映射。 對於機器人產業而言，SimFoundry的出現可能改變當前的研發範式。過去，企業若要訓練一台能在廚房工作的機器人，往往需要在實際廚房環境中進行上千次重複操作，不僅效率低下，而且容易造成設備磨損與安全風險。如今，只要錄製一段廚房場景影片，SimFoundry就能在短時間內生成數百萬種不同的變體場景，讓機器人在虛擬世界中反覆學習，再將學到的技能直接複製到現實機台上。這種「Real2Sim訓練、Sim2Real部署」的閉環，大幅降低了機器人落地應用的門檻。 研究團隊也透露，SimFoundry目前已經在部分開源平台與仿真器上完成測試，未來將進一步開放給學術界與業界使用。隨著這套系統的普及，機器人開發者或許不再需要花費數月時間手工搭建仿真環境，而是用一支手機錄製幾段影片就能啟動訓練流程。這項技術不僅可能加速服務型機器人、家庭機器人與協作機器人的商業化進程，也為通用機器人智慧的研究提供了更強大的數據基礎設施。 當然，SimFoundry仍有其技術邊界。目前的影片輸入長度與場景複雜度會影響生成環境的精度，對於極度細微的操作或非剛體物體（如布料、液體）的模擬仍需後續改進。但不可否認的是，從Sim2Real到Real2Sim的思路翻轉，已經為機器人學習開啟了一扇全新的大門。當真實世界的碎片化資訊能被自動轉化為可無限擴展的仿真訓練場，機器人智慧的發展腳步勢必將迎來質的飛躍。而這篇由李飛飛署名的論文，無疑是今年具身智慧領域最值得關注的研究動向之一。