李飛飛團隊最新研究：告別昂貴的“虛實轉換”，一段視頻即可生成無限機器人訓練場

在具身智能領域，從模擬環境遷移到真實世界的「Sim2Real」技術路徑，長期以來一直是研究人員亟欲突破的瓶頸。傳統的仿真環境不僅需要耗費大量人力與時間進行精細建模，還經常因為物理引擎與現實世界的差異，導致機器人模型在實際應用時出現性能折損。為了解決這個困境，由史丹佛大學知名學者李飛飛領銜的團隊，攜手NVIDIA GEAR實驗室、佐治亞理工學院等多家頂尖研究機構，近期共同發表了一項名為「SimFoundry」的全新系統，提出了從真實世界直接通往仿真世界的「Real2Sim」創新思維。 這項研究的核心在於，研究人員只需提供一段真實世界中的影片，SimFoundry便能自動將影片內容轉化為一個具備完整交互能力、可供機器人進行訓練與性能評測的仿真環境。與過去依賴專業設計師逐一手動構建3D場景的做法截然不同，SimFoundry透過自動化流程，大幅降低了搭建仿真環境的技術門檻與資金成本。這項技術的出現，有望讓具身智能的研究與開發變得更為普及與高效。 SimFoundry系統的運作原理，建立在對真實場景進行深度解析的基礎之上。它並非僅僅是傳統的3D場景重建，而是進一步提取影片中物體的幾何結構、物理屬性以及交互功能等關鍵資訊。透過這些資訊，系統能夠精準地重現真實世界的物理特性，從而為機器人提供一個高度擬真的訓練空間。研究團隊將這個精確複製的虛擬場景稱為「數字孿生」，它與真實環境幾乎一模一樣，確保機器人在其中習得的技能能夠順利遷移到現實。 更進一步的突破在於，SimFoundry不僅能複製單一場景，還能在此基礎上自動生成大量變體。系統可以隨機調整物體的外觀顏色、幾何形態、場景布局，甚至是操作任務的設定，從而創造出海量與原始場景相似但又不盡相同的「數字表親」。這些「數字表親」的價值在於，它們能為機器人提供幾乎無限的訓練數據，讓機器人在多樣化的情境中學習如何應對各種變化，而不是只針對單一固定環境進行記憶。這項機制極大地提升了機器人策略的泛化能力與魯棒性。 開發者僅需錄製一段真實世界的影片，例如一個擺放著杯子、盤子和水果的桌面場景，SimFoundry便能自動解析並生成該場景的數字孿生。隨後，系統會自動產生數十甚至數百個變體版本，例如改變杯子的位置、更換水果的種類、調整桌面的角度等。機器人可以在這些虛擬場景中反覆練習拿起杯子、移動盤子等動作，從錯誤中學習並優化策略。整個過程從場景建立、策略訓練到自動評測，都可以在仿真環境中一氣呵成，無需再手動調整實體機器人或真實場景。 實驗數據顯示，SimFoundry在預測機器人真實表現方面擁有極高的準確度。研究團隊將機器人在SimFoundry生成的仿真環境中執行任務的表現，與其在真實世界中的實際結果進行比對，發現兩者之間具有高度的一致性。這代表研究人員可以信賴SimFoundry所產生的評測結果，不必擔心仿真與現實之間存在巨大落差，從而有效縮短了從開發到部署的迭代週期。 這項技術的誕生，對於當前火熱的具身智能領域具有指標性的意義。過去，研究團隊往往需要投入大量資源來構建逼真且物理正確的仿真環境，例如聘請3D美術師製作模型、校準物理引擎參數、以及採購昂貴的動態捕捉設備。SimFoundry利用真實影片作為輸入，直接跳過了這些繁瑣且昂貴的步驟，讓資源有限的中小型實驗室或新創團隊也能夠快速建立起高品質的訓練環境。這無疑將加速機器人學習研究的進展，並降低整個產業的創新門檻。 此外，SimFoundry的自動化生成能力，也為機器人訓練的規模化提供了解決方案。傳統上，人工為每一個新場景建立仿真環境是極度耗時的，但SimFoundry能夠從大量的真實影片中自動、批量地生成多樣化的仿真場景。這使得機器人可以在數以萬計的不同虛擬環境中進行訓練，學習更全面的技能，從而提升在真實世界中面對未知情境時的適應能力。這種從「少樣本」到「多樣本」的轉變，是機器人走向通用化的重要一步。 從技術發展脈絡來看，李飛飛團隊此次提出的「Real2Sim」概念，與傳統的「Sim2Real」形成了互補關係。過去是從模擬出發，設法讓機器人適應真實世界；現在則是以真實世界為起點，反向構建出可用於反覆訓練的模擬環境。這種雙向流動的閉環，使得機器人能夠不斷從真實數據中學習，再透過模擬環境加以強化，形成一個持續進步的正向循環。SimFoundry正是這個閉環中關鍵的橋樑。 展望未來，SimFoundry的應用場景相當廣泛。除了實驗室中的基礎研究，它還可以應用於工業製造中的機器人抓取與裝配、家庭服務機器人的物件操作訓練、以及自動駕駛中的場景模擬等領域。任何需要機器人與真實世界物體互動的任務，都能透過SimFoundry快速建立對應的虛擬訓練場。隨著技術的持續迭代與開源社群的推廣，這套系統有望成為具身智能領域的基礎設施之一。 值得注意的是，SimFoundry雖然大幅降低了仿真環境的搭建門檻，但它仍然依賴於輸入影片的品質與多樣性。如果影片未能完整捕捉場景中的所有細節，或物體的動態行為表現不足，生成的仿真環境可能仍存在一定的誤差。不過，研究團隊已經在系統中設計了多項驗證與優化機制，能夠在自動化過程中篩選出高品質的訓練場景，並持續校正物理參數，以確保仿真結果的可靠性。未來隨著感測器與拍攝技術的進步，這方面的限制可望進一步縮小。 總而言之，李飛飛團隊與合作夥伴共同發表的SimFoundry系統，為機器人訓練領域帶來了一股新的革命性力量。它告別了昂貴且繁瑣的傳統虛實轉換流程，讓研究者只需一段影片就能開拓無限的訓練可能。這項成果不僅展現了學術界與產業界合作的強大動能，也為具身智能的落地應用鋪設了一條更為平坦的道路。隨著更多團隊投入相關研究，機器人學習的效率與能力可望迎來新一輪的飛躍。