AI到底是「想錯了」還是「判錯了」？OpenDriveLab 陳立的組合式世界模型讓策略自我糾偏 | RSS 2026

在具身智能通往通用人工智慧（AGI）的發展道路上，一個隱形的威脅正逐漸浮現：「黑盒幻覺」。當機器人或自動駕駛系統做出錯誤決策時，開發者往往難以精準定位問題根源，因為「預測未來」與「評估好壞」這兩項功能，在龐大的聯合神經網路中被緊緊綁定。一旦發生事故，根本無法分辨究竟是系統「想錯了」——對物理世界的預測失準，還是「判錯了」——對結果好壞的價值判斷有誤。這種「想」與「判」的糾纏，已成為阻礙具身策略邁向更高安全等級與可檢查性的最大瓶頸。 2026年7月17日，在RSS 2026的Workshop現場，來自OpenDriveLab的核心成員陳立發表了題為「Improving Embodied Policies with Compositional World Models」的演講，直接切入這一行業盲區，並提出了「組合性」（Compositionality）原則作為解決方案。這個原則的核心思想相當直觀：將世界模型中的「預測」組件與「價值評估」組件徹底分離，讓它們各自獨立運作、專業分工。預測組件只負責像沙盤推演一樣，模擬「做出某個動作後會發生什麼」；而評估組件則只負責判斷「推演出來的後果是好是壞」。這種功能上的解耦，讓AI的決策過程變得像拼圖一樣清晰且可追溯。 陳立在演講中強調，預測本身只能告訴我們某個動作可能帶來什麼後果，但無法判斷這個後果是否有用。他將這種「預測與評估保持足夠獨立、各自專業化」的特徵，定義為世界模型的組合性。在當前的具身智能領域，策略在將觀測與指令映射為動作方面已經相當強大，但很多失敗並非源於誤解指令，而是因為策略沒有預判動作可能導致的後果。例如在駕駛場景中，一個策略可能在局部看起來安全，但下一秒就可能陷入危險互動；在機器人操控中，機器人可能一動手就遭遇失敗，導致後續任務根本無法完成。雖然物理世界的試錯（如真實強化學習）能暴露這些問題，但過程極其緩慢、伴隨風險，且難以平行化。世界模型提供了一個極具吸引力的替代方案，讓策略在最終決策前，能有一個虛擬空間來審視可能的後果。 為了實現這個目標，陳立團隊構建了一個典型的模型流程。首先輸入歷史觀測與一個具體動作，然後為未來時間步想象出未來的狀態。在駕駛場景中，動作可以是軌跡航點等高層級信號；在操控任務中，則可能是連續動作或控制信號。儘管狀態的表示形式可以多樣化（如影片、潛在狀態或結構化幾何），但核心要求始終是因果可控性——改變動作必須能以正確的方式改變想象中的未來。緊接著是價值評估部分，價值模型接收想象出的未來狀態，並結合當前任務或目標，去估算獎勵或價值。這個輸出可以將預測轉化為策略接口，讓策略不僅能在候選軌跡中進行選擇，還能在動作生成過程中提供梯度，甚至可以在這些生成的經驗上進行強化訓練。 陳立強調，這裡的「組合式」是在功能意義上使用的。即便預測和評估存在於同一個更大的系統中，它們也保持著獨立性。這種讓想象與評估分離的機制至關重要，它賦予系統一種診斷能力，讓開發者能夠追問：一個決策錯誤究竟是因為模型預測了錯誤的後果，還是因為價值模型做出了錯誤的判斷？這種獨立性之所以必不可少，是因為兩者的目標截然不同。預測部分需要輸出高維的未來觀測，而評估部分則需要輸出獎勵、進度或優勢值。在建模方法上，動力學預測側重於高維生成，價值評估則側重於任務條件下的評估與失敗檢測。雖然理論上一個單一的聯合網路可以同時服務於兩者，但會極大地耦合標籤、模型容量和更新排程。組合式框架確保這些選擇在保持可能性的同時，更加獨立與可靠。 基於這一思想，陳立展示了四項具體實踐工作，它們在利用世界模型的方式上各有側重。第一項是關於自動駕駛可靠世界模擬的ReSim項目，旨在解決預測可靠性的問題。真實世界的數據集（如nuScenes）雖然提供了極大的視覺多樣性，但其中的大多數動作都來自極其謹慎的人類駕駛員，動作分佈狹窄且偏向安全，諸如偏離道路等非正常行為的數據極為稀少。在這些數據上訓練出來的世界模型，很容易忽略異常的動作輸入，從而生成看似正常的畫面——當輸入一個不安全的控制信號時，模型卻無法生成相應的危險後果。這對策略評估是致命的，因為如果想象中的未來永遠是一片祥和，獎勵信號就無法區分動作的優劣。為了擴展動作覆蓋，團隊將來自CARLA模擬器的非專家動作與來自YouTube及nuScenes的真實數據相結合。真實世界數據提供豐富的場景和交通標註，仿真數據則補充不安全行為的後果。透過這種組合訓練，並結合一個能零樣本遷移到真實世界的Video2Reward模型，ReSim成功具備了預測危險後果的能力。在NAVSIM測試中，利用ReSim提供的獎勵信號，規劃得分達到了74.1分。 第二項工作聚焦於操控任務，提出了Generation-then-Revise流程。在以往的工作中，價值推斷通常只考慮單條想象軌跡，且無論初始提議是否正確都會執行串行修正，效率較低。新方法引入了期望優勢評論器與多束搜索。策略首先提出一個動作序列，隨後由一個輕量級的兩層觸發器快速決定是直接執行還是進行修正。如果觸發修正，擴散模型會展開多個候選路徑，並透過快速評論器估算每條路徑的優勢值來擇優選擇。這種「早退出」機制大幅減少了不必要的推理時間，同時確保了修正的品質。 第三項工作是針對自動駕駛後訓練的基礎設施World Engine。為了讓生成的經驗能夠直接作為策略改進的環境，團隊開發了這套系統，針對長尾事件利用3D高斯潑濺（3DGS）將真實場景重建為逼真的交互式環境。其中的行為世界模型是一個基於多智能體軌跡的擴散模型，可以設定特定的目標點，並根據地圖拓撲生成周圍車輛多樣化的未來軌跡。行為模型預測運動，3DGS渲染器則生成對應的感測器觀測。兩者結合，成功將一次真實的記錄轉化為多次閉環的交互強化訓練。實驗表明，這種閉環後訓練大幅提升了策略在處理真實長尾事件時的成功率。 第四項工作RISE，將這種重建場景與策略改進的思路延伸到了機器人領域。RISE（基於想象自我改進的機器人強化學習）旨在解決真實世界機器人強化學習面臨的物理成本高、安全監控難、硬體易損等困境。在RISE中，團隊以少量的真實演示和物理推演作為錨點，而將大部分的交互訓練轉移到了世界模型的想象空間中。RISE的世界模型同樣由兩個專業化的組件構成：動力學模型負責接收近期觀測和未來動作，並預測出多視角的未來畫面；價值模型則接收這些想象畫面並估算任務進度，將價值差異轉化為獎勵。這兩個組件具有不同的歸納偏置——影片生成需要保持視覺連貫，而價值模型需要敏銳地檢測出細微的失敗。在實現細節上，動力學模型基於通用影片生成基座進行了輕量化定製，能在兩秒內快速生成25幀畫面；同時透過任務中心批處理技術，讓模型更專注於學習動作控制引起的視覺差異。價值模型則基於預訓練的機器人大模型進行微調，結合了進度迴歸和時序差分（TD）雙重目標，既能提供平滑的進度信號，又對失敗動作極其敏感。這種雙組件的專業化帶來了巨大優勢：由於動力學模型和價值模型僅在訓練期間發揮作用，訓練完成後部署在機器人上的策略完全不承擔世界模型的推理開銷；此外，由於接口完全可檢查，當系統表現不佳時，可以清晰診斷出是動力學模型的預測出了偏差，還是價值模型的信用分配出現了失誤。 在實際的改進循環中，策略從真實觀測錨點出發提出動作，動力學模型預測結果，價值模型進行評估，並將這些想象經驗與真實數據混合放入緩衝區用於策略更新。為了防止世界模型產生幻覺，團隊限制了推演的步數，並始終以真實數據作為支撐。實驗表明，在動態分揀和物體操控等任務上，RISE均取得了顯著的性能提升，且最終部署的策略依然保持著極高的執行效率。 陳立總結這一系列工作的核心在於：使預測和評估專業化，用不同數據進行監督，獨立擴展各個組件，並在信任生成經驗之前對其進行審視。展望未來，他認為有三個關鍵方向值得重點突破：第一是基礎設施的建設，世界模型的訓練、推理和具身環境必須變得更加高效；第二是泛化能力，尤其是開發通用的價值模型；第三是世界模型的探索，例如Cosmos Token等新技術在未來的應用。他強調，在這個過程中，挑戰在於如何在實現系統整合的同時，不失去組件的專業化與可檢查性——而這正是組合式方法的價值所在。 在演講後的問答環節中，陳立針對與會者提出的問題進行了回應。關於特定的進度價值模型如何在不重新訓練的情況下泛化到未見過的任務，他說明目前價值模型本質上仍是任務特定，團隊的做法是利用一些域內數據，在預訓練基座（如π0.5）上進行微調，目前反饋顯示這種方式有效。針對價值模型在未見過數據點上的可靠性與偏差，陳立表示對於全新的任務，價值模型確實無法直接泛化；但對於域內的泛化（例如光照、位置的改變等常見泛化測試），價值模型的泛化能力可以與策略模型本身的表現相媲美，因為它們共享了相同的預訓練基座，在論文中也使用了相同的數據並結合了TD損失來進行訓練。