用世界模型給VLA當教練，原力靈機發布DW0.5，把RL搬進虛擬世界

用世界模型給VLA當教練，原力靈機發布DW0.5，把強化學習搬進虛擬世界

近年來，程式碼Agent之所以在人工智慧領域快速崛起，關鍵在於其天生的閉環特性：程式一寫完就能立刻執行、自動驗證結果，並獲得明確的獎勵訊號。這種即時反饋機制讓後訓練階段如虎添翼。然而，同樣是AI熱門賽道，具身智慧（Embodied AI）卻始終無法複製這種優勢。機器人身處複雜且不可預測的物理世界，每一次真機試錯都伴隨高昂的人力與硬體損耗，得到的反饋往往模糊、延遲又昂貴。 視覺-語言-動作模型（VLA）作為具身智慧最早受關注的技術路線，一度被寄予厚望。但隨著探索深入，業界逐漸發現VLA在物理理解、泛化能力以及長時序任務規劃上存在明顯短板。後來世界模型成為新焦點，然而它也不是立刻就能包治百病的萬靈丹。面對這條「此路不通、那路也卡」的困境，原力靈機團隊選擇跳脫技術路線的標籤之爭，回歸目標導向：需要解決什麼問題，就挑選對應的方法去解決。 今年初，原力靈機內部形成一個關鍵判斷：世界模型不該只是另一個孤立的模型，而可以成為後訓練（Post-training）流程中的核心組件。經過半年研發，本月份公司正式推出旗下首款具身世界模型DW0.5，並將其整合至世界模型驅動的具身後訓練框架DFOL 2.0。原力靈機聯合創始人汪天才表示，這套基礎模型支援多模態輸入，包括任務指令、圖片與影片，還能根據不同機器人類型進行設定；模型能憑藉歷史動作，預測後續的影片狀態。 DW0.5的一大亮點是作為高保真模擬器，直接將強化學習（Reinforcement Learning）搬進虛擬世界。具體流程是：VLA基礎策略先給出候選動作，DW0.5在虛擬環境中預演這些動作可能導致的未來，判斷成功、失敗或偏離風險，再將可用的反饋送回到強化學習中。根據原力靈機公布的數據，這套做法能讓後訓練階段對真實機器人數據的需求驟降60%，整體訓練成本下降約40%。 為了實現這樣的效果，DW0.5在架構上採用了三大專家模塊：Video Expert、Action Expert 與 Value Expert，共同構成完整的推理鏈路。首先，Action Expert 將動作訊息視為結構性的強先驗，而非僅是軟提示。透過 MoT（Mixture of Tokens）注意力機制中的 group-diagonal attention mask，動作序列與影片序列精準對齊，確保「向左推」與「向右推」從一開始就走向完全不同的計算路徑，讓模型真正理解動作如何影響物理結果。 其次，模型必須具備「模擬失敗」的能力，才能稱得上合格的模擬器。傳統只用成功軌跡訓練的模型容易產生成功偏置，無法辨識錯誤動作，也無從提供懲罰訊號。DW0.5的數據策略特別圍繞失敗情境設計，讓模型同時學習「應該怎麼做」與「做錯了世界會變成什麼樣」。團隊使用了四大類數據源：具身公開與自採的真機數據（包含遮擋、接觸等真實噪聲）、網際網路影片數據、第一視角人類活動數據，以及真機與模擬器產生的覆蓋偏離、卡住與恢復等中間狀態的 roll-out 數據。 第三，Value Expert 扮演了從「影片世界模型」通往「訓練環境」的關鍵轉換器。Video Expert 負責模擬動作後果，而 Value Expert 則把這些後果轉換為可優化的密集訊號，對當前狀態、候選軌跡或整段 roll-out 給出成功機率或任務價值評估。這使得稀疏的任務結果能被拆解成每一步都能使用的中間反饋。據原力靈機披露，DW0.5 的 Value-Order Correlation 達到 95% 以上。 這三大設計共同支撐 DW0.5 在 VLA 訓練與部署中的三種角色：離線數據增強與偏好構造、RL 後訓練模擬環境，以及部署時的規劃與安全評估。從實際表現來看，模型在高階指令跟隨、多維連續泛化、多視角一致性以及動作與影片生成的一致性上都展現出明顯進步。例如，在打氣球任務中，「將氣筒插入氣球」這一步的成功率從 10% 躍升至 100%；晾衣服任務的「成功掛上衣架」也從 50% 翻倍至 100%，疊紙盒任務的兩側摺疊成功率亦分別從 35% 拉升至 55% 與 50%。 在基準評測方面，DW0.5 在 EWMBench 與 WorldArena 等測試中均拿下全球最佳成績（截至 7 月 9 日）。內部部署上，這套模型已經跑通完整的後訓練閉環流程 DFOL 2.0，並接入了原力靈機推出的 DexDev MaaS（Model as a Service）平台，讓開發者可以在特定場景中透過後訓練補足模型泛化能力，再串回平台服務。 值得留意的是，原力靈機團隊反覆強調真實數據的無可取代性。汪天才指出，世界模型目前仍需真實機器人數據進行校準，原力靈機的目標是藉助世界模型降低成本，而非完全取代真機。未來隨著視覺模型能力持續提升，現場人員可以透過第一視角相機採集操作數據，減少對專業真機採集團隊的依賴，進一步降低後訓練的門檻。具身智慧的世界裡，世界模型總算找到了一個明確可規模化落地的位置。