拉爆遊戲引擎？深度拆解 Genie 4，從視頻生成到世界控制，Google 要跨越什麼？

動態條件注入、因果核驗與異步協作的三大技術挑戰，暴露出哪些致命的技術死角？作者丨鄭佳美 編輯丨岑 峰 剛剛，Google DeepMind 正式發佈了新一代世界模型 Genie 4。除了實時生成可交互環境，這次還有一個有意思的設計：Genie 4 負責生成世界，Gemini 3.8 Flash 負責觀察畫面、拆解任務，並根據執行情況調整計劃。DeepMind 還展示了 Gemini 4 Argon 與 Genie 4 的組合，讓模擬環境中的 Apollo 人形機器人完成跳棋任務。在整個過程中，新的任務指令可以持續加入，並改變後續發生的事件。這給世界模型帶來了新的技術要求。

過去，模型主要根據歷史畫面和用戶操作生成後續場景，現在還需要隨時接收 Agent 發來的新指令。當機器人移動一枚棋子後，模型既要保留棋盤已經發生的狀態變化，又要理解下一階段的任務，讓後續畫面與此前操作保持一致。如果執行失敗，Agent 還需要從生成畫面中識別異常，調整計劃並繼續執行。任務規劃、條件生成和狀態核驗由此進入同一個反饋循環，同時也帶來了三個相互關聯的問題：動態語言條件如何約束環境演化，Agent 如何避免陷入“指鹿為馬”的因果幻覺，以及運行速度不同的模型，如何在毫秒級延遲下保持穩定協作。01從條件生成到動態干預Genie 4 的技術變化，可以從自迴歸世界生成的基本原理說起。

Genie 3 已經能夠以 720p 分辨率、每秒 24 幀的速度生成可交互環境。它採用自迴歸方式，將此前的視覺歷史和用戶操作作為條件輸入，學習環境隨時間演化的分佈，並通過連續生成維持場景的空間結構和對象外觀。Genie 3 也支持 Promptable World Events，允許用戶通過文字改變天氣或添加物體。不過，在與 SIMA Agent 的早期實驗中，世界模型主要根據外部操作模擬環境變化，任務理解和行動決策仍由 Agent 承擔。Genie 4 將這種交互進一步擴展到持續運行的任務過程中。

在 Gemini 4 Argon 的實驗中，Argon 可以將複雜任務拆解成連續步驟，通過 Interleaved Text Captions 將新的文字條件交錯送入生成模型，讓環境隨著任務進度改變後續事件，而不必提前確定完整的事件序列。從條件概率的角度看，模型生成下一段環境變化時，需要同時結合歷史視覺信息、控制動作和當前生效的語言條件。動態文字輸入會改變生成分佈，但也引入了條件生效範圍和時間依賴的問題。例如，Apollo 機器人完成抓取後，新的文字條件要求它將棋子移動到指定位置。這條指令需要改變機械臂和相關棋子的後續運動，卻不能擾動棋盤上的無關對象。

同時，機械臂還必須延續此前建立的抓取關係，讓移動和釋放動作能夠自然銜接。這裡涉及語義條件的局部約束，以及連續事件之間的依賴關係。高層 Agent 可以決定接下來執行什麼任務，但對象之間如何交互、動作如何在物理上保持連續，仍需要世界模型在生成過程中處理。實時生成還受到自迴歸計算方式的限制。模型無法在每次接收新指令後重新生成完整歷史，只能利用已有上下文繼續推演，因此動態條件如何影響內部狀態表示成為關鍵。一種可能的實現方式，是將對象信息隱含在視覺 Token 和時序特徵中，通過自迴歸上下文延續環境變化。這種方式適合處理複雜的連續視覺場景，但缺少對長期對象關係的直接約束。

另一種方式是使用結構化狀態，顯式記錄對象身份、空間關係和事件結果，再將這些信息作為生成條件。這有利於維護離散任務變量，卻需要解決結構化狀態與視覺特徵之間的映射，以及兩種表示何時更新的問題。目前，DeepMind 尚未披露 Genie 4 的完整網絡結構，也沒有說明 Interleaved Text Captions 具體通過怎樣的注意力機制、狀態緩存或條件融合方式進入生成網絡，因此還無法判斷其內部採用了哪種實現。02視覺狀態不等於任務狀態Gemini 3.8 Flash 在閉環中負責根據 Genie 4 的畫面理解任務進展，並規劃後續行動。

但視頻主要呈現可觀察的運動和外觀變化，而任務是否完成，有時還取決於畫面無法直接反映的結果。DeepMind 展示過 UR5 機械臂使用移液器操作實驗孔板的模擬場景。機械臂下降、移液器接近孔位、釋放液體，再到機械臂抬升，可以形成一段完整的操作視頻，但這些動作對應的任務狀態並不相同。例如，移液器抵達目標孔位上方，只能說明位置條件可能滿足，液體是否進入指定孔位還需要額外證據。如果機械臂已經抬起，但液體轉移並未發生，Agent 就不能僅憑動作序列結束確認任務成功。這類判斷可以藉助部分可觀測決策過程理解。

Agent 只能根據連續觀察估計環境狀態，當操作結果受到遮擋或暫時不可見時，需要保留不確定性，並通過後續證據更新判斷。工程上可以使用事件級狀態管理，將任務劃分為執行中、已完成、失敗和待確認，並結合結果條件與置信度門檻決定狀態轉換。證據不足時，系統可以繼續觀察或安排額外檢查。不過，DeepMind 尚未公開 Gemini 3.8 Flash 是否採用類似的狀態機或事件核驗算法。即使 Agent 能夠識別任務階段，生成式環境仍然存在一個特殊的因果風險：高層任務條件本身可能影響模型生成的行動結果。在真實機器人系統中，機械臂能否抓住物體取決於位置、接觸力和摩擦等物理條件。

傳統物理引擎也會維護明確的狀態變量，按照動力學規則更新位置、速度和接觸關係，再渲染對應的畫面。生成式世界模型學習的是感官信息隨時間變化的規律。即使模型生成了視覺連貫的抓取過程，也不能直接證明相應的接觸和受力關係符合物理約束。當任務描述要求操作成功時，生成結果可能受到目標語義影響，而 Gemini 又依據這些結果判斷是否成功，最終形成自我確認循環。值得注意的是，這當中可能存在一個“指鹿為馬”的陷阱。在這場裁判和運動員都是 AI 的遊戲中，物理常識被視覺連貫性所綁架。如果沒有外掛的‘因果核驗’與獨立的‘動力學引擎’，Agent 根本學不到真正的物理邊界。

這種風險會影響 Agent 從模擬中學習行動策略，因為有效的訓練反饋需要反映不同操作帶來的實際後果。假設機械臂在相同初始狀態下執行兩種移液操作，一種對準目標孔位，另一種存在明顯偏移。如果世界模型把兩種動作生成成相同的成功結果，Agent 就無法學到位置誤差與操作失敗之間的關係。反事實幹預測試可以用於檢查這種因果對應關係。固定場景初始狀態，只改變某項操作，再觀察後續結果是否符合合理的物理約束。測試還需要結合任務規則和對象屬性，避免完全依靠視頻相似度評價結果。

對於跳棋任務，可以引入獨立的規則檢查器，驗證棋子位置、合法移動和勝負條件；對於機械臂或容器操作，則可以結合對象位置、接觸狀態和物體數量等信息，必要時引入外部狀態估計或動力學模型。但外部核驗也存在侷限。如果檢查器完全依賴生成模型提供的錯誤狀態，判斷仍可能受到相同偏差影響。因此，涉及複雜物理交互的任務，還需要考慮如何獲得相對獨立的驗證依據。03兩個模型如何持續協同Genie 4 需要持續生成畫面、運動和聲音，而 Gemini 3.8 Flash 需要讀取環境信息、分析任務進度併產生後續指令。兩者的運行時間尺度不同，如果環境生成必須等待高層推理完成，實時交互就會受到延遲影響。

一種可行的思路是借鑑分層控制中的雙時間尺度機制，讓世界模型維持高頻環境演化，由 Agent 在關鍵事件發生時更新任務目標。但異步協作又帶來了指令時效性的問題。假設虛擬摩托車正在接近路口，Gemini 根據紅燈發出減速指令，但在視覺採樣、推理和條件傳遞期間，Genie 4 仍然持續生成環境。當指令抵達時，車輛位置可能已經發生變化，原先的控制要求未必仍然適用。工程上可以為控制請求附加觀測時間、事件標識和生效條件，在執行前檢查指令是否過期。對於正在進行的連續動作，還需要設置可中斷邊界。

例如，機械臂抓起物體後，可以根據新指令調整移動目標；但如果新任務要求立即抓取另一個物體，就需要先處理當前動作的結束條件。事件隊列、指令優先級和條件更新協議可以用於協調這些操作，不過 DeepMind 尚未公開具體的調度實現。隨著交互時間增長，長期狀態管理也會變得複雜。連續視頻包含大量短期運動細節，而任務規劃需要長期保存的主要是已完成事件、失敗操作和未滿足的目標。如果始終依賴完整視覺歷史，計算成本會不斷增加，關鍵任務信息也容易受到無關畫面干擾。一種可能的解決方式是採用分層記憶。短期視覺上下文保留人物姿態、對象外觀及局部運動信息，長期任務記錄則以緊湊結構保存對象身份、事件類型、發生時間和執行結果。

短期視覺信息可以隨時間逐步壓縮，長期任務記錄則根據需要檢索，以減少持續交互對完整視頻上下文的依賴。不過，兩類記憶也可能發生衝突。例如，事件日誌記錄某扇門已經關閉，但模型再次生成該區域時，卻顯示門處於打開狀態。系統需要結合事件時間、記錄來源及狀態版本，判斷是否存在中間事件、日誌更新延遲或視覺生成漂移，避免錯誤狀態持續影響後續任務。Genie 4 引入原生音頻生成後，長期交互還涉及跨模態時間對齊。碰撞聲需要對應物體接觸的時刻，人物對話也需要與環境事件和動作變化保持合理的先後關係。如果音頻與視覺使用不同的生成節奏，系統就需要傳遞事件時間信息，減少聲音與動作錯位。

DeepMind 已指出，Genie 4 在長時間運行、多輪條件修改和反覆探索場景後，仍可能出現物體持久性變化、視覺細節漂移，以及複雜物理交互和空間一致性方面的問題。後續可以通過指令時效、歷史事件記錄和音視頻同步等測試，進一步分析這些問題在持續交互中的具體表現。04世界模型走向任務級控制DeepMind 提出的 Hybrid World Models，為世界模型與 Agent 的進一步結合提供了一條可能的演進路徑：由語言和代碼模型處理離散邏輯、任務規則及結構化狀態，生成模型則承擔連續的視覺與聲音模擬。

混合架構仍然需要建立離散狀態與連續模擬之間的交互接口，讓任務規則能夠轉化為生成約束，同時將環境變化轉換成規劃系統可以使用的信息。涉及複雜物理過程時，還可能需要結合專門的動力學模型。對於機器人訓練，後續實驗還需要檢驗模擬中形成的行動策略能否遷移到真實環境，並分析生成環境與現實物理條件之間的差異如何影響訓練效果。隨著世界模型開始支持持續的任務干預，其應用範圍正在從可交互場景生成延伸到複雜行動的模擬訓練。對於苦於“缺乏真實物理數據”的機器人賽道而言，這無疑是雪中送炭。如果這套系統能夠徹底解決異步調度和因果幻覺的死結，它將成為具身智能終極的“絕境模擬器”。

Agent 能否在生成環境中學到具有現實適用性的行為規律，將決定這類系統在機器人領域的實際價值。參考鏈接：https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation/上車，帶你看遍全球 AI 頂會精華可獨家暢覽：專家演講PPT大會報告全文熱門論文解讀學術新星訪談掃描上方二維碼或點擊「閱讀原文」關注專區。