崑崙萬維誕生世界上第一款消費級顯卡視頻大模型遊戲，同步開源

從"看 AI 生成視頻"，到"親手玩 AI 生成的世界"——中間隔著的，其實是一道關於"實時"的坎。2026年10月15日，崑崙萬維正式發佈世界上第一款運行在單張消費級顯卡上的視頻大模型遊戲——Matrix-Game 4.0。Matrix-Game 4.0 構建起了遊戲世界模型的新範式：由遊戲引擎維護世界狀態與交互規則，由視頻生成模型實時呈現精細畫面。它把 480p、60 FPS 的實時遊戲體驗，裝進了一張 NVIDIA RTX 5090；從你按下按鍵，到畫面做出反應，延遲低於 150 毫秒。Matrix-Game 4.

0 首次跑通了"代碼生成遊戲邏輯 → 結構畫面提供結構約束 → 視頻模型實時渲染"的完整閉環，讓遊戲原型開發、個性化定製與 UGC 從此擁有了真正可落地的技術路徑。項目已同步開源。開源地址Huggingface：https://huggingface.co/Skywork/Matrix-Game-4.0 一、從一段代碼到一個可玩的世界——Matrix-Game 4.0 的四塊基石1.單卡實時：讓"可玩的視頻模型"走出實驗室在消費級顯卡上實時生成遊戲畫面，曾是難以兼得的目標——視頻生成模型對算力的胃口，長期把它鎖在實驗室的多卡集群裡。Matrix-Game 4.

0 給出的答案是一組硬指標：單張 NVIDIA RTX 5090，480p 分辨率下游戲以 60 FPS 運行；從玩家按鍵到首幀響應，端到端延遲低於 150 毫秒；單步去噪的穩態生成速度達 83 FPS，顯存峰值 18.5 GiB。這組數字意味著，視頻模型驅動的遊戲第一次具備了本地部署與實時交互的實際價值——它不再是一段離線渲染的演示視頻，而是你能坐在電腦前真正上手操作的遊戲。2.Harness 新範式：讓世界狀態被真正"管理"起來Matrix-Game 4.

0 重新定義了視頻模型與世界之間的關係：Coding Agent（編程智能體）通過代碼構建輕量遊戲，引擎作為"裁判"持續維護世界狀態、執行交互規則，並輸出結構畫面與動態語義條件；視頻模型作為"畫師"負責將簡單幾何轉化為豐富畫面。引擎的外部約束與持續校正，讓世界狀態可以持續維護、遊戲規則可以精確定義、玩法可以用自然語言改寫——這是 Genie 範式從未真正解決過的"世界是否在被認真管理"的問題。3.貫通數據、訓練與運行時：一條可複用的工程鏈路從結構畫面-精細畫面數據對採集、動態語義標註，到可控視頻訓練、少步自迴歸蒸餾與實時推理，統一的幾何和語義條件貫穿完整技術鏈路。

這套流程為拓展新場景、新交互和新玩法提供了工程基礎：降低對精細 3D 資產製作的依賴，讓遊戲原型得以快速開發與迭代，讓"小團隊也能搭世界"從口號走向現實。4.發佈同步開源：讓創作者真正"玩"起來Matrix-Game 4.0 在發佈時同步開源，向研究者、開發者和創作者提供可複用的技術基礎與可改編的遊戲代碼。結合 Coding Agent，創作者可以通過自然語言調整場景、定製交互、設計玩法——把研究與創作的門檻壓到一行 Prompt 的高度，讓更多創意成為可以親自體驗、持續迭代的遊戲。

二、三個根本卡點：為什麼"能走"的世界，卻"不好玩"回看上一代交互式世界模型，問題從來不在畫面質量——它們已經能生成足夠好看的場景。真正的卡點藏在更底層的地方。把上一代路線拆開看，有三個問題始終沒有被解決。1.世界狀態缺少獨立、可驗證的維護機制在沒有外部引擎維護顯式狀態的情況下，場景與物體的持續存在，主要依賴模型的內部表示和歷史記憶。模型可以"記住"曾經看到的畫面，但這不等於開發者能夠精確地讀取、修改和驗證每一個物體的狀態，也難以保證視野之外的角色和事件，始終按照指定規則持續演化。2.長時間交互的一致性仍難穩定保證自迴歸生成依賴此前的生成結果，局部偏差可能隨著連續交互傳播、累積。

當玩家長時間探索、反覆返回同一地點，或讓物體多次進出視野時，場景結構、物體身份和交互結果都可能發生漂移。擴大上下文、引入記憶機制能夠改善這些問題，但並不帶來遊戲級的長期一致性保障。3.合理的交互畫面，不等於可靠的遊戲規則模型可以生成開門、碰撞或攻擊等視覺效果，但一個完整的遊戲還需要精確的數值結算——生命值增減、道具歸屬、任務進度、勝負判定。這些機制不僅要"看起來合理"，還必須能夠被開發者明確定義、修改和測試，並在不同操作與長時間運行中保持一致。三個問題，其實指向同一件事：現有路線把"世界"寄存在模型的記憶裡，而遊戲需要的，是一個可以被讀取、被修改、被驗證的世界。

這正是 Matrix-Game 4.0 選擇"代碼構建遊戲、AI 實時生成畫面"這一範式的起點——與其讓模型努力記住整個世界，不如給世界一個顯式的、可維護的載體。三、新範式：讓引擎管世界，讓 AI 畫世界Matrix-Game 4.0 的解法，是給視頻模型套上一個負責維護世界狀態的"Harness"——由外部遊戲管理器提供空間佈局參考、管理世界狀態、更新語義動態，視頻模型則統一接收這些上下文與控制條件，自迴歸地生成短時且逼真的未來畫面。整個系統由三個模塊構成，分工清晰： 引擎負責記錄世界裡"到底發生了什麼"，並決定玩家的操作會產生什麼結果。

它不必承擔完整的精細畫面製作，而是通過簡化的幾何模型和場景結構，描述道路、建築、角色與可交互物體；生命值、背包、重力、碰撞和任務進度等狀態與規則，都由代碼明確維護和執行，而不是從生成畫面中推測。隨著玩家操作，引擎持續更新世界並輸出結構畫面，為視頻模型提供場景佈局、物體運動和相機視角的約束。即使物體離開視野，它的狀態也仍由引擎按照遊戲規則維護。編程智能體負責把玩家的創意轉化為可運行的遊戲。玩家可以用自然語言提出需求，從調整地形、佈置物件，到修改 NPC 行為、設計新的玩法，都由此落實為場景配置與遊戲代碼。

例如"讓怪物從四面八方湧來"，不僅意味著畫面中出現更多怪物，還需要實現生成位置、移動方式、攻擊行為和勝負條件。編程智能體也可以協助定義場景的語義與視覺風格：同一個簡化建築，既可以設定為海邊的舊屋，也可以成為未來都市中的商店——這些描述作為文本條件，與結構畫面一起指導視覺生成。視頻模型負責將結構畫面轉化為精細的視覺體驗：在保留場景結構與運動約束的前提下，生成材質、光照、環境氛圍及豐富的外觀細節，降低對逐項製作精細 3D 資產的依賴。它結合當前控制條件與歷史畫面，以因果自迴歸方式持續生成，並通過面向實時重渲染的少步蒸餾與推理優化，縮短玩家操作到畫面響應之間的等待。

實時運行流程：玩家操作 → 引擎更新世界狀態 → 輸出結構畫面與控制條件 → 視頻模型實時渲染 → 呈現給玩家這一路線的關鍵，是將遊戲如何運行與遊戲如何呈現分開處理：代碼承載規則，引擎維護狀態，視頻模型生成視覺表現。結合編程智能體的創作能力，Matrix-Game 4.0 讓更多人能以更低的製作門檻，把創意轉化為可玩、可修改、可持續迭代的遊戲。四、從數據到推理加速：一條被貫通的完整鏈路一個能實時運行的"遊戲世界"，背後是數據、訓練與運行時三層能力的打通。

數據：為世界模型構建的結構畫面-精細畫面對齊數據集團隊基於虛幻引擎 5（UE5）構建了面向世界模型與視頻生成的結構畫面-精細畫面跨域對齊數據集，覆蓋 CitySample 超大城市、開放沙漠、複雜城堡、高動態空戰四大典型場景。自研的輕量化幾何抽象採集管線，在保持相機軌跡與時間戳嚴格時空同步的前提下，將複雜場景抽象為保留空間拓撲、剛體位姿與動力學軌跡的低模結構表徵，並與高模影視級畫面逐幀像素級對齊；同時並行捕獲物體實例 ID、可見性狀態及因果交互事件，構建富語義的動態元數據流。

動態 Caption：讓描述跟著遊戲走在可交互遊戲中，畫面會隨玩家操作不斷變化：轉動視角後可見物體不同，移動或觸發事件後物體狀態也會改變。固定的文字描述難以及時反映這些變化。Matrix-Game 4.0 引入動態 Caption：系統將場景中物體的 ID 與語義描述關聯，並從遊戲引擎獲取當前可見對象及實時狀態，運行時填入提示詞模板。結構畫面提供位置、佈局和運動等結構信息，Caption 補充"畫面中有哪些對象、處於什麼狀態"等語義信息，兩者共同約束生成。可控生成與空間記憶視頻模型基於 Wan2.

2 5B 改造為視頻到視頻（V2V）模式：引擎渲染的結構畫面與待生成視頻按通道拼接（148 通道輸入），告訴模型"畫什麼、畫在哪"；同時輸入動態合成的場景事件 prompt、空間記憶參考圖和第一幀，分別負責細節描述、場景一致與畫面銜接。

渲染模型網絡結：148 通道拼接輸入，30 層因果 DiT，自注意力讀 K/V 緩存，交叉注意力讀文本 K/V推理加速：把每一毫秒都摳出來為了讓 60 FPS 在消費級顯卡上真正落地，團隊做了大量工程優化：用 CUDA Graph 將 DiT 主幹計算預錄製、運行時一次性重放；為 RoPE、歸一化與 FP8 量化編寫融合的專用 GPU kernel，同一層的 Q、K、V 共用一次輸入量化；文本條件的 KV 只在 Caption 更新時重算；視頻歷史 KV 改用環形緩存；自注意力按 KV 窗口切分後並行計算；編解碼換用輕量的 TAEHV。

最終，文本編碼器、DiT 與 VAE 可以全部常駐一張 RTX 5090。五、Coding Agent：用一個念頭，改寫一款遊戲Matrix-Game 4.0 最讓人興奮的地方，或許不是它畫得多好，而是它有多容易被"改"。藉助編程智能體（Coding Agent），玩家可以在現有遊戲代碼的基礎上，用自然語言定製自己的遊戲：從調整地形、佈置場景物件，到修改 NPC 的行為與交互邏輯，甚至設計全新的玩法。創意不再卡在 3D 資產的生產線上，而是可以直接進入"可玩、可迭代"的階段。這也正是這條技術路徑的現實意義：隨著 AI 編程助手快速進步，搭建輕量遊戲引擎的成本已經大幅降低。

我們也鼓勵創作者基於項目提供的遊戲代碼繼續改編與拓展，共同探索更多玩法。過去一年，視頻生成模型跑遊戲跑出不少新成績——但能不能在普通玩家的電腦上跑起來，是另一回事。從這張對比圖中，在端到端延遲上，Code World Model 約 10.2 秒、StreamRender-H3 約 545 毫秒、AgentGarten 約 878 毫秒，而 Matrix-Game 4.0 只有 112 毫秒——從按下一個鍵到畫面做出響應，約是前者的 1/90、後兩者的 1/5 與 1/8，第一次真正落進"實時可玩"的區間。

在算力要求上，其他方案分別需要 1× H200 141GB、8× GB200 與 1× H100 數據中心卡，而 Matrix-Game 4.0 只跑在 1× RTX 5090 上——一張消費級顯卡、32GB 顯存即可。在開源情況上，Code World Model 與 StreamRender-H3 為已開放、AgentGarten 為部分開放，Matrix-Game 4.0 則是代碼、權重、白模同步開放。六、開源，讓更多人一起"玩"起來Matrix-Game 4.0 在發佈時同步開源，為研究者、開發者和創作者提供可複用的技術基礎與可改編的遊戲代碼。

我們也鼓勵創作者基於項目提供的遊戲代碼繼續改編與拓展，共同探索更多玩法。未來，團隊將持續迭代模型：部署 refiner 提高畫面分辨率，探索跨玩家視角保持一致的多人聯機體驗，提供更細粒度的畫面控制，並拓展對更多遊戲類型與場景的支持。從"可控制的視頻"到"可運行的世界"，這一步也許比看上去更重要。它意味著創意的門檻在降低，而想象力的邊界在打開。