世界模型轉向遊戲狀態

建構能對玩家操作做出連貫反應的互動世界，一直是電腦圖學、遊戲與人工智慧領域共同追求的目標。近年來，以影片生成模型為基礎的資料驅動方法逐漸嶄露頭角，這類模型能根據使用者動作預測未來的視覺觀察，因此被視為下一世代遊戲引擎的潛在候選者。然而，要實現真正具備互動性的遊戲世界，系統必須能根據不斷變化的遊戲條件產出符合規則的結果，這些結果必須能在長時間尺度中持續存在，而且整個生成循環必須達到即時運作。傳統遊戲引擎正是透過一個反覆進行的「動作－狀態－觀察」循環來達成這些特性——玩家動作依照預先定義的規則更新明確的遊戲狀態，再從更新後的狀態渲染出視覺畫面。近期一篇由 Alaya Studio 團隊發表於 arXiv 的論文〈From Pixels to States: Rethinking Interactive World Models as Game Engines〉，便以這個循環作為分析主軸，系統性地檢視互動世界模型在四個關鍵維度上的現況：玩家動作控制、遊戲狀態動態、狀態與觀察的持續性，以及即時互動生成。 這篇論文於 7 月 15 日提交，作者包括 Zhen Li、Zian Meng、Shuwei Shi、Mingliang Zhai、Jiaming Tan、Chuanhao Li 與 Kaipeng Zhang。研究團隊指出，雖然近期影片生成模型在生成高品質視覺內容上表現亮眼，但要讓它們真正勝任互動遊戲引擎的角色，還需要克服多項根本挑戰。例如，遊戲中的互動結果必須遵循內在規則，不能僅是視覺上合理的下一個影格；玩家的一舉一動應對遊戲世界的狀態產生可預測且一致的影響，並且這些影響要能在長期遊戲過程中持續存在，不會因生成模型缺乏記憶而中斷；此外，整個生成流程必須在毫秒等級內完成，以維持流暢的互動體驗。 論文的貢獻之一，是從上述四個維度分別拆解互動遊戲世界所需的核心能力，並將現有研究方法歸納為幾個代表性家族，逐一比較各自的優勢與取捨。在玩家動作控制方面，論文探討了模型如何接受不同形式的操作輸入（如鍵盤按鍵、搖桿指令、高層語義指令），以及如何確保動作對後續觀察的因果影響正確無誤。在遊戲狀態動態方面，重點在於模型能否維護一個隱式或顯式的內部狀態，並讓該狀態隨著玩家動作與遊戲邏輯而演變，而非僅依賴畫面的像素變化。狀態與觀察的持續性則涉及模型是否能夠在數百甚至數千個時間步後仍保持場景的一致性，例如物品位置、角色血量、關卡進度等資訊不會遺失或錯亂。最後，即時互動生成要求模型在接收到動作輸入後，能以足夠低的延遲生成下一幀畫面，這對目前多數擴散模型或自回歸生成架構而言仍是嚴峻的考驗。 除了理論分析，研究團隊還附帶了一個具體的資料基礎設施：他們為《黑神話：悟空》（Black Myth: Wukong）打造了一套可擴展的數據引擎，蒐集了超過 90 小時的實際遊戲過程，並確保每一幀畫面都能與玩家動作、真實遊戲狀態以及視覺觀察完全對齊。這些數據還包含結構化與語義化的標註，例如場景中的敵人類型、主角的動作類型、當前生命值與法力值等狀態變數，以及環境的變化資訊。這套資料集專門設計用來支援「狀態感知」的世界模型訓練，讓模型不僅學到像素層級的生成，更能理解底層的遊戲規則與狀態轉移邏輯。 論文的作者之一 Kaipeng Zhang（同時也是論文的提交者）在社群平台上表示，這份研究希望能為學界提供一幅清晰的領域現況圖，並促進互動世界模型的發展。從論文發布後的反應來看，該研究在 Hugging Face 等學術社群上已獲得不少關注，不僅有超過 20 個讚數，也引發了相關討論。此外，自動化的文獻推薦機器人更列出了多篇近期相關工作，包括專注於長時程與可遊玩影片世界生成的 AlayaWorld、以及強調即時多人戰鬥互動的 WanToFight 等，顯示這個研究方向正在快速升溫。 整體而言，這篇論文的核心觀點在於：世界模型若要真正成為遊戲引擎，就不能只停留在「從像素預測像素」的層次，而必須轉向對遊戲狀態的明確建模與操作。這正是標題「從像素到狀態」（From Pixels to States）所揭示的轉向。透過將傳統遊戲引擎的運作邏輯納入生成模型的設計框架，研究者得以系統性地定位當前方法的瓶頸，並為未來的突破提供了具體的評量維度與實證資源。對於開發人員而言，這份分析也指出了在打造可遊玩互動世界時，哪些能力是不可或缺的，以及不同技術路線之間應如何取捨。 隨著生成式 AI 在遊戲產業的應用日趨火熱，從自動化關卡設計到即時動畫生成，再到玩家行為預測，世界模型的角色正從單純的模擬工具轉變為潛在的遊戲運作核心。《黑神話：悟空》這類高規格 3A 作品所產生的真實遊戲數據，更成為訓練這類模型的重要養分。Alaya Studio 公開的數據引擎與分析框架，很可能會成為後續研究的基準資源，幫助學術界與業界共同推進「以生成模型驅動互動世界」這條道路。未來，或許我們能看到一款完全由神經網路生成的遊戲，它沒有硬編碼的規則，卻能憑藉從大量人類遊戲中學到的因果邏輯，提供前所未有的動態體驗。