字節世界模型在抖音現場首次公開

AI從「造圖」捲到「造世界」，這次真有點科幻了。。。夢瑤 2026-10-12 16:08:05 來源：量子位 從畫出一個世界，到讓整個世界「活」過來 夢瑤 發自 凹非寺 量子位 | 公眾號 QbitAI 好傢伙，字節這回直接把AI生成玩成開放世界了？！瞧嘛，只需輸入一句話，AI就憑空roll出一個微縮小人視角下的房間～ 緊接著，鍵盤鼠標一頓猛如虎操作，咱就能騎上紙飛機在賽博世界裡自由飛行，想去哪兒就去哪兒： 這還沒完，在這個AI生成的世界裡，連眼前的東西都能隨手創造！想要個勺子？直接憑空搓一個出來，甚至… 我們還能跟勺子交互，把日常餐具玩成大型攀巖現場—— 當然，這個世界能做的還遠不止這些。

靠著任意門功能，兩個八竿子打不著的場景也能直接連通。上一秒還在屋裡，下一秒推門就闖進外太空了？！如此魔幻的一幕，就出現在剛剛結束的抖音集團《2026 美好奇妙夜》科技節目現場，演示者正是影視颶風的Tim。更值得一提的是，這一連串堪稱賽博造物的操作，背後正是字節一直在默默研發的世界模型。（震驚.jpg) 雖然模型目前尚未正式發佈，但從現場展示來看，其已經展現出三維場景生成、自由探索、實時交互、物體編輯，甚至不同空間之間的自由連通的本事～ 這次字節藉著節目現場演繹，讓自家的世界模型來了場出其不意的「首次亮相」，屬實也是提前秀了一把肌肉了。

說起來蠻感慨的，這幾年，從李飛飛創辦的World Labs，到Google DeepMind的Genie，再到英偉達的Cosmos。一眾科技巨頭也紛紛下場，試圖讓AI進一步理解空間結構、模擬現實規律，甚至預測環境如何隨人的行動而變化。如今，AI正在把科幻電影裡的世界搓進現實。從畫出一個世界，到讓整個世界「活」過來 我猜，早些年最先玩AIGC的那批人，恐怕也沒想到—— 有一天AI生成的視頻，竟能變成一個可以走進去、支持交互、還能靈活編輯的賽博三維世界。我稍微細數了一下，從年初開始到現在，我上手體驗過的世界模型產品也大概齊有六七個了。。。

其震撼程度吧，不亞於前一天還在看《星際穿越》，第二天就發現自己能走進銀幕，順手還能把黑洞搬到自家客廳。所以，AI咋就能從圖視頻生成，絲滑「轉服」到造世界了啊？！這事兒，還得從傳統多模態生成的一塊技術短板說起。（doge） 如今，世界模型已衍生出多條技術路線，從抽象狀態預測、物理因果建模，到生成式三維世界，各有側重。而這裡我們要聊的，主要是與多模態生成、空間智能相關的一條路線： 讓AI學習現實世界的空間結構與變化規律，進而生成、重建和模擬一個能夠持續探索、實時交互的三維世界。需要敲黑板的是，這裡有兩個關鍵詞：空間結構以及變化規律。

而這兩項能力，恰好切中了過去幾年視覺生成技術尚未完全解決的一道基礎性難題。△AI生成 2024年，OpenAI發佈Sora，驚豔的生成視頻直接讓全網跟著山姆·奧特曼震驚眩暈癱坐。但比起當年那些刷屏的視頻，OpenAI同期發佈的技術報告，放到今天反而更值得細品—— 《Video generation models as world simulators》，直譯過來就是「作為世界模擬器的視頻生成模型」。彼時OpenAI發現，隨著視頻生成模型規模擴大，模型開始湧現一定的三維一致性、物體持久性，甚至能夠模擬簡單的環境交互。

但尷尬的是，一個能夠生成逼真世界畫面的模型，仍然可能連最基本的「物理關係」都處理不好。比如Sora能夠生成一個人在跑步機上奔跑的畫面，人物、光影、鏡頭都像那麼回事兒。但仔細一看，人物動作與跑步機的運動關係，卻未必符合現實中的物理邏輯，畫面很真實，物理規律卻有點隨緣？？△圖源：OpenAI官網 這背後，其實暴露了傳統視覺生成技術一個相當根本的問題。過去幾年，無論擴散模型還是基於Transformer的生成架構，主流圖像、視頻模型主要依靠學習海量視覺數據中的統計規律，來生成符合輸入條件的畫面。這套方法相當成功了，甚至已經能夠隱式學習部分三維幾何、物體關係和物理規律。

但視覺上的時空連續性，並不必然對應一套穩定、可供外部動作干預的世界狀態—— 舉個例子，讓一個杯子在視頻中始終保持外觀一致，對如今的生成模型來說，已經相對容易。但當它被拿起、放下甚至推落桌邊時，模型還需要持續追蹤空間位置、物體關係與狀態變化，並預測碰撞、墜落等物理結果。換句話說，從生成一段符合物理直覺的視頻，到可靠預測動作引發的環境變化，中間還隔著一個世界狀態建模問題。而這，恰恰是世界模型擅長的地方。今年6月，李飛飛團隊發佈了一篇名為《A Functional Taxonomy of World Models》的文章。

文章從功能角度將世界模型劃分為三種類型，也讓世界模型究竟有哪些「真本事」，有了更清晰的解釋—— 渲染器：負責世界看起來是什麼樣子，輸出面向人類的視覺畫面，核心目標是畫面真實度、視覺表現力。模擬器：負責世界實際上是什麼樣子，維護符合幾何、物理因果的場景狀態。規劃器：負責智能體下一步該如何行動，基於當前世界狀態與既定目標，輸出合理動作。這套劃分值得玩味的地方在於，它恰好解釋了為啥AI已能生成以假亂真的視頻，我們卻還要費這麼大勁去研究世界模型。

從生成逼真的視覺畫面，到維持符合物理規律的環境狀態，再到支持智能體自主決策與行動—— 其背後涉及的空間表徵、動態預測與行動規劃能力，恰恰是傳統多模態生成模型尚未充分解決的技術難題。而如今，論文裡這些看起來頗為遙不可及的世界模型構想，已經開始被AI一點點「搓」出來了。△圖源：《A Functional Taxonomy of World Models》文章 就拿抖音集團《2026 美好奇妙夜》科技節目上，基於字節AI模型實現的那番賽博造物操作為例。單憑一句話生成畫面，放到今天早已算不上什麼稀奇事兒。

可當人真的走進這片AI生成的場景能夠自由穿行時，此時模型需要處理的已經從生成眼前這一幅畫面，延伸到了維持整個場景的空間結構。無論人往哪個方向移動、從哪個角度觀察，場景中的地形、物體及其相對位置，都需要保持足夠的幾何一致性。這背後體現的，正是世界模型的空間表徵能力，也是讓一個AI生成的場景真正經得起反覆探索的基礎。想要一把勺子，AI就能憑空生成，甚至還能順著勺子爬行，實現實時動作交互。看似簡單的幾步操作，背後卻涉及世界模型的即時生成、環境狀態建模與動態預測能力—— 模型需要根據用戶的操作，實時更新場景中的物體及空間關係，並持續預測動作引發的環境變化，保持前後狀態的一致性。

甚至，連空間本身都能隨手改造，畫出一扇「任意門」，就能直接把現實房間和外太空連接起來。到了這一步，世界模型的能力又向前延伸了一層——三維場景重建、空間可控編輯與跨場景連續性建模。模型能夠在保留原有場景空間結構的同時，動態重組不同場景的幾何關係，支持跨場景的連續探索與實時交互： 從維持空間結構，到響應實時交互，再到支持場景編輯與跨空間重組，字節AI模型能力共同指向的也是世界模型的核心特徵—— AI生成的不再只是內容，其生成的是一個能夠持續存在、持續變化、持續交互的數字世界。過去幾年，大語言模型不斷拓展AI處理語言與知識的能力，多模態模型則把生成能力延伸到圖像、聲音和視頻。

而如今，隨著世界模型的發展，AI開始進一步探索空間結構、環境狀態及其演化規律。生成式AI的技術發展，也正從畫面有多逼真，走向生成的環境能否持續存在、響應交互，甚至模擬真實世界的運行。世界模型，讓AI在虛擬世界練就「真本事」 當然，如果世界模型只能讓人類在賽博世界裡四處探索，那多少有點大材小用了。放到更大的產業座標裡看，它還有一層更具想象力的價值—— 讓機器在虛擬世界裡大規模訓練、反覆試錯，再將習得的能力遷移到現實。畢竟，機器人、自動駕駛等物理AI的發展，長期受制於真實數據採集成本高、試錯週期長，以及危險、極端場景難以復現等現實限制。

而世界模型提供了一條新路徑：將現實環境轉化為可生成、可控制、可反覆驗證的虛擬訓練場。從生成稀缺訓練數據，到模擬複雜環境、驗證行動策略，部分原本依賴真實環境的訓練環節，有望轉移到虛擬世界完成。這也讓世界模型開始從內容生成，進一步延伸到物理AI的訓練與驗證環節，成為機器人、自動駕駛等領域的重要技術探索方向。△AI生成 先來聊聊「訓練數據」這事兒。對於自動駕駛這類物理AI系統來說，越是關鍵的極端場景，訓練數據往往越稀缺。比如突發事故、極端天氣等低頻高風險場景，可能跑上大量里程也碰不到幾次，而世界模型恰好能按需生成、反覆模擬這些場景。

在抖音集團《2026 美好奇妙夜》科技節目現場，他們就展示了這樣一個自動駕駛Demo—— 救護車突然駛來、行人橫穿馬路、交警現場指揮。各種複雜路況被搬進AI生成的虛擬道路，車輛可以在其中模擬行駛、應對突發狀況，還能通過多機位回放分析駕駛表現。過去依賴大量真實路測才能積累的長尾場景，如今有望通過世界模型批量生成，並用於自動駕駛系統的反覆訓練與驗證。除了訓練數據，世界模型的產業價值還體現在另一個關鍵方面——提升物理AI的訓練與驗證效率。大家都知道，真實機器人每次訓練都得執行動作、等待反饋，失敗後還可能需要人工復位、承擔硬件損壞的風險。

但這事兒到了三維世界，原本耗費大量時間的試錯過程，就有機會變成可重複、可並行的模擬實驗。這次抖音集團《2026 美好奇妙夜》科技節目現場的家務機器人演示，就反映出了類似的思路。在AI生成的虛擬家庭環境中，機器人可以練習抓取、搬運、擺放物品等家務操作，還能面對不斷變化的物體位置、空間佈局，調整動作策略，嘗試完成任務。即便操作失敗，也能在虛擬環境中快速復現問題、調整策略，反覆訓練和驗證。相比現實中一次次操作、人工復位，世界模型讓機器人有機會在不同場景下並行試錯，以更低的成本、更快的速度練就應對現實環境的本事～ 放眼整個行業，科技巨頭們其實已經沿著不同方向，開始探索世界模型的產業落地了。

今年3月，英偉達將Cosmos世界模型與Isaac仿真平臺結合，讓機器人在虛擬環境中生成數據、反覆訓練。而這套工業仿真方案，有望大幅降低機器人從訓練到實際部署的成本。△圖源：英偉達官網 更值得一提的是，這股熱潮甚至把上游芯片巨頭也捲進來了。就在剛剛過去的9月，AMD宣佈豪擲82億美元收購李飛飛的World Labs，意在提前佈局世界模型算力需求，為下一代芯片研發鋪路。從機器人虛擬練功，到工業仿真，再到芯片巨頭親自下場。世界模型的產業競爭，正在沿著產業鏈一路延伸，從模型能力、實際應用，逐漸深入到底層算力架構。

世界模型全球競速，中國玩家的技術積累開始兌現 世界模型火是真火，但熱潮背後，一個蠻有意思的產業現象也逐漸浮現。海內外廠商都在探索如何構建空間穩定、能夠實時交互的三維世界，但各家的技術積累、研發重心與應用路徑，卻有著不小差異—— 技術目標逐漸匯合，實現路徑卻各有各的門道。以海外為例，Google DeepMind的Genie、李飛飛的World Labs，都在探索通用世界模擬能力，重點涉及空間結構、環境動態建模與交互式場景生成。英偉達Cosmos則更貼近物理AI的實際需求，將世界模型與機器人仿真、合成數據生成結合，嘗試打通虛擬訓練與現實應用。

幾條路線各有側重，但最終都指向一個目標：讓AI生成的虛擬環境，逐漸具備模擬現實世界的能力。咱再把目光轉向國內。一個值得關注的優勢是，相較於海外偏重通用世界模擬的探索路徑，國內廠商過去幾年在圖像、視頻生成領域積累的技術能力，為世界模型提供了另一條頗具競爭力的演進路徑。今年7月Seedance 2.5將單次視頻生成時長擴展到30秒，還強化了多模態參考控制、鏡頭運動和連續敘事能力。同期發佈的圖片生成模型Seedream 5.0 Pro，則進一步強化了空間位置理解、結構一致性和交互式精準編輯。用戶在畫面上圈出一個位置，甚至隨手畫幾筆，就能讓模型針對指定區域進行修改，真·畫哪兒改哪兒。

從空間結構的一致性，到長時序的動態連續性，再到對外部操作的精準響應，恰好都是構建可交互三維世界繞不開的技術問題。過去幾年國內廠商在視覺生成和可控編輯上積累的技術，如今也開始顯現出向通用世界模型延伸的潛力。1895年，盧米埃爾兄弟將一列駛入車站的火車搬上銀幕。彼時的人們大概很難想到，這項新發明將在此後的一百多年裡，徹底改變人類記錄和呈現世界的方式。一個多世紀後，隨著計算機圖形學、虛擬現實技術相繼出現，人類開始嘗試從觀看屏幕裡的世界，走向沉浸式體驗與探索數字世界。

如今，世界模型的出現，又讓這段延續百餘年的技術演進，有了新的轉折—— 機器開始學習現實世界的空間結構與運行規律，嘗試生成能夠持續探索、實時交互，甚至用於模擬現實的虛擬環境。一百多年前，人類學會了用影像記錄世界。一百多年後，我們開始嘗試讓影像成為一個可以親身進入、甚至改變現實的世界。一百多年過去，這次，我們終於開始嘗試走進自己創造的影像。版權所有，未經授權不得以任何形式轉載及使用，違者必究。