對話 IDEA 張磊：「不以動作為輸入條件，就不叫世界模型」

曾力壓谷歌、Meta，把「物體理解」做到全球第一。 作者丨幸麗娟 編輯丨林覺民 2026年上半年，中國AI圈的錢和人都湧向同一方向：世界模型。僅前六個月，國內世界模型賽道披露融資總額約300億元，如果把“具身智能+世界模型”融合賽道算進來，這個數字膨脹到900多億。相比去年同期，融資增速超 5 倍。百億資金，海量人才，如潮水般湧入。一個繞不過去的問題是：這麼多人衝進來，究竟有多少人真的想清楚了這個東西到底是什麼？從業者在找方向，投資人在找人，獵頭在摸組織，大廠戰略部門在研究誰能活下來。一件奇怪的事是，所有人都在問同樣的問題：有沒有誰能把世界模型這件事講清楚？有。我們今天深訪IDEA研究院講席科學家、視啟未來創始人張磊，一起來聊清這件事。他是IEEE Fellow，Google Scholar引用超77000次。他的DINO系列在COCO霸榜5個月，Grounding DINO 和後續的 DINO-X 力壓谷歌和Meta，被李飛飛團隊、英偉達、銀河通用等多個全球頂尖機構“標配”引用。2025年他帶著團隊從IDEA孵化創立視啟未來，天使輪一個月就到賬近億元。身後還站著兩位 AI 巨擘：學術導師張鈸院士（中國人工智能奠基人之一），產業導師沈向洋院士（前微軟全球執行副總裁、前微軟亞洲研究院院長）。（這是一次深度訪談，為了不影響探討行業問題的深度，精彩曲折的人物故事這裡就不展開了，想看科技八卦的請關注左林右狸下一篇文章《我所知道的張磊》）。但這都不是我們找他的主要原因。我們找他的原因很簡單：在所有人都在爭論“什麼是世界模型”的2026年，張磊是極少數給出了清晰、可操作、不與任何主流妥協的答案的人。從微軟研究院首席研究員，到IDEA研究院講席科學家，再到創業者——他的職業道路幾經換軌，研究命題從來沒有變過：“讓AI理解物體”。世界模型，是這個做了二十多年的命題，在物理世界裡的關鍵答案。如果你正在看世界模型賽道，想理解它到底是不是泡沫，想知道路線之爭誰會贏，想判斷哪類團隊最值得跟——這個人的談話，你值得讀完。因為，It's totally worth your time。以下是對話實錄，AI科技評論進行了不改變原意的刪改。張磊博士，IEEE Fellow，視啟未來創始人兼CEO，現任IDEA研究院計算機視覺與機器人研究中心（CVR）講席科學家，香港科技大學（廣州）兼職教授，前微軟亞洲研究院、微軟總部研究院首席研究員，在計算機視覺等領域發表論文200多篇，Google Scholar引用超過77000次，H-Index為107，擁有60多項美國授權專利。因對大規模圖像識別和多媒體信息檢索方面做出的傑出貢獻，獲選為IEEE Fellow。01具身智能最大的瓶頸不是本體，是大腦▎AI科技評論：去年以來具身智能爆發，各家機器人公司在運動控制上越來越驚豔，宇樹的機器人在馬拉松賽道上跑，智元的機器人能翻跟頭。但我們觀察到，落地應用上似乎還差一口氣。您覺得具身智能真正走向現實，還有哪些必須攻克的挑戰？張磊：機器人要解決的核心就兩件事：成功率和泛化能力。成功率，指做一件事是否足夠可靠地完成；泛化性，是同一任務換了環境、換了本體，依然能可靠完成。具體的挑戰有四個：第一，單一場景泛化性不足。現在很多團隊能在單一場景把成功率做到70%甚至80%，聽上去是很大的突破。但80%在真實應用中意味著什麼？意味著每五次操作就有一次失敗，仍然需要大量人力兜底，完全無法獨立部署。第二，橫向延展場景的通用性不夠。應該先把單點的能力推到天花板，再橫向延展場景應用的廣度，讓它在更復雜的環境下做更多、更復雜的任務。這是阻礙機器人從“實驗室演示”走向“真實應用”的最大鴻溝。第三，“大腦”的深層次能力缺失。當前深度學習更多在學習智能的“行為”，而非“機理”（智能背後的工作原理）。具身大腦需要擁有對物理世界真正的因果推斷（不只是統計關聯，而是理解“因為A所以B”的邏輯鏈條）、常識理解和自適應能力，而這個方面，我們才剛剛起步。第四，遠未達到“終端”級應用。目前大多數機器人仍依賴巨大的外部算力支持，需要解決“不需要人兜底”這個根本問題，才能在海量場景中推廣，形成“應用-數據-迭代”的良性循環。▎AI科技評論：坦白講，業內對這個問題的看法挺分裂的。搞硬件的團隊認為中國供應鏈優勢明顯，應該先把本體成本打下來；搞算法的團隊覺得大腦才是真正卡脖子的地方。您怎麼看？張磊：大腦更難，也更重要。本體方面，中國硬件迭代令人自豪。宇樹、智元這些企業通過仿真強化學習（在虛擬環境中訓練控制算法再遷移到真實機器人上）迭代運控，對電機、傳動機構等關鍵部件不斷打磨，成本和可靠性大幅優化，走出了一條非常紮實的路。但本體在馬拉松、表演中展現的能力，也只能說基本具備了動物的基礎能力，動物本能的反應、跳躍、躲避和與環境交互的能力，本體還沒達到。▎AI科技評論：您說“大腦”更難，難在哪？是數據不夠，還是我們對智能本身的理解還太淺了？張磊：難在背後的機制我們並未真正理解。人的大腦跟其他動物相比，區分度最大、智能程度最高。現在所有深度學習的突破，都是從表象上來看大腦的智能達到了什麼程度，然後用算法去實現。AI實際上是在學習人的行為，而不是在學習人的智能本身。 就像張鈸老師常說的，大語言模型能像人一樣說話，但它理解語言的方式跟人完全不同。02為什麼世界模型“冷落”了二十年，今天突然火了？▎AI科技評論：伴隨具身爆發，“世界模型”這個概念突然火了。但圈內人都知道這不是新詞，90年代就有學者提過。我們挺好奇的，這個概念為什麼沉寂了二十年，又在今天突然成了風口？張磊：這個問題挺好。世界模型確實不是新概念。90年代初就有學者嘗試對智能體（能夠感知環境並採取行動達到目標的AI系統）交互所需的環境建模，幫助強化學習改進算法，但那時深度學習還沒興起，概念提出後很難驗證。這一概念真正得到驗證是2018-2019年前後，出現了真正叫“World Models”的論文，並在遊戲場景裡得到應用，因為遊戲是驗證強化學習最好的環境。強化學習發展若干年後，AI已經能在遊戲裡打敗人類選手。這時研究者開始思考：能否讓AI智能體在與遊戲環境不斷交互的過程中，自主“學出”一個世界模型，把環境演化的過程裝進模型裡？這個想法在2018到2020年前後得到了完整驗證。▎AI科技評論：那這跟今天的具身智能有什麼關係？我們聽下來，好像具身才是真正把世界模型帶火的那根導火索？張磊：這個關聯要從語言模型說起。行業先做了VLA（Vision-Language-Action，即視覺-語言-動作模型，機器人看著畫面預測下一步動作），沿用語言模型的模仿學習範式：語言模型做Next Token Prediction；具身的VLA則是機器人看著當前畫面預測下一個動作應該怎麼做。但這種方法很快走到瓶頸。瓶頸不僅僅在數據，我認為數據只是一方面，另一方面是強化學習應用還不夠。我有一個比喻：模仿學習讓語言模型學會開口說話，強化學習讓語言模型能說對。機器人的智能程度、動作的成功率，同樣需要強化學習。但強化學習用在具身上，面臨兩個致命障礙：一是數據收集效率極低，遠低於語言模型，機器人必須在真實環境中實際執行每個動作並等待物理反饋；二是失敗成本不可承受，洗碗學不會就打碎碗，自動駕駛學習避免事故可能要經歷大量真實事故才能學會。這跟語言模型在數字世界裡低成本試錯完全不同。世界模型提供的虛擬環境，正是解決這些問題的出口。 如果一個模型能預測“如果我做了這個動作，環境會變成什麼樣”，那機器人就可以先在虛擬世界裡“腦補”無數次試錯，而不需要真的打碎一萬個碗。（筆者注：簡單理解這段話的邏輯鏈。第一，機器人學會做一件事需要大量試錯。第二，在真實世界裡試錯太貴太危險。第三，世界模型就是給機器人造一個“虛擬訓練場”，讓它在腦子裡把各種動作的後果都推演一遍。第四，只需要把最優方案拿到真實世界執行。這就是為什麼世界模型在這個時間點突然成了全行業追逐的焦點。）03“不以動作為輸入條件，就不叫世界模型”▎AI科技評論：現在行業對“世界模型”的定義相當混亂。視頻生成的叫世界模型，3D空間建模的叫世界模型，LeCun的JEPA（聯合嵌入預測架構）也叫世界模型。那您認為，一個模型要配得上這四個字，至少需要具備什麼條件？張磊：我認為世界模型一定要有動作依賴，即Action Conditioned（以動作為輸入條件，模型必須能回答“如果執行某個動作，環境會變成什麼樣”）。智能體能夠與環境交互的原因是動作：智能體的動作導致環境變化，環境變化後產生新的狀態並反饋給智能體，告訴它當前的動作是否朝目標靠近了一步。這是一個完整閉環，環境狀態的每一次轉移，都依賴於上一步所執行的具體動作。大家常說世界模型就是把語言模型的 Next Token Prediction變成Next State Prediction，但我認為這個定義不夠嚴謹，缺少了一個關鍵條件。正確的表述應該是：Action Conditioned的Next State Prediction。 只有加入了動作這個前提條件，狀態預測才有意義，才是真正符合強化學習需求的世界模型。▎AI科技評論：講真的，很多人，包括一些投資人在BP裡，習慣把Sora這類視頻生成模型也叫作世界模型。但按您剛才給出的標準，它們明顯缺了動作這個維度。我們想聽聽您怎麼拆解這個問題？張磊：我們這裡討論的世界模型，源自強化學習領域的 model-based 的方法，是為了幫助智能體更加有效地和環境進行交互。雖然世界模型有很多應用場景，但是具身智能是目前最為清晰、也最有價值的應用場景。在這個意義下，純視頻生成模型比如早期的Sora，不能被稱為世界模型。核心原因在於它沒有建模“動作”，它本質上是在生成一個自洽的視頻序列，預測像素如何變化，但完全不去建模機器人和環境交互的動作。那它能不能間接幫助機器人？能學到一些世界的變化規律，但很難幫助機器人更好地和環境交互。▎AI科技評論：那最近很火的World Action Model（世界動作模型）呢？我們聽說它也在談動作，是另一種世界模型嗎？張磊：WAM也不是強化學習意義下的世界模型。它是利用預測未來畫面提供的像素級監督來幫助改進動作預測，在有些任務上已經展現了比VLA更好的性能。但是，它的建模是先果後因的，先生成未來畫面再反推動作，不能用於強化學習，所以不符合我們這裡討論的世界模型的定義。04像素派 vs 隱空間派：兩邊其實都在做同一件事▎AI科技評論：聊到路線之爭，這是現在世界模型領域最熱的話題了。LeCun是隱空間派的旗幟人物，Sora代表了像素派。兩條路線看起來水火不容，您怎麼看？張磊：首先，我們應該看到，兩條路線有共性。實際上現在大家普遍感覺它們對立性很強，可能也是因為LeCun比較旗幟鮮明地堅定他的主張，有時候一個學者為了讓外面記住自己的主張，一定要講得比較清楚一些。但像素路線實際上也要藉助隱空間來操作。Stable Diffusion、Sora都是先將圖像或視頻壓縮到低維表徵空間再處理。所以，表徵空間才是更本質的問題。 兩條路線的真正分歧，根本不在於要不要用隱空間，而在於進入隱空間之後要保留什麼、丟掉什麼。差異在於：隱空間路線希望排除光影、紋理這些並非由物理規律驅動的像素細節，有助於模型學到狀態變化背後更本質的規律，但它面臨表徵坍塌的風險，如果一萬個不同畫面映射成完全一樣的表示，表徵就坍塌了，意味著模型喪失了辨別不同狀態的能力。像素路線追求纖毫畢現，本質是在討好人的眼睛，因為人對視覺細節非常敏感。▎AI科技評論：聊到這裡我們有個直覺。人腦做推演不也是在隱空間嗎？你閉眼想象一個動作的後果，誰會在腦子裡逐像素渲染一遍？張磊：沒錯。如果人腦存在一個世界模型，人想象動作如何改變環境，其實是在隱空間裡操作，而不會把整個畫面逐像素地在腦子裡過一遍。所以，以人眼對畫質的判斷作為世界模型的評價標準是不充分的。 像素路線若要做世界模型，真正應該追求的不是像素有多逼真，而是生成的視頻序列要符合物理合理性。（筆者注：這段對話講的是AI世界模型的兩條路線之爭。以Sora為代表的像素派只管畫面逼真，常會出現杯子懸浮、物體穿模、蠟燭吹不滅這類違揹物理常識的bug；而LeCun與張磊主張的隱空間派，是先把畫面抽象成規律再推演，更懂物理因果。張磊的關鍵創新，是在隱空間裡加入“物體結構”，讓AI先分清杯子、桌子、人這些獨立物體，再學習它們之間的互動規律，既避免Sora式的視覺穿幫，又比純抽象隱空間更適合機器人在真實世界裡避障、抓取與規劃動作。）▎AI科技評論：您跟LeCun走的是同一條隱空間路線。但我們聽說，您的做法跟他有一個關鍵區別，您強調要“引入物體結構”。核心差異在哪？張磊：我們的路線跟LeCun共享同一條第一性原理：人腦做反事實推理（“如果我這麼做會怎樣”的推演）是Action-Conditioned的，在抽象表徵裡推演，不在像素裡重演。LeCun過去幾年用I-JEPA、V-JEPA、LeJEPA驗證了這條公理：預測應該發生在表徵空間。但具身方向物理空間的複雜度極高，真正要把這個方法用到大規模真實環境，我們認為還需要在隱空間裡引入必要的結構。這個觀點來自我們已驗證過的能力。我們的核心團隊主導研發的DINO-X，已經解決了開放世界“看見物體”的問題。所以現在，我們讓物體成為世界模型預測與規劃的基本單元。直觀來講，物理規律是作用在物體上的，讓隱空間表徵理解物體，就可以更有效地學習物理規律。▎AI科技評論：等一下，我們想追問一句。LeCun的AMI Labs拿了十幾億美金融資也在死磕這個方向。你們這個“引入物體結構”的改進，憑什麼覺得能在他的大框架上跑得更遠？張磊：因為我們之前做DINO-X，這是一個開放式的物體感知通用模型，已經把“理解物體”這件事做到了全球最好。我們對視覺模型機理的理解、為什麼視覺模型能做出物理合理性，都跟原來做通用物體理解這條線高度吻合。簡單來說，LeCun的路線是基礎框架，我們在這個框架上引入物體結構，並讓它在真實環境上閉環。這個“閉環”的能力，是我們過去幾年打出來的。05憑什麼DINO系列能力壓谷歌和Meta？▎AI科技評論：您的團隊在視覺大模型階段成績太突出了。Grounding DINO 和後續推出的DINO-X 力壓谷歌、Meta，被李飛飛團隊、英偉達、銀河通用等全球頂尖機構標配引用。這事我們內部聊過，都覺得有點“不正常”：通常是中國團隊追著國外跑，你們是怎麼反過來讓國外團隊來追你們的？張磊：兩個維度比較突出。範式上，我們是視覺領域第一個把Transformer（一種基於自注意力機制的深度學習架構，也是大語言模型的底層基礎）檢測做到SOTA（State of the Art，領域最佳水平）的團隊。Grounding DINO將語言模型的範式引入，第一次把物體檢測拓展到開放域，模型不再侷限於“只能識別訓練過的物體類別”，而是可以檢測任意從未見過的物體。至今它仍是開源模型裡引用和下載量最高的，這可以稱得上範式級突破。數據和工程策略上，在Grounding DINO之後，我們轉向閉源路線，將驗證過的想法往Scaling方向推進。同時，我對工作水準要求很高。雖然當時團隊年輕，沒做過這麼強的工作，但我還是堅持把門檻卡住，強調必須達到大版本級別的突破才發佈。所以我們花了約一年時間才推出Grounding DINO 1.5，然後又花了半年時間推出 DINO-X。事實證明，這一年多磨出來的版本，行業認可度確實很高。▎AI科技評論：你們做的這些視覺大模型，跟今天做世界模型是什麼關係？張磊：我們的工作一脈相承。此前做物體感知，核心目標就是給機器人提供感知基礎，後來很多團隊用我們的Grounding DINO解決具身環境理解問題。技術路線上，世界模型比語言更偏視覺原生，幾乎所有世界模型工作都不是基於GPT那種純語言架構。團隊積累上，我們對視覺模型機理的理解跟原來做通用物體理解這條技術路線吻合度非常高。這也是我們有信心把世界模型持續迭代下去的原因。團隊是從IDEA孵化的20多人，非常穩定。我們做閉源模型的時候也不斷吸引外部做算法和工程都很強的人加入。這20多個人，就是今天視啟未來的“種子”。從DINO系列模型到世界模型的進化路線06如何讓AI真正“看見”物體？▎AI科技評論：您說現有的隱空間方案“並不真正理解物體”，它們不知道場景裡哪些是獨立物體、物體之間是什麼關係。我們挺好奇的，這怎麼判斷？怎麼知道模型是真的“理解”了物體，還是在“假裝”理解？張磊：理解本身難以直接驗證。語言模型到底怎麼理解語言的，現在誰都講不清楚，只能通過行為表象判斷，它連續輸出文字，你覺得跟人說的沒差別，就說它理解了。世界模型面臨類似困境。模型到底有沒有真正理解物理規律，是不是真的捕捉到了物體結構，也很難直接講清楚。我們會通過中間步驟的可視化來分析，如果結果跟人類直覺一致，就說明它可能捕捉到了物體結構。▎AI科技評論：有沒有什麼具體的測試方法？能不能做個實驗來看看？張磊：有的。反事實測試就是一個很好的方法，讓模型嘗試不同動作，看能否給出物理合理的結果。如果軌跡偏一點也能做對，說明學到了規律；做不對，說明學的可能仍是統計相關性。這很考驗洞察力。就像Richard Sutton教授說的，人做研究時總忍不住想幫模型、把自己的經驗灌進去。語言模型研究者曾經恨不得把句法結構分析出來，分詞、詞組都餵給它，但最後還是打不過“預測下一個Token”這個簡單範式。我自己非常相信這種簡潔的範式往前迭代的力量。 過多人為設計，短期有效，長期會阻礙迭代。▎AI科技評論：那物理世界裡還有一些很棘手的物體，流沙、水流、煙霧、布料，它們沒有清晰的邊界。我們擔心的是，您的“物體為中心”框架會不會反而被“物體”這個概念束縛住？張磊：這個問題我們自己也在思考。從技術角度，最簡單的切入方式是Mask，把物體區域的像素分割出來。過去幾年視覺領域在物體語義理解和Mask預測上已經很成熟，流沙、水域這類非剛性物體都能處理。因此，從Mask入手，是一個務實的起點。而我們在通用物體感知上的積累，比外面任何團隊都深。07EgoTwin：讓人的手教會機器人的手▎AI科技評論：您的技術框架裡有一個很關鍵的概念叫“動作對齊”，把人的手、兩指夾爪、多指靈巧手這些不同構型的動作映射到同一個隱空間。我們是這麼理解的，這聽起來有點像給機器人做翻譯，讓它們能理解不同“語言”的動作，對嗎？張磊：世界模型的輸入主要有兩個：畫面（狀態）和動作，所以對動作的理解非常關鍵。動作對齊是多本體問題的基本需求。人手與機械臂的對齊更有難度：機械臂的關節位置在物理空間的XYZ座標是精確可知的，但人手數據一般是2D視頻，大家拍一段做飯的視頻，裡面只有二維畫面，沒有三維座標。直接混用效率很低。我們的做法是提取3D關鍵點，將人手的2D視頻轉化為3D空間的操作序列，與機械臂數據對齊到同一物理空間。這就是現在行業講的Ego數據（以第一人稱視角採集的人類操作數據）的採集和處理。我們之前發佈的EgoTwin，主要解決的就是這類數採問題，目前已經跟百度雲的數採團隊在合作。▎AI科技評論：EgoTwin解決了“手怎麼動”的數據問題。但我們想追問一句，人類視頻裡還隱含了更高層的信息，“手為什麼這麼動”的意圖，這部分怎麼辦？張磊：更高層的動作意圖理解，我們會把它留給世界模型或VLA模型去解決。但前提是數