“優化管線”決勝，“數據篩選”築基：從ICRA 2026看世界模型的技術發展趨勢

原文作者：公眾號“焉知機器人”原文鏈接：https://mp.weixin.qq.com/s/JL-F9THdaw3HxbsPA9hNDA?scene=1&click_id=182世界模型（World Model）作為具身智能領域的核心技術，正從“生成逼真場景”向“支撐智能決策”加速演進。AGIBOT WORLD CHALLENGE@ICRA 2026世界模型賽道匯聚了全球頂尖研究團隊，其冠亞軍團隊的訪談不僅展現了當前技術的落地實踐，更揭示了未來數年的發展方向。本文結合訪談內容與背景知識，深度解析世界模型技術的演進邏輯、核心突破與產業前景。一、賽事背景：世界模型技術的“實戰檢驗場”AGIBOT WORLD CHALLENGE是國際具身智能領域極具影響力的賽事，其世界模型賽道以“真實機器人任務導向”為核心，區別於傳統的純視覺生成評測，重點考察模型在動作可控性、物理一致性和決策可用性上的綜合能力。賽事提供的AGIBOT World超大規模數據集，為參賽團隊提供了足量且真實的場景數據，有效排除非本質因素干擾，成為檢驗世界模型技術邊界的“試金石”。當前，世界模型已成為連接計算機視覺、機器人學與人工智能的核心樞紐——其核心是通過學習環境數據，建模環境動態變化與因果關係，為智能體提供可用於預測、規劃和糾錯的觀測表徵，是實現具身智能“理解世界、交互世界”的關鍵。此次參賽的冠亞軍團隊，分別代表了“學術前沿+工程落地”與“工業場景+技術深耕”兩大研究方向，其技術路徑與觀點碰撞，為行業提供了寶貴參考，而訪談中焉知與團隊的深度互動，更讓這些技術觀點變得具體可感。二、技術趨勢一：評價標準轉型——從“視覺逼真”到“決策可用”訪談中，冠亞軍團隊均明確提出，世界模型的發展正經歷一場核心評價標準的變革，這與當前全球該領域的研究共識高度契合。冠軍NeoVerse-Abot團隊（中科院自動化所NLPR與高德地圖CV Lab聯合團隊）指出，2026年世界模型的主議題將從“生成合理視頻”轉向“支撐具身智能決策以及推理”。這一判斷並非空穴來風——隨著具身智能向實際應用落地，僅追求畫面逼真已無法滿足需求，模型必須理解物理規律和因果邏輯，才能真正幫助機器人完成規劃、複雜推理及未見場景的策略泛化。從背景來看，傳統世界模型多聚焦於視覺生成，如基於NeRF、3DGS等技術的場景重建，但這類模型往往存在“重視覺、輕邏輯”的問題，難以應對機器人交互中的複雜物理約束。而當前行業的核心需求，正如亞軍物理智能團隊（PAI@IAII）所言，是讓世界模型“提升具身策略學習”，即模型需能準確回答“機器人執行特定操作後世界如何變化”，避免生成脫離實際控制的“美觀無效”內容。這種評價標準的轉型，正推動世界模型從“表面生成”向“深度理解”跨越，其核心指標已轉變為動作可控性、物理一致性和決策可用性，這也是此次賽事評分的核心導向——NeoVerse-Abot團隊的離線內外參優化管線，正是因大幅提升了動作控制確定性，才在action following指標中斬獲第一。三、技術趨勢二：技術突破——工程化優化與跨領域融合並行面對具身智能的複雜需求，單純的算法創新已不足夠，工程化優化與跨領域技術融合成為此次訪談中凸顯的核心突破方向，這與當前世界模型的技術演進路徑高度一致。（一）工程化優化：破解落地核心瓶頸NeoVerse-Abot團隊在訪談中重點介紹的“離線內外參優化管線”，是工程化優化的典型實踐。該管線通過整合機器人RGB視頻信息、關節狀態數據，結合現有視覺感知模型，對相機內參、外參及畸變參數進行聯合後處理優化，解決了“智能體動作指令與視覺感知空間精準對齊”的核心難題——這一技術背後，離不開高德地圖CV Lab在大規模視覺感知、空間理解領域的長期工程積累。針對這一核心技術突破，焉知結合賽事挑戰與技術落地需求，向團隊深入提問：“團隊提到‘將智能體動作指令與視覺感知空間精準對齊’是本次參賽的關鍵挑戰，能否具體說明你們設計的‘離線內外參優化管線’如何工作？比如管線具體整合了哪些數據、採用了哪些視覺感知模型，優化過程分為哪些步驟？另外，它在多大程度上提升了動作控制的確定性？有沒有具體的賽事數據或指標來佐證這種提升效果？”NeoVerse-Abot團隊核心算法開發者李銳智結合實踐細節，給出了細緻回應：“我們搭建的離線內外參優化管線，核心是通過機器人採集的原始數據進行聯合優化，具體工作流程分為三個關鍵步驟。首先，我們會提取機器人數據中原始包含的RGB視頻信息，以及機器人整個關節的運動狀態數據，這兩類數據是優化的基礎——因為在機器人組裝和相機安裝過程中，難免會存在GTP自給、相機支架安裝、相機本身的安裝誤差，這些誤差會直接影響相機內外參的準確性，進而導致機器人動作在圖像中的空間投影出現偏差。其次，我們組合了現有的成熟視覺感知模型，對相機的內參、外參以及它們的畸變參數進行聯合優化，這種優化屬於後處理環節，相當於對採集到的原始數據進行‘校準’，讓視頻生成模型能更精準地感知當前機器人的實際內外參狀態。最後，我們會將優化完成後的參數保存下來，全程應用於後續的模型訓練和視頻生成流程，形成完整的技術閉環。至於提升效果，從本次比賽的小分來看，我們的這條優化管線對action following（動作跟隨）指標的貢獻最為直接，我們在這一項小分中排名第一，而動作跟隨能力也是其他各項指標的基礎——只有確保機械臂在圖像中的位置準確，才能更好地保證畫面一致性和場景一致性，這也為我們最終奪冠奠定了基礎。”補充背景顯示，高德地圖CV Lab團隊長期深耕三維重建與世界模型研究，其核心成員劉雨參與的兩篇頂會論文（arXiv:2512.07527、arXiv:2510.09997），分別聚焦衛星圖像的生成式城市攝影測量與3D高斯 splatting的連續LOD（細節層次）技術，前者提出的2.5D高度圖建模與可微分渲染技術，後者提出的CLoD-GS框架，均體現了“工程化落地導向”的技術思路——這些積累被成功遷移到機器人世界模型訓練中，解決了數據處理、場景建模中的工程化難題。與冠軍團隊不同，亞軍PAI@IAII團隊則通過“獨特的數據篩選機制”破解了訓練數據瓶頸，其設計邏輯遵循“先保證場景多樣性，再確保數據質量”的原則，重點篩選動作與畫面完全對應的樣本，同時保留長尾場景與各類演化數據，這與工業場景中“數據稀缺但要求魯棒性”的需求高度匹配。針對這一篩選機制，焉知在訪談中進一步深入追問，結合賽事數據特點和工業場景需求提出具體問題：“團隊提到通過‘獨特的篩選機制’解決了數據挑戰，能否詳細介紹這一機制的設計邏輯與具體評判標準？比如在篩選過程中，如何量化判斷動作與畫面的對應性？另外，在面向工業場景時，數據清洗與構建的側重點與通用機器人場景有何不同？工業場景中常見的長尾數據、異常數據，你們會如何處理？”對此，PAI@IAII團隊結合自身實踐給出了細緻回應：“我們的篩選機制核心有兩個要點，優先保證場景的多樣性，再嚴格把控數據質量，這是我們設計的核心邏輯。具體到評判標準，對於action condition的模型，我們會通過多維度校驗確保動作與畫面完全對應，比如將機器人關節運動數據與視頻幀中的動作軌跡進行逐幀比對，計算兩者的偏差值，偏差低於設定閾值的樣本才會被保留，同時剔除模糊、卡頓、動作斷裂的無效樣本。至於工業場景與通用機器人場景的數據清洗差異，目前我們的世界模型尚未完全落地工業場景，但結合我們對工業場景的研究和預判，工業場景雖相對固定，卻也存在不少長尾場景和異常數據，比如焊接過程中的焊縫偏移、機械臂操作中的突發故障等。對於世界模型這種建模next state（下一狀態）的模型而言，所有與世界演變相關的數據都有價值，不能因為是所謂‘失敗數據’就丟棄，我們會將這些數據單獨標註、分類處理，通過增強訓練讓模型在相對固定的工業場景中達到更魯棒的性能，更好地應對實際操作中的各類突發情況。”（二）跨領域融合：拓寬技術邊界訪談中最具前瞻性的觀點，是NeoVerse-Abot團隊提出的“生成理解一體化”路徑——將policy（策略）視為一種理解，推動世界模型與決策模型的深度耦合。這一思路與當前國際前沿研究高度契合，如谷歌DeepMind的Vision Banana論文所展現的“生成與語義理解同步”，但該團隊更強調“動作條件驅動”，區別於文本引導的通用生成模型。針對這一前瞻性觀點，焉知進一步追問技術落地細節：“團隊認為未來會走向‘生成理解一體化’，並將policy視為一種理解。在當前團隊的模型架構中，你們是如何將視頻生成模型與決策策略進行耦合或聯合訓練的？具體採用了哪些技術思路？另外，當前大語言模型在高層任務分解中應用廣泛，你們是否嘗試引入大語言模型，來輔助世界模型進行高層任務分解？如果有相關規劃，具體會如何落地？”NeoVerse-Abot團隊核心成員李俊彥結合團隊研究實踐回應道：“首先要明確的是，我們當前的世界模型與單純的決策模型（policy模型）有所不同，但兩者的核心目標是一致的——無論是我們現在做的視頻生成類世界模型，還是當前熱門的VLA（視覺語言動作模型）、世界動作模型（WAM），核心都不是簡單地將觀測映射成語言、動作或視頻，而是從當前的觀測、機器人狀態，以及相關的語義動作中，生成真正影響操作結果的觀測表徵。這種表徵包含了物體的可操作性、接觸關係、空間約束、機器人本體的動作可達性、潛在風險，以及動作執行後可能引發的狀態變化，這也是‘生成理解一體化’的核心內涵——生成的過程本身就是模型理解世界的過程，而policy（策略）本質上就是這種理解的具體體現。至於視頻生成模型與決策策略的耦合，其實VLA、世界模型、世界動作模型這三種模型，已經在朝著這個方向推進：VLA更強調指令與觀測的動作選擇，世界模型更強調預測環境的演化，而世界動作模型則是直接將世界模型的動作生成能力與動作條件綁定，實現了生成與決策的耦合。我們當前的架構中，也在逐步推進這種耦合，重點是讓世界模型生成的環境預測結果，能夠直接為決策策略提供支撐，讓決策更具針對性。關於引入大語言模型進行高層任務分解，這確實是當前領域的一個重要方向，也是我們團隊正在考慮的思路——利用大語言模型的語義驅動能力，與我們的世界模型進行耦合，實現高層任務的拆解，讓機器人能更好地理解複雜任務需求。不過在本次比賽中，我們並沒有進行這方面的嘗試，因為本次比賽的核心任務是實現‘動作/狀態到視頻’的預測，重點聚焦於動作跟隨和場景一致性，暫未涉及高層任務分解的相關需求，後續我們會結合更復雜的機器人任務，推進大語言模型與世界模型的融合落地。”補充背景顯示，NeoVerse-Abot團隊的核心負責人範略（中科院自動化所助理研究員），長期聚焦世界模型、具身智能與自動駕駛的交叉研究，其2026年牽頭的NeoVerse項目（CVPR 2026收錄），正是通過單目視頻增強4D世界模型，體現了“生成理解一體化”的技術思路。範略團隊的研究還顯示，自動駕駛與具身智能在世界模型應用上存在邏輯共通性——均需通過環境推演實現策略反饋，這為跨領域技術遷移提供了可能。結合這一背景，焉知圍繞高德地圖的技術賦能，向團隊提出針對性問題：“高德地圖在視覺感知與空間數據設施上有深厚的工程積累，這些能力如何具體賦能本次參賽的世界模型？比如在場景理解、三維空間先驗構建，或者數據引擎搭建上，高德的積累具體體現在哪些方面？有沒有可分享的實踐經驗？另外，高德的地圖數據是否直接用於世界模型的訓練？”李銳智結合自身在高德地圖的實習經歷，詳細回應了這一問題：“高德地圖的核心賦能，並非將地圖數據直接用於世界模型的訓練，而是其長期積累的空間智能感知、理解能力，以及工程化實踐經驗，這些都能直接遷移到我們的機器人世界模型訓練中。高德地圖的業務本身就屬於空間智能的重要組成部分，長期面對真實世界的大規模異構、長尾數據——不同地點、不同視角、不同天氣、不同傳感器的數據，都需要進行高效組織、校驗和更新，這種處理大規模複雜數據的工程經驗，與我們當前機器人數據的準備、訓練需求高度契合。具體來說，在場景理解和三維空間先驗構建上，高德CV Lab長期深耕大規模視覺感知、空間理解與場景建模，形成了業界領先的視覺技術工程體系，他們在三維重建、空間特徵提取等方面的技術積累，能幫助我們更好地構建機器人場景的三維空間先驗，提升模型對場景的理解能力。在數據引擎構建上，高德在數據篩選、校驗、更新等方面的工程化流程，也為我們搭建機器人數據引擎提供了重要參考，幫助我們解決了機器人數據視角多樣、時域長、標註成本高的難題。可以說，高德地圖的工程積累，為我們的世界模型提供了堅實的技術支撐，讓我們能更好地應對比賽中的數據和場景挑戰。”針對PAI@IAII團隊此前提出的“本次比賽單視角挑戰過於依賴基模能力”這一觀點，焉知結合當前世界模型的技術痛點進一步追問，聚焦多視角、多模態融合的實際應用的細節：“團隊認為本次比賽‘單視角挑戰過於依賴基模能力’，這一觀點非常有針對性。如果未來比賽擴展為多視角或引入多模態信息（比如傳感器數據、關節角數據、語音指令等），你們會在模型設計上做哪些具體改進？這些改進方案是否已有相關技術儲備？能否結合具體的技術思路，說明多視角、多模態信息如何彌補單視角的不足？”PAI@IAII團隊結合自身技術積累給出了明確且詳細的回應：“我們已有相關技術儲備，具體改進思路主要分為兩個核心環節。首先，在模型預訓練階段，我們會利用多視角數據進行訓練，通過多視角圖像的特徵融合，讓模型提前學習到場景的3D空間結構、物體的深度關係等3D先驗信息，打破單視角帶來的深度模糊、遮擋等侷限；其次，在微調階段，我們會結合單視角數據，針對性優化模型的特徵提取能力，讓模型既能依託預訓練階段的3D先驗知識，又能適配單視角的輸入場景，實現‘多視角預訓練+單視角微調’的高效結合。這種改進方案的核心優勢的是，多視角數據能為模型注入更豐富的空間信息，解決單視角下難以判斷物體深度、遮擋區域狀態等問題，而多模態信息的引入，比如傳感器數據、關節角數據，能讓模型更精準地捕捉機器人動作與環境變化的關聯，進一步提升物理建模的準確性。目前，我們團隊在多視角3D重建、多模態特徵融合方面已有相關研究積累，也完成了初步的實驗驗證，證明這種改進方案能有效提升模型的泛化能力和物理一致性。”這一方案也成為跨領域融合的典型實踐——通過多視角數據注入3D先驗知識，增強模型在遮擋、深度感知等場景的泛化能力，與3D高斯 splatting、NeRF等三維重建技術的發展趨勢相呼應，體現了“視覺建模與具身智能”的深度融合。四、技術趨勢三：應用落地——從通用場景到工業深耕世界模型的技術演進，最終指向實際應用落地。此次訪談中，兩大團隊均明確了“場景化深耕”的方向，其中工業具身智能成為重點佈局領域。PAI@IAII團隊由徐凱研究員（中科院工業人工智能研究所）全職帶領，其研究方向聚焦工業具身智能、工業數字孿生，長期深耕重工、船舶、汽車等智能製造領域。訪談中，團隊指出，世界模型在工業場景中的核心價值，除了預測，更在於建模不確定性——如焊接場景中，通過模型預測焊接槍移動對焊縫厚度、長度的影響，為決策優化提供先驗支持，這與當前工業數字孿生“虛實融合、精準管控”的需求高度契合。圍繞這一應用方向，焉知結合工業場景的實際落地需求，進一步追問細節：“在將世界模型應用於實際機器人策略學習時，除了提供預測，你們認為世界模型還能在哪些具體環節（如仿真訓練、安全驗證、人機協作）發揮關鍵作用？能否結合工業場景的實例，說明世界模型在這些環節中的具體應用方式和價值？”對此，PAI@IAII團隊結合工業場景的實際需求，給出了具體且貼合實踐的回應：“世界模型的一個重要應用方向就是作為仿真器（world model as a simulator），這一點在工業場景中體現得尤為明顯。在工業場景中，很多操作過程存在不確定性，且部分操作成本高、風險大，比如船舶焊接、重工裝備裝配等場景，焊接槍的移動方式會直接影響焊縫的厚度、長度、平整度等結果，這些結果往往需要焊接完成後通過專業設備測量才能得知，一旦出現偏差，不僅會造成材料浪費，還可能影響產品質量，甚至帶來安全隱患。而世界模型能夠精準建模這種不確定性，通過輸入當前的設備狀態、動作指令等信息，預測下一個狀態的演變，比如預測焊接槍移動速度、角度對焊縫的具體影響，提前預判可能出現的偏差。除此之外，世界模型在仿真訓練和安全驗證環節也能發揮關鍵作用。在仿真訓練中，我們可以利用世界模型構建高度逼真的工業場景，讓機器人在虛擬環境中進行大量訓練，減少真實場景訓練的成本和風險，同時快速優化策略；在安全驗證中，世界模型可以模擬各類極端場景、故障場景，比如機械臂卡頓、物料偏移等，測試機器人策略的安全性和魯棒性，提前排查安全隱患。我們認為，在工業場景落地世界模型，就能針對這些不確定性提供先驗預測，再通過對預測結果的篩選和優化，提升焊接、裝配等工業操作的效果和安全性，這是我們目前看到的重要應用前景。”補充背景顯示，徐凱研究員在國際上較早開展數據驅動三維感知、建模與交互工作，發表100餘篇TOP期刊論文，其團隊的研究重點的是“機理增強的具身交互理論”，這與世界模型“物理規律建模”的核心需求高度匹配，也預示著工業場景將成為世界模型落地的重要突破口。NeoVerse-Abot團隊則依託高德地圖的工程積累，聚焦機器人開放環境理解，其技術路徑體現了“通用場景與行業場景結合”的思路——將地圖業務中應對大規模異構、長尾數據的工程經驗，遷移到機器人數據準備與訓練中，解決了機器人場景中“視角多樣、數據複雜”的難題，為服務機器人、自主移動機器人等場景的落地提供了技術支撐。五、未來展望：瓶頸突破與方向聚焦結合訪談內容與背景知識，世界模型未來的發展將聚焦於兩大核心瓶頸的突破，同時明確三大研究方向。核心瓶頸方面，一是數據稀缺性——高質量機器人操作數據遠少於互聯網視頻數據，且採集難度高；二是物理規律建模不足——現有模型缺乏對幾何關係、摩擦力、剛體/軟體交互等物理常識的顯式建模，易出現違反物理規律的生成結果。這兩大瓶頸也是中美兩國在該領域的共性挑戰，當前雙方處於“你追我趕”的狀態，無顯著代差。未來研究方向則很明確：一是持續推進“生成理解一體化”，將世界模型與策略模型深度耦合，降低推理延遲，滿足機器人實時控制需求；二是強化多視角、多模態融合，通過多視角預訓練注入3D先驗，提升模型泛化能力；三是加速工業場景落地，推動評測標準從“表面正確性”轉向“物理正確性”，讓世界模型真正服務於工業決策優化。此次訪談，為我們呈現了世界模型技術從“學術探索”向“落地實踐”轉型的路徑。從評價標準的變革，到工程化優化與跨領域融合的突破，再到工業場景的深耕，世界模型正逐步擺脫“純視覺生成”的侷限，成為具身智能實現“理解世界、交互世界”的核心支撐。以NeoVerse-Abot、PAI@IAII為代表的中國團隊，正通過“學術前沿+工程落地”“工業深耕+技術創新”的路徑，在世界模型領域實現突破——範略團隊的跨領域研究、徐凱團隊的工業落地探索，以及高德地圖的工程化積累，均體現了中國在該領域的綜合實力。雷峰網