賓大茅佳源：從單次演示到 83% 真機泛化，破解具身智能數據困局｜IROS 2026

剖析視覺與動作脫節，引入 TR 指標與自適應引導，重構具身泛化機制。作者丨張璐 編輯丨岑峰 在機械臂的實機測試中，不少團隊都遇到過類似的困擾：為了讓機器人學會抓取某個馬克杯，往往需要人類抓著機械臂錄入上百條示範軌跡。然而只要把杯子換成未見過的款式，或者稍微改變物體的擺放位置，策略的成功率就會急劇下降。這種靠海量遙操作數據硬堆技能的方式，很難讓機器人真正具備應對新環境的泛化能力。更棘手的是，即便當前的視頻預測模型已經能準確畫出合理的未來畫面，但一旦接入動作模塊驅動實機，機械臂依然頻頻出錯。

在 IROS 2026 大會上，來自 UPenn、MIT 與 Stanford 聯合團隊的茅佳源分享了他們的思考。她不僅介紹了只需一次人類演示就能泛化執行多種非抓取任務的 RAPID 閉環框架，還首次提出了診斷“視覺會了、手卻做不對”這一機制脫節的 TR 指標。藉由基於 TR 的自適應引導機制，團隊最終將雙臂機器人在複雜組合任務上的真機泛化成功率提升到了 83%。以下是茅佳源的演講分享，AI科技評論在不改變原意的情況下，進行了編輯和整理：01百條軌跡換一項技能，純數據擬合為何難做物理泛化？

過去幾年，構建通用物理智能的主流思路是“數據擬合”，試圖通過端到端學習，實現從視覺觀察到控制動作的直接映射。這一路徑雖推動了大量研究，但在面對真實複雜的物理交互時，瓶頸迅速顯現。以 Actor Labs 的挖掘機實驗為例，其團隊將 Physical Intelligence 的 π0.5部署至挖掘機，結合工業操作員的大規模真實數據訓練策略。儘管展示中僅用200 條軌跡成功完成了一項任務，但這恰恰暴露出純數據驅動路線的缺點：數據效率極低，且多任務能力受限。如果掌握每一項單一技能都需要百小時級或數百條軌跡的數據積累，這種依靠堆疊數據推動的範式，其規模化擴展的可行性顯然存疑。

相比之下，人類僅憑單次演示就能理解動作背後的物理邏輯，並輕鬆遷移至不同尺寸、材質的物體甚至全新任務中。當端到端模型在分佈外（OOD）場景中頻頻失靈，研究者們不得不重新審視：在盲目堆砌數據量之外，是否存在更根本的智能構建路徑？這便引出了第二條路線：將智能視為世界建模與規劃（Intelligence as World Modeling and Planning）。其核心在於將機器學習與物理規劃相結合，使智能體通過小樣本理解物理規律，進而實現真正的分佈外泛化。

02告別像素級預測，用“神經+符號”構建可推理的世界模型要實現基於規劃的智能，首先需構建“世界模型”，即讓智能體在內部建立物理世界表徵，並基於該表徵演推後續動作。然而，物理環境極其複雜，若直接在像素級預測未來狀態與細節，計算代價會非常高，難以支持長序列動作的實時規劃。破解這一難題的關鍵在於引入組合式抽象表示。智能體無需記憶所有像素細節，而是提煉形狀、姿態、材質等抽象屬性，並用狀態轉移圖顯式建立“動作-狀態”演變機制。圖：神經符號概念將物體抽象為形狀、姿態、材質等屬性，並用狀態轉移圖描述動作導致的 state 演變。

圖中 s0→s1 表示 push(glass)，s1→s3 表示 flip(cap)。這就是神經符號概念的核心：“神經”層：利用神經網絡進行視覺感知，提取物體的幾何與物理屬性；“符號”層：利用符號邏輯對這些屬性進行組合，並定義動作與狀態之間的轉移規則。兩者結合，智能體擺脫端到端黑盒映射，轉而學習物理世界運行規律的結構化模型。有了這種抽象表示，機器人即可在執行前內部推演（如推動杯子或翻轉瓶蓋後的狀態演變），自主規劃動作序列。這正是“從單次演示中學習並強泛化”的基礎。

03破解策略網絡不可拼接困局：將動作生成轉化為“約束求解”具備可組合的世界模型後，下一個問題是：如何將高層邏輯規劃轉化為物理世界中可執行的具體動作？傳統強化學習與端到端範式中，策略網絡（π）普遍無法直接拼接。例如分別訓練抓取（π1）、移動（π2）、放置（π3）三個網絡，因觀測空間、動作空間及中間狀態難以對齊，極難直接串聯完成長序列任務。針對策略不可組合的困境，替代方案並非訓練更大的端到端網絡，而是將動作生成重新定義為約束優化問題。

在此框架下，智能體需在給定初始狀態 s0 下，求解使動作代價（如軌跡長度）最小化的軌跡，同時滿足兩類關鍵約束：路徑約束：包含動力學約束 dynamics（軌跡必須符合物理定律）與無碰撞約束 collision-free（機器人與環境無干涉）；圖：約束優化生成動作。路徑約束包括關節限制與無碰撞；子目標約束包括抓取目標與放置目標。子目標約束：包含階段性接觸目標 holding-target（如穩妥抓取物體）與最終任務目標 target-on-rack（如將物體精準放置至指定架子）。圖 ：約束優化組合動作。

目標是最小化軌跡長度 |t1|+|t2|，同時滿足 dynamics、collision-free、holding-target、target-on-rack 等約束。這種設計將學習顯式解耦為約束集與約束值兩個層面。機器人無需從零學習物理法則（交由已知物理模型與優化求解器處理），神經網絡只需聚焦與任務相關的關鍵約束。這種解耦大幅減輕數據負擔，使模型能以極低數據量捕捉關鍵約束，實現跨物體與跨場景的精準求解。以團隊 MAGIC 項目中的“物品懸掛”任務為例，這類操作需要同時兼顧抓取、懸掛姿態與運動軌跡三重聯合約束。

面對這一挑戰，傳統模型規劃因搜索空間過大，單次求解動輒超過 5 分鐘；而基於無監督特徵學習與策略學習的代表性方法，哪怕在 10 萬個合成水杯數據上訓練，單次演示泛化成功率也僅有 42%。”相比之下，該框架通過視覺對應關係引導約束優化，僅憑單次演示就將成功率大幅提升到了 93%。圖：懸掛任務中，傳統模型規劃單次求解超 5 分鐘；純數據驅動方法在 10 萬合成 mug 上單例成功率 42%。本方法通過視覺對應將成功率提升至 93%。04RAPID 架構：1 次人類演示+代碼智能體，搞定複雜非抓取交互如果將上述“約束+接觸序列”的思路進一步推演，就能構建出面向更復雜物理交互的通用架構：RAPID。

注：RAPID源於此篇論文。點擊查看：https://arxiv.org/pdf/2609.30249圖：RAPID 面向接觸豐富、非抓取操作，僅需單次人類演示即可學習。在 RAPID 架構中，技能學習被轉化為由編程智能體與物理校驗器構成的閉環編程循環：1.演示解析與原語拆解：從單次演示中提取動作，自動切分為推、翻轉、支點旋轉、抓取等基礎操作原語；2.以物體為中心的程序生成：Coding Agent 將原語轉化為以物體為中心的約束程序，脫離特定的幾何參數，使其天然具備可複用性與組合性；3.

仿真校驗與閉環迭代：校驗器在 Real2Sim 仿真環境中驗證程序，將碰撞、物理可行性等反饋傳給 Coding Agent 進行修正，可在部署前篩除大量物理不可行程序。圖：RAPID 的智能體編程循環。Coding Agent 生成行為程序 Π，Evaluator 在 Real2Sim 仿真中校驗並反饋，迭代修正。在涵蓋書架、隔板等場景的 8 個複雜非抓取真機任務中（靈活組合了推、翻、壓移、支點、傾倒、抓取等原語），RAPID 僅憑單次人類演示，便展現出極高的魯棒性與泛化求解能力。

這說明，將 Coding Agent 的代碼生成能力與物理模型校驗相結合，能以符號化約束優化實現強泛化的單示例學習。05大模型盲區：為何視頻-動作模型無法自動“湧現”組合力？RAPID 框架展示了 Coding Agent 在複雜物理操作任務中的能力：通過結合物理驗證器、約束求解等模塊，系統能夠僅憑單次人類演示規劃並執行復雜的非抓取操作。RAPID 本身也是一個模塊化系統，其能力來自 Coding Agent 與不同功能模塊之間的協作。這說明，組合性不僅體現在運動技能的組合上，也體現在系統如何組織和調用不同的能力模塊。由此引出了一個更一般的問題：面向實際任務，我們應該如何設計這樣的模塊化系統？

哪些能力應該被拆分為獨立模塊，模塊之間又應該通過什麼接口協作？與完全端到端的神經網絡相比，模塊化系統能夠引入顯式結構，使各個環節更易於解釋、驗證和替換，但也可能受到人工劃分和接口設計的限制；端到端模型則能夠聯合學習感知到動作的映射，卻更難對中間過程進行獨立檢查與干預。理解這兩種範式在泛化能力、數據效率和系統魯棒性上的優勢與侷限，是將智能體應用於真實物理世界的重要問題。在探索組合性的另一條路上，模塊化系統展現出了獨特優勢。例如，系統可以先用開放詞彙檢測器提取“馬克杯”的視覺掩碼，再交由特定策略完成抓取，這就是模塊化組合的直觀體現。

以團隊此前發表的 Retriever 框架為例，它將感知、推理與控制拆分為獨立模塊，並顯式建模觸發器與緩衝區，巧妙解決了多頻率異步（如腕部相機 30Hz、機器人狀態 60Hz、低階技能 2Hz）下的閉環控制難題，在雙臂機器人“給牛排撒調料”等長時程任務中驗證了模塊組合的高效性。但是，各模塊之間受限的信息流動，使其難以充分吸收不同任務之間的協同效應。這就引發了一個更深度的思考：神經網絡能否直接將感知、記憶、規劃與控制融為一體？如果放棄人工預定義的原語與模塊劃分，轉向端到端統一的多模態大模型，將包含豐富物理規律的視頻預測與動作生成聯合訓練，組合能力能否在模型中自動“湧現”？

圍繞這一課題，團隊展開了兩次嘗試。第一次是視頻生成預測+動作控制器；第二次是視頻-動作聯合訓練模型。然而，隨後的實機與仿真實驗表明，問題的複雜程度遠超預想。▎試錯一：視覺預測轉動作指令，難以勝任富接觸操作為了吸收跨任務的協同效應，研究團隊展開了第一次嘗試：利用通用的視頻生成模型預測未來畫面，再將視覺預測翻譯為機器人的具體動作。這一路線對應團隊發表於 ICLR 2024 (Spotlight) 的 AVDC 框架。原文鏈接：https://arxiv.org/pdf/2310.08576其動作提取流程分為三個核心階段： 1.

視頻預測：輸入語言指令與當前 RGB-D 觀察，利用預訓練視頻預測模型生成未來數幀的視頻； 2.稠密運動估計：從合成的未來視頻幀中計算光流，結合深度信息進行 SE(3) 空間位姿估計，恢復出物體的三維運動軌跡； 3.笛卡爾控制映射：根據物體的 3D 軌跡反推機器人末端執行器的移動方向，生成笛卡爾空間下的控制指令。該架構最大的優勢在於擺脫了對顯式動作標籤的依賴。模型可以直接利用無動作標籤的視頻數據進行預訓練，並遷移至機器人任務中。同時，由於它提取的是物體本身的三維運動而非特定機械臂的關節點位，因而具備出色的跨本體泛化能力。

然而，真機測試揭示了這一解耦範式的明顯侷限：它主要支持基礎的抓取、移動與放置技能。面對翻轉、按壓、支點旋轉等複雜的富接觸操作，單純依靠像素層面的視頻預測，難以捕捉真實的物理受力與精準的接觸作用點。這表明，“視頻生成→動作翻譯”這種串聯管線無法自動湧現出複雜的組合行為。必須打破解耦，將視頻預測與動作生成深度結合進行聯合訓練——這便引出了第二次嘗試：視頻-動作聯合模型。▎試錯二：看懂了未來畫面，Action Head卻還在“盲開”為了克服單一視頻驅動無法處理複雜接觸動作的痛點，研究團隊展開了第二次嘗試：構建視頻-動作聯合模型。

這一架構的初衷，是讓負責動作生成的網絡能夠直接“看到”並利用視頻模型對未來的物理預測。在具體設計上，團隊採用預訓練視頻預測模型 Cosmos Predict 2.5-2B（基於 Flow Matching 架構）作為骨幹網絡。在視頻生成的去噪過程中，提取中間噪聲水平σv下的潛特徵，經由特徵投影層後，與機器人的本體狀態以及含譟動作 Token 一同送入 Gemma Action Head，最終通過 Flow Matching 聯合生成去噪後的動作控制 Token。然而，實機與仿真實驗給出了出乎意料的結論：統一的視頻-動作聯合模型，並不會自動“湧現”出組合泛化能力。團隊觀察到了兩個棘手的問題：1.

視覺能泛化，執行卻失效：視頻預測模型本身具備優秀的泛化能力，面對未見過的指令時，能生成合理的視覺未來幀。然而，一旦接入 Action Head 驅動機械臂實際執行，策略在組合式分佈外任務上的成功率便急劇下跌。2.極高的超參數敏感度與 ID-OOD 權衡：訓練配方對性能有決定性影響。例如，LoRA 聯合訓練能在 ID（分佈內）與組合 OOD 之間達成某種權衡，而全參數微調則更容易偏向 ID 性能，犧牲泛化。深入分析“泛化鴻溝”後，團隊發現，Action Head 在生成控制動作時，常常傾向於直接“忽略”視頻模型預測出的未來特徵。

在對比實驗中，哪怕視頻模型預測出了完全錯誤的未來畫面，Action Head 依然可能偶然完成動作；反之，當視頻模型生成了完美正確的未來畫面時，Action Head 卻反而給出了錯誤的動作控制。這證實了動作生成與未來預測之間存在嚴重的“機制脫節”，視頻預測中蘊含的物理知識，未能有效地轉化為控制端的泛化能力。

▎診斷：引入時間比率，看穿動作頭有沒有“偷懶”為了精準量化 Action Head 在決策時到底有多依賴視頻模型的未來預測，研究團隊提出了一個直觀且量化的診斷指標：時間比率（Temporal Ratio，TR）TR = 未來幀的注意力權重 / 當前幀的注意力權重 注：此篇論文提出的TR這一診斷指標，點擊查看原文：https://arxiv.org/pdf/2607.08127該指標直接反映了動作頭的決策偏好。TR 越高，說明 Action Head 越認真地“看”視頻模型預測出的未來畫面並據此導向動作；TR 越低，則說明動作頭幾乎在“盲開”，完全忽視未來的預測信息。

通過分析不同模型與超參數配置下的 TR 曲線，團隊發現了一個關鍵規律：峰值 TR（Peak TR）精準預測了模型的組合泛化能力。TR 越高的模型，其在分佈外任務上的成功率就越強；而那些 TR 極低的模型，泛化成功率幾乎為零。研究人員通過調整視頻噪聲水平σv來人工抬升 TR，同一個模型的 OOD 成功率也隨之呈現出明確的攀升趨勢。此外，TR 並非靜態常數，而是在任務執行過程中動態演變。通常在執行前幾步 TR 會升至峰值，模型積極參考未來規劃；隨後隨 Replanning Step 推進而回落。

▎免重訓修復方案：TR 自適應強引導，真機 OOD 成功率提升至 83%找到了“機制脫節”的病灶後，研究團隊提出了一種無需重新訓練模型即可彌合泛化鴻溝的方案：自適應引導。團隊將無分類器引導（CFG）拓展為兩個維度的強引導：語言引導與計劃引導。與固定權重的傳統引導不同，自適應引導會實時監測 TR 指標：當檢測到 TR 出現峰值、動作頭正積極參考未來規劃時，系統會自動調大計劃與語言引導的權重，強化未來物理約束；而在 TR 處於低位的平穩階段則不疊加額外引導。

這種“在關鍵決策點精準發力”的機制，既避免了過度引導對分佈內（ID）性能的損傷，又大幅提升了模型在空間、物體和目標分佈外（OOD）任務上的組合泛化能力。在 LIBERO 仿真基準上的測試證明了該機制的優越性。傳統的“平坦引導”（Flat Guidance，即固定權重的引導）雖然能提升分佈外（OOD）的成功率，但會嚴重損害分佈內（ID）的性能；而自適應引導通過 TR 的動態調節，在保持分佈內較高成功率的同時，大幅提升了在空間、物體和目標分佈外任務上的組合泛化表現，實現了更好的 ID 與 OOD 性能權衡。隨後，團隊在搭載雙臂機器人的真實物理環境（基於 YAM 硬件與 abc.

bot 數據集）中評估了 8 項複雜任務，涵蓋從紙袋中取出瓶子、整理零食到貨架、摺疊 T 恤等。在未見過的組合式分佈外任務（如“把水果放進紙袋”）中，對比模型 Cosmos-Policy 的平均成功率僅約 12%，而團隊自己的模型在未引導前平均成功率為 71.8%，引入基於 TR 的自適應引導後，真機泛化成功率進一步提升至 83%，驗證了該方案在真實物理場景中的有效性。06結語：走向通用物理智能，核心不在於盲目堆疊數據視頻預測與動作控制之間的協同效應，並不會在聯合訓練中自動“湧現”出來。

我們看到，不同的模型架構與訓練配方會帶來不同水平的組合泛化能力，且往往伴隨著分佈內（ID）與分佈外（OOD）性能之間的權衡。雖然我們提出的時間比率（TR）提供了一個精準的診斷工具，但要真正彌合泛化鴻溝，我們必須重新審視“組合性”本身：從架構、優化目標到數據定義的根本層面進行重構。回到最本質的範式選擇上，模塊化系統依然非常強大。它天生具備顯式的結構化組合性、較高的數據效率，以及對實時機器人系統至關重要的異步控制能力。但它的侷限在於，無法充分吸收不同任務之間的深層協同效應。

因此，如何將模塊化系統“強組合性與高數據效率”的優勢，與統一大模型“全局吸收協同”的潛力有機結合，是我們接下來最核心的研究方向。這背後依然有一系列深層的科學問題等待我們去解答：前饋神經網絡究竟能否湧現出組合性？這種湧現出的組合性，能否實現高數據效率的學習？我們該如何形式化真實物理世界中的複雜噪聲與多模態數據？我們又該如何形式化泛化標準？究竟是以最壞情況還是平均情況來評估？把這些底層邏輯釐清，我們才能真正走向通用物理智能。為了方便大家抱團交流、互通會議消息，我們專門建了 IROS 2026 參會交流群！進群你會解鎖這些「福利」?

會議情報站：投稿 DDL、格式規範、評審進度……關鍵節點第一時間送達，再也不怕錯過 deadline，投稿準備穩穩的。同行茶話會：天南海北的同行都在群裡，聊心得、碰思路、攢人脈，科研路上我們同行。前沿補給站：最新研究成果、熱點方向實時同步，結合會議主題幫你捋清投稿脈絡，給論文靈感加滿油。現場後援團：（會議期間專屬開啟）：到了會場也不用慌——路線導航：場館分佈、報告廳怎麼走，群裡隨時問；議題共讀：熱門 session、Keynote 探討，錯過也能追；Poster 彙編：現場海報精華整理，一鍵收藏不遺漏；約局廣場：約飯局、採訪局、交流局……想嘮嗑、想合作、想面基，群裡發起就成。?

進群傳送門： 掃碼進群或添加微信Luyoyo_2026，備註：IROS + 單位/學校+姓名+方向。搞科研/搞技術，信息差很重要。來，一起快人一步！上車，帶你看遍全球 AI 頂會精華可獨家暢覽：專家演講PPT大會報告全文熱門論文解讀學術新星訪談掃描上方二維碼或點擊「閱讀原文」關注專區。