啟元機器人新進展：北大董豪團隊推出 HIL-UMI，讓後訓練擺脫「真機依賴」

繼無本體之後，具身後訓練範式有了新進展。作者丨齊鋮湧 編輯丨岑 峰 最近，具身行業討論“無本體進行後訓練的可能性”的熱度很高。國內外目前還沒有團隊做出可行方案。說白了，無論是大模型還是具身機器人，想真正好用，光靠預訓練打基礎可不行，最終落地全靠“後訓練”來調教。啟元機器人首席科學家董豪告訴AI科技評論：“預訓練提升的是下限，上限還得看後訓練。”當前具身公司追求進廠打工、家庭保潔等真實落地，比的就是成功率，也就是在比拼後訓練的實力。可後訓練，難就難在它得跟真實物理世界打交道，過去都得用純真機數據。但真機訓練成本太高，要大規模鋪開，那麼多的機器人本體，硬件磨損、場地、人工都是天價。

所以，行業內預訓練已經開始轉向用“無本體”設備採集數據，雖然量上去了，但傳統後訓練最關鍵的“糾錯”環節卻沒法搞定。為了解決這個行業難題，北大和啟元機器人董豪團隊推出了HIL-UMI。這個工作，圍繞著具身後訓練階段無本體的前提下，圍繞著最關鍵的“糾錯”環節展開。論文地址：https://arxiv.org/pdf/2609.20659項目主頁：https://hil-umi.github.io01具身後訓練的成本，為何遠超大模型RLHF？跟大模型比起來，具身行業的後訓練太貴，是很多具身模型無法嘗試Scaling的重要原因。

大語言模型能變得這麼好用，大家心裡都清楚：不光是預訓練數據量大，更關鍵的是後面有RLHF（人類反饋強化學習，可以簡單理解為數據標註）和DPO這些“後訓練”的功勞。但具身機器人的後訓練，成本可比大模型的RLHF高出不止百倍。大模型做RLHF，無非是請更多人坐在電腦前點點選選；可具身機器人，那就得真刀真槍地跟物理世界打交道。拿傳統上最常用的DAgger，也就是用人類或者算法作為專家評價後訓練的模式，這套流程雖然有效，但又貴又慢。

比較常見的，是以傳統的真機人在迴路（也就是 HG-DAgger：Human-Gated DAgger），機械臂在運作，人類操作員坐在旁邊高度緊張地盯著，等它快抓空、快撞車的時候緊急接管，把正確的軌跡錄下來，這就是人類來把關整個訓練迴路。最麻煩的是，每次校正完，還得人工把被碰亂的現場恢復原樣。等機器人執行，人工干預，環境復位，一坐一下午，能用的數據不多。這其中絕大部分時間，都耗在機器人的笨拙動作和人工環境復位上。這種又慢又燒錢的模式，讓後訓練數據規模採集成了個老大難，嚴重限制了規模化。這就引出了一個核心問題：我們能不能擺脫真機，就像平時做家務一樣，順手就把模型最需要的“糾錯”數據給採集了？

02HIL-UMI 的底層邏輯：給UMI 採集加了一個“模型大腦”HIL-UMI 的做法非常聰明，概括起來就是一句話：“不用機器人，也能給機器人補課。”HIL-UMI ，指的是Human-In-the-Loop（人在環路）UMI，和過去大家常用 UMI（手持夾爪）採集數據不同，HIL-UMI 的採集，不是“盲目”的，而是加入了一個模型。HIL-UMI 把模型直接接進了這個手持採集過程：真實世界裡只有人在動： 操作員手裡拿著 UMI 夾爪正常幹活（比如抓玩具、疊毛巾），攝像頭同步拍攝畫面。

模型在後臺“腦補”： 模型接收著相同的畫面和任務指令，在後臺快速預測“如果換我來，接下來的 20 步動作該怎麼做”，但它並不真正控制任何機械臂。發現分歧立刻觸發提示： 系統在後臺實時比對人類實際動作與模型預測動作。如果兩者差不多，說明模型已經掌握，不需要重複錄；一旦發現模型“腦補”的軌跡跟人類的真實操作嚴重跑偏（說明模型在這個場景下是個“生手”），系統就會立刻提示操作者：“這一段模型不會，從這裡開始多教一段！”手持夾爪與採集設備整個過程，不需要機械臂在場，更不需要機器人真去犯一次錯。人類在示範的同時，就把模型在真實部署中極可能翻車的場景給定點捕獲了。

03不是數採集工具，是後訓練裡的數據飛輪如果只把 HIL-UMI 理解為一個手持記錄儀，那就低估它了。它真正厲害的地方，是建立了一套讓模型自己吐出“錯題本”的自閉環系統。這個閉環有兩大技術支柱：第一步：動作分歧檢測（抓出盲區）。機器人操作面對同一種情況，往往有多種合理姿態。HIL-UMI 不看單次預測，而是並行採樣多組動作塊去算“能量分佈”（Energy Score）。模型如果胸有成竹，動作分佈會很收斂；一旦模型給出的動作又分散又和人類偏離很大，系統就判定模型進入了“分佈外狀態（OOD）”，果斷啟動補錄。第二步：優勢估計器（區分有效動作與無意義晃動）。

光學會動還不夠，還得知道動作對任務推進有沒有用。在疊方塊任務裡，夾著方塊在空中猶豫晃動，和精準對準底座放下去，完全是兩碼事。HIL-UMI 引入了一個根據前後畫面評估“任務推進程度”的估計器，並採用“優勢條件”訓練——告訴模型不僅要學這段糾正，還要專挑那些能夠實質性推進任務進度的動作來學。真正的閉環在於“動態更新”： 每一輪定向補充完數據後，模型完成迭代。到了下一輪採集，模型變聰明了，曾經卡住它的地方不再觸發警報；相反，它與人類的分歧點會推移到更深、更難的邊緣場景上。模型不斷暴露新盲區，人針對性示範，模型再進化，整套流水線像滾雪球一樣自我迭代，徹底告別了“盲目海量刷正向數據”的低效。

04無本體後訓練的路線對比為了更客觀地理解 HIL-UMI，我們需要把它放在當前行業的幾條主要路線上對比：真機遙操作與真機 DAgger： 數據最保真，但單機成本高、折舊大、操作門檻高，想鋪到上萬臺規模幾乎不可能。仿真（Sim2Real）與強化學習： 算力便宜、能大量生成數據，但在柔性物體（如衣物）、摩擦力和複雜光照下，仿真差距（Sim-to-Real Gap）至今仍是巨大鴻溝，而且不能當作真機後訓練。海量視頻預訓練： 規模無限大，但缺少物理力學信息與精準動作維度，多用於給模型建立“常識感知”，無法直接轉化為毫米級的精準控制，常用於預訓練。

傳統 UMI（無本體正向採集）： 便宜、人人能採，但只能採正例，無法解決模型在長尾錯誤中的恢復問題，也只能當做預訓練。HIL-UMI 正好卡在一個極佳的甜蜜點上：它借用了 UMI 的低成本與易規模化，又借用了 DAgger 的針對性糾錯能力，同時把兩者的缺點全都甩掉了。05效率提升 5.63 倍，後訓練終於不必圍著機械臂轉工程上的賬算不算得過來，看兩組對比就明白了：定向補課 vs 盲目多學： 在真實機械臂上的四項任務（折毛巾、整理桌面、疊方塊、蓋章）測試中，給相同的數據幀數預算，持續增加普通示範的常規 SFT 微調，最終任務平均進度分（TPS）只從 44.3 龜速爬到 58.

0；而用了 HIL-UMI 定向糾錯機制後，平均分直接衝到了 94.8。在最考驗精度的疊方塊和蓋章任務上，成功率達到了100分。採集效率直接翻了 5.63 倍：能看出來，橫軸從初始模型 Base 到三輪更新 Iter1—Iter3，縱軸為任務進度分數。紫色為 SFT，橙色為去掉優勢機制的 HIL-UMI，綠色為完整 HIL-UMI；最右側為四項任務的平均分。在極其複雜的“整理桌面”長程任務中，真機 HG-DAgger 採集一幀有效數據要耗時 412.99 毫秒，而 HIL-UMI 只要 73.40 毫秒，單位時間採集效率提升了整整 5.63 倍，畢竟人手直接採集比遙控機器人來採集方便多了。

（）左圖為四項任務平均分隨累計採集時間的變化；右圖為整理桌面任務中各方法隨訓練階段的表現。省下的這 5 倍多時間，全都是以前機械臂慢吞吞移動、操作員等待、以及人肉復原現場的“無效損耗”。在我們看來，更重要的商業想象力在於：真機遙操作對工人手法要求極高，稍微抖動就成了劣質數據；而手持夾爪“人天生就會，軌跡質量極高”。這意味著後訓練第一次具備了“分佈式”的可能。未來，可能是在全國各地的普通民居里，由兼職人員拿著幾百塊錢的簡易設備做日常動作，後臺連著同一個雲端大模型，模型在誰那裡察覺到了動作分歧，就靜默抓取那一小段高質量差分數據回傳。具身後訓練，終於不需要把所有人都在實驗室裡，用機械臂完成了。

06“未來的後訓練發展，比的是速度和效率”在採訪中，啟元機器人首席科學家董豪給出了一個非常反共識的判斷：“預訓練和後訓練不是簡單的比例關係，它們是一個階段性更替。”在他看來，就像當年 DeepMind 做 AlphaGo，一開始用棋譜做模仿學習（預訓練），但真正讓它封神的，是後面自己跟自己博弈、大規模強化學習的後訓練階段。現在的機器人大模型同樣如此：預訓練解決起步的世界觀構建，路線相對清晰；但未來誰能真正走向泛化與極致成功率，勝負手全在“可規模化的後訓練”。如果說過去兩年具身智能拼的是誰先拿大模型把機器人“點亮”，那麼下半場的競爭，拼的就是誰能用最低的邊際成本、最快地構建起機器人的糾錯網絡。

在具身模型從“能跑通 Demo”跨向“進駐千萬家”的關鍵轉折點上，產業到底在打什麼算盤？下一代基模與後訓練體系又將如何演進？近期，我們也將帶來對北大副教授、啟元機器人首席科學家董豪的獨家專訪，聊聊具身學術和產業的融合和互補，敬請期待。（）上車，帶你看遍全球 AI 頂會精華可獨家暢覽：專家演講PPT大會報告全文熱門論文解讀學術新星訪談掃描上方二維碼或點擊「閱讀原文」關注專區。