雷峰網生成式AI

給機器人造一座「數據工廠」,小米 Robotics-U0 如何破解具身智能最難的一道題?

2026年7月16日 02:53

重點摘要

小米推出並開源Xiaomi-Robotics-U0,這是全球首個統一的具身智能生成模型,能同時完成場景生成、軌跡遷移與交互影片生成,有效解決機器人訓練數據短缺問題。該模型在WorldArena基準測試中取得全球第一,真機評測顯示任務完成進度平均提升26.3%,並透過加速方案將生成效率提升82.9倍,大幅降低數據生產成本。

站內 AI 整理稿

在世界各地,有越來越多的人正在擔任機器人的「幼教」。在印度的一些工廠裡,工人頭戴攝影機執行組裝、分類與搬運任務,記錄下第一人稱視角的完整操作過程;特斯拉 Optimus 的訓練場中,工作人員佩戴裝有多顆鏡頭的頭盔與背包,在固定區域內反覆執行拿杯子、擦桌子、拉窗簾等動作;也有數據公司付費請一般人拍攝自己摺衣服、洗碗、整理房間的日常。這些工作的共通點,是將人類早已熟練的動作重新示範、拆解並記錄,讓機器人透過觀察、模仿與反覆練習,學習如何在真實世界中行動。 過去一年,機器人翻滾、跑步、格鬥甚至摺衣服的影片屢屢在社群媒體上引爆討論,證明機器人已經能夠執行越來越複雜的動作。但從一次性的展示走到長期穩定運作,機器人還需要適應不同的環境、物體與任務,並且在失敗中持續進化。這個過程仰賴一個持續運轉的數據閉環,涵蓋數據收集、篩選、儲存、訓練、模擬、驗證與回饋;而目前最卡住整個產業進度的環節,正是數據收集。 語言模型可以從網際網路取得大量文字與圖片,但機器人卻沒有同等規模的「物理世界網際網路」。具身模型訓練需要同時收集目標看到了什麼、採取了什麼動作,以及這個動作如何改變自身與周遭環境。這種相互對應的視覺、動作與狀態數據,通常只能透過真實機器人操作、人類遠端操控或專門的數據採集來取得。然而,人工與真實機器人採集都很難快速擴大規模。就算增加設備、攝影機與採集人員,可以獲得更多樣本,但訓練時間、算力與儲存成本也會線性成長;更棘手的是,那些低發生頻率與極端場景依然難以收集。 因此,具身智慧要解決數據短缺問題,除了設法擴大採集規模,也開始嘗試透過生成模型來擴展訓練數據。然而,現有的合成數據方案多半由多個模型分別負責不同環節,任務之間彼此割裂,不僅增加複雜度,也容易在跨模型處理時破壞場景的一致性。小米正式發表並開源的 Xiaomi-Robotics-U0,正是為了解決這個困境而生。它將多類生成任務整合進同一套框架中,能夠完成具身場景生成、具身遷移與機器人互動影片生成,同時保留了通用的文生圖與影像編輯能力,為機器人訓練持續提供更多可用的數據與場景。 作為具身領域全球首個統一生成模型,Xiaomi-Robotics-U0 已經同時驗證了生成品質、數據有效性與工程效率。在由清華大學、北京大學等機構聯合建立的 WorldArena 基準測試中,U0 以匿名代號 UNIS 參賽,拿下全球總分第一;在真實機器人評測中,使用 U0 擴增數據訓練後的機器人策略,在未知光照、陌生背景等分布外場景下,任務完成進度平均提升了 26.3%;透過 FlashAR+ 推理加速方案,U0 的生成效率相較原始自迴歸範式提升了 82.9 倍,也將大規模生產具身數據的時間與算力成本壓縮到可以大量應用的水準。 ### 三項關鍵創新:統一、可控、高效

Xiaomi-Robotics-U0 最核心的創新,是全球首次在具身生成領域用一個統一模型涵蓋四類生成任務,包括具身場景生成、具身遷移、機器人互動影片生成,以及通用文生圖與影像編輯能力。過去,這些任務通常由不同模型分別執行,每個模型都有自己的數據格式、訓練方式與推理路徑,彼此難以共享能力。一段真實機器人數據經過多個系統處理後,不僅增加工程成本,也不利於持續擴大數據規模。 U0 的做法是將這些任務放進同一個模型。例如,研究人員已經採集了一段機械臂將耳機放入收納盒的操作軌跡,U0 可以在保留原始動作關係的情況下,更換耳機的外觀、調整光照、改變桌面背景,或者加入反光物體與其他視覺干擾,無需重新組織一次真實機器人採集。模型還能從零生成新的工作檯與物體組合,補充危險、極端或低頻出現的長尾環境。機器人在現實中很難經歷的邊緣場景,可以先用生成方式加入訓練數據。通用文生圖與影像編輯能力被納入統一架構後,模型還可以利用通用視覺模型累積的知識——真實機器人數據涵蓋的物體與環境始終有限,但網際網路視覺數據中包含海邊、醫院、倉庫等不同場景與各種材質、光照條件,這些視覺知識能夠用來擴展具身任務中的場景範圍。 然而,數據能否批量生成,與數據能否用於機器人訓練,是兩回事。普通影像模型更關注生成結果是否符合指令,只要整體畫面看起來合理,就算物體出現輕微位移,通常仍算成功。但具身數據要求更嚴格:機械臂的位置、夾爪與物體的接觸關係、桌面的空間結構,以及不同攝影機畫面之間的幾何關係,都必須與原始動作軌跡對應。修改背景或光照時,如果這些資訊發生變化,生成的畫面就無法繼續匹配原有的動作標籤,也很難直接用於策略訓練。 為此,U0 設計了五維解耦的控制方式,將生成過程拆解為工作檯布局、前景操作物體、前景無關雜物、光照條件與背景資訊五個維度。每個維度都可以透過自然語言獨立控制,只改變需要調整的變數,同時盡量保留其他結構與軌跡資訊。例如,模型可以只改變光線,不動機械臂與物體位置;也可以替換操作對象,同時保留工作檯結構與原始軌跡;還可以增加桌面雜物,用來測試機器人在有干擾的環境中能否完成任務。 ### 效率與成本的大幅壓縮

在解決統一性與可控性之後,U0 還要面對生成效率與成本的問題。如果生成一條數據需要過長時間與過多算力,即使模型能夠涵蓋更多任務,也很難真正支撐大規模使用。Xiaomi-Robotics-U0 採用了 FlashAR+ 推理加速方案,在 FlashAR 的基礎上進一步適配影像編輯、具身遷移與多參考圖生成,並結合對角並行解碼與 vLLM 的分頁 KV 快取、批次調度能力,提高推理速度與資源利用率。根據小米公布的數據,在 1024×1024 解析度下,U0 的單樣本生成時間由 450.77 秒縮短至 5.44 秒,生成效率提升約 82.9 倍。生成成本的下降,使一條真實軌跡能夠批量衍生出大量不同場景,也讓模型更容易部署在有限的算力資源上。 ### 全球第一與真實場景驗證

機器人策略的泛化能力,很大程度上取決於訓練數據是否足夠多樣。過去,NVIDIA Isaac Sim 等平台也曾嘗試用合成數據緩解數據不足,但合成數據始終有一個難點:生成的環境與真實世界之間存在差距。畫面中的深度、物體位置、接觸關係與運動規律,只要有一項出現偏差,機器人在合成環境中學到的能力就可能無法遷移到真實機器人。 從小米公布的真機評測結果來看,使用 U0 擴增數據訓練後,機器人在未知光照、陌生背景等分布外場景中的任務完成進度平均提升了 26.3%。在耳機收納這類精細操作、毛巾摺疊這樣的可變形物體操作,以及物品裝箱這類長流程任務中,表現也都有提升。面對反光物體、彩色燈光等視覺干擾時,只使用原始真機數據訓練的策略更容易因為識別偏差而停滯甚至直接失敗;加入 U0 擴增數據後,機器人即使出現動作偏差,也能根據後續觀測重新判斷環境並調整動作。這說明 U0 的數據擴增策略不僅擴大了數據量,也提升了對陌生環境的覆蓋能力。 此外,在與當前頂尖閉源模型 GPT-Image-2.0 的對比中,Xiaomi-Robotics-U0 也展現了更好的可控性。兩類模型之間最明顯的差距出現在多視角幾何與機械臂位姿的保持上。GPT-Image-2.0 可以按照文字指令替換物體與場景,生成結果在視覺上大致符合要求,但在不同攝影機視角中,物體位置有時會偏移,空間結構可能變形,機械臂姿態也不一定能完整保留。對於普通影像編輯來說,這些偏差可能只影響畫面品質,但對具身數據而言,同一時刻的多個視角必須對應同一個真實空間,機械臂與操作物體也必須繼續匹配原始動作軌跡;只要其中一個視角發生錯位,生成數據就很難繼續使用原有動作標籤。 小米還對 U0 的場景生成與具身遷移能力進行了單獨評測,兩項測試都設有簡單與困難兩檔任務。根據人工評測結果,U0 在兩類任務中的整體表現均優於參與對比的其他模型。在外部評測中,U0 以匿名代號 UNIS 參加 WorldArena 基準測試,截至 2026 年 7 月 15 日,該榜單共有 126 個模型參賽,UNIS 獲得總分第一,並在指令遵循、互動品質與視角一致性三個子項中排名第一。 ### 一座低成本的「具身數據工廠」

從更大的產業視角來看,U0 的開源解決了如何低成本生產有效數據的問題。過去,業界擴大具身數據規模主要依賴增加機器人數量、延長真機運行時間、組織更多人工示範,數據成長與設備、人力、時間投入高度綁定,規模越大成本越高。小米透過 U0 給出的路徑是:在已有真實數據的基礎上繼續生成新的場景與樣本,讓數據擴張不再完全依賴新增採集。U0 把場景生成、軌跡遷移與互動影片放進了同一條數據處理鏈路,模型可以先構造工作檯與物體,再遷移已有操作軌跡,最後生成後續的機器人互動過程。這樣一來,具身數據的擴展不再需要多個彼此獨立的工具。 在多數公司仍圍繞機器人本體、VLA 模型與真機數據採集擴大投入時,小米已經先行進入數據基礎設施層,嘗試解決整個行業都要面對的數據成本與長尾覆蓋問題。U0 就像一座可控、可用、低成本的「具身數據工廠」。雖然真機採集仍然不可替代——機器人需要從現實世界獲得真實的動作、接觸與反饋,生成模型也要依靠這些數據不斷校準——但有了 U0,一條真實數據不再只能對應一個固定場景。它可以被擴展到不同的環境、物體與視覺條件中,形成更多訓練樣本。當具身數據開始具備更高效率、更低成本與更強可控性時,模型訓練就不必完全受限於現實世界的採集速度,整個行業也由此擁有了繼續擴大數據規模、提高泛化能力,並最終支撐機器人大規模落地的重要基礎。

Related

相關文章

清華團隊推出AI學習神器“AI Cosmos”,“對話即學習”

清華大學計算機系CoAI課題組推出免費AI學習產品AI Cosmos,主打「對話即學習」,能在單一對話流中實現互動視頻、模擬實驗與個性化講義等多元學習體驗。產品近期推出「雲課堂」功能,支援教師一鍵建立課程、自動生成大綱並整合核心能力,已在清華校內及各地中小學進行試點。

剛剛

談談緣何元數據死灰復燃

一家金融公司去年導入AI智能問答系統,原本準確率不到40%,技術團隊用了最好的模型、調整多次提示詞,卻仍無法讓大模型正確回答業務問題。後來團隊改變策略——不修模型、不加大算力,而是回頭整頓元數據。把所有業務定義、字段口徑、表歸屬、質量標籤與血緣關係餵進元數據平台,讓AI代理在生成SQL前先檢索相關上下文。結果準確率從40%直接躍升至87%。這個真實案例,揭示了AI時代一項基礎設施的復活:元數據,這個曾被企業嫌棄十幾年的「倉庫管理員」,正在迎來第二春。

剛剛
鈦媒體生成式AI

全球AI巨頭集體調頭:大模型的價格戰結束了

全球AI巨頭集體調頭:大模型的價格戰結束了硅谷Tech news2026.07.16 12:17 · 來自上海全文4794字00:00 / 12:43不是最強,但值得一試。“Grok 4.5不是最強的大模型,但它值得一試。”7月15日,馬斯克在X上發了這麼一句話。語氣平淡。

剛剛