IT之家生成式AI

小米開源 Xiaomi-Robotics-U0:具身領域首個“通吃”四類任務的統一生成模型

2026年7月15日 14:52
小米開源 Xiaomi-Robotics-U0:具身領域首個“通吃”四類任務的統一生成模型

重點摘要

小米開源了具身領域首個統一生成模型 Xiaomi-Robotics-U0,擁有 380 億參數,能一次處理場景生成、軌跡遷移、影片生成及圖像編輯四類任務。該模型在 WorldArena 評測拿下全球第一,真機測試中任務完成進度平均提升超過 26%,相關程式碼與權重已全面開源。

站內 AI 整理稿

小米今日正式開源一款名為 Xiaomi-Robotics-U0 的具身智能基礎模型,這是一個擁有 380 億參數的多模態自迴歸生成模型,也是業界首個能夠同時涵蓋四類不同任務的統一生成框架。該模型突破了過去機器人數據生成與編輯各自獨立的瓶頸,將圖片、視頻的生成與編輯能力整合到單一架構中,為具身智能領域提供了一套可規模化、可控且高效的數據解決方案。Xiaomi-Robotics-U0 的核心亮點在於它具備四種關鍵能力。首先是具身場景生成(Scene Generation),模型能根據使用者輸入的文字描述,自動為指定的機器人本體生成多視角的初始場景。

無論是簡單的桌面、標準的廚房或倉庫,還是更複雜的開放世界環境,只需要透過語言描述,就能產生對應的機器人觀測資訊,大幅降低真實場景採集的成本與時間。其次是具身遷移(Embodied Transfer),這項功能允許將已有的機器人運動軌跡遷移到全新的環境中。舉例來說,使用者可以改變場景的光照條件、背景樣式、桌面材質、目標物體或工作區風格,同時完整保留原始軌跡中機械臂的位姿以及場景的整體佈局。這意味著同一組操作數據可以在不同的虛擬空間中反覆使用,無需重新進行實體佈置與採集。第三項能力是機器人交互視頻生成(Video Generation)。模型可以根據初始觀測畫面與操作指令,自動生成後續的連續視頻。

生成結果不僅要求動作連貫,還必須維持物理一致性,例如物體碰撞、重力影響等,而且具備零樣本泛化的特性,能直接套用在未曾見過的任意場景中。這對於訓練機器人處理未知環境的突發狀況極具價值。最後,Xiaomi-Robotics-U0 同時保留了通用文生圖(Text2Image)與圖像編輯(Anything2Image)的能力。這使得模型能夠承接網際網路上大量視覺知識,並將其遷移應用到具身智能任務中,例如根據文字描述修改圖片中的物體、光照或背景,從而豐富訓練數據的多樣性。

官方表示,Xiaomi-Robotics-U0 在保持幾何一致性的前提下,既能對已有的數據進行增強——例如替換物體、改變光照、更換背景、加入干擾因素——而無需重新採集;也能從零開始生成全新的場景,涵蓋危險、極端或長尾等機器人難以在真實環境中碰到的情況。這對於提升機器人在邊緣案例中的適應能力尤其重要。在效率方面,小米這次推出了 FlashAR+ 推理加速方案,使得模型的生成效率相較於原始的自迴歸範式提升了將近 83 倍。這樣的加速效果大幅降低了工程部署的時間成本,讓規模化生成具身訓練數據來增益模型效果成為現實可行的路線。

根據官方公布的評測結果,在 WorldArena 基準上,Xiaomi-Robotics-U0 以總分第一名擊敗了全球 126 個參評模型。此外,在真實機器人測試中,針對未知光照與陌生背景等分布外(Out of Distribution)場景,使用該模型擴增數據訓練的策略,其任務完成進度平均提升了超過 26%。評測榜單上使用的匿名代號為 UNIS,數據時間為 2026 年 7 月 15 日。Xiaomi-Robotics-U0 的相關代碼與模型權重目前已全量開源。

有興趣的研究人員與開發者可透過小米機器人官方項目主頁、GitHub 代碼倉庫、Hugging Face 模型權重頁面以及魔搭社區取得完整資源。這項開源動作不僅展示了小米在具身智能領域的技術積累,也為學術界與工業界提供了一個可直接使用的統一生成基礎模型,有望加速整個領域的數據生成與訓練流程標準化。

Related

相關文章

MarkTechPost AI生成式AI

NVIDIA AI 推出 NOOA:將 AI 代理轉化為單一 Python 類別的物件導向框架

NVIDIA 實驗室開源了 NOOA(NVIDIA 物件導向代理),這是一個與模型無關的 Python 框架,用於建構 AI 代理。傳統的代理開發分散在提示模板、工具架構、回呼程式碼和工作流程圖中,而 NOOA 將所有這些整合到一個 Python 類別中:方法代表模型可採取的動作,欄位代表代理狀態,文件字串作為提示,型別註解則是執行時期強制執行的合約。主體為「...」的方法由 LLM 驅動的迴圈在執行時期完成,而具有正常主體的方法則保持確定性的 Python 程式碼。開發者與模型因此共享同一介面,使代理行為能像一般軟體一樣進行測試、追蹤、重構和版本控制。NVIDIA 報告在 SWE-bench Verified 上達到 82.2%,在 CyberGym L1 上達到 86.8%,平均 RHAE 為 85.1%。

36 分鐘前

六巨頭定AI插件新標準,撞臉Claude,Anthropic沒上桌

六大科技巨頭(AWS、Anysphere、GitHub、微軟、OpenAI、Vercel)聯合發布AI智能體插件統一開放規範Agent Plugins 1.0.0,旨在統一插件打包格式,減少開發者重複勞動。該規範的結構與Anthropic的Claude Code插件系統高度相似,但Anthropic並未參與制定,而是繼續經營自己的封閉生態。

2 小時前
鈦媒體生成式AI

DeepSeek重啟融資,三年市值對齊騰訊?

DeepSeek重啟第二輪融資,以5000億元人民幣估值尋求籌集80億美元,但網傳一份由小型醫藥私募發起的專項基金募資材料引發網友質疑,後經DeepSeek員工證實部分數據屬實。該公司近期宣布API大幅漲價,可能打破其以低價換規模的估值邏輯,面臨客戶流失風險。市場關注其能否從「價格屠夫」轉型為價值提供商,以及三年內市值能否對齊騰訊等巨頭。

3 小時前

可靈AI核心技術骨幹王鑫濤被曝離職

快手可靈AI核心技術骨幹王鑫濤被曝離職,去向未知,快手官方與本人均未回應。王鑫濤是圖像與視頻生成領域知名開源項目主要作者,被視為可靈從0到1的關鍵推手。其離職發生在可靈完成獨立融資、估值180億美元的關鍵階段,可能影響研發進度與競爭優勢。

3 小時前