具身的數據管線，到底應該怎麼做？

數據規模不斷擴大，有效性卻沒有跟上。作者丨向 欣 編輯丨高景輝 ：一傢俱身數據廠商告訴我們，他們向模型廠商交付了幾萬小時數據之後，對方反過來問了一句：能不能順便幫忙把模型也訓練出來，好讓他們“交個差”，原因是模型廠商自己心裡也沒底，不知道這批數據喂進去能訓出什麼結果。這種焦慮與無力，是當下不少模型廠商的真實狀態，他們面臨的真實困境是：雖然在不斷花錢採集、購買數據，數據規模不斷擴大，但數據的有效性卻沒有跟上。錢花出去了，效果卻像打了水漂。年初，不少具身公司聲稱今年要採集百萬級別的數據。

大半年過去，確實有公司宣稱已經積累了百萬數據，但模型能力上似乎沒有看到對應的提升，反而被 GPT 的 Astra 搶了風頭。問題不僅在於數量，還在於數據管線。數據被大量採集回來，但從採集到進訓練之間那段加工鏈路存在大量問題：篩選沒有細粒度標準，數據難以跨本體遷移，數據質量至今沒有公認的評測機制。具身的數據多了，可用數據卻不一定多。具身數據管線該怎麼做？為此，我們與機器人基礎模型公司行元智能創始人兼CEO楊世琦聊了聊，試著拆解這條數據鏈路上的關鍵難題，以及如何讓規模不斷增長的數據真正轉化為模型能力。今天，我們就把這條管線拆開聊透。

01數據量在漲，但「可用數據」沒跟著漲一條原始數據要變成機器人可以學習的數據，通常要經過五個環節：首先是數據篩選，剔除畫面模糊、動作中斷、軌跡異常等低質量樣本；其次是數據標註，給操作過程補充任務、物體狀態、動作階段和語言指令等信息，讓模型能夠理解數據中發生了什麼；第三是動作轉換，將人類示範或一種機器人產生的動作，映射到目標機器人能夠執行的動作空間；第四是數據驗證，通過規則檢查、仿真測試或真機實驗，判斷數據是否合理、能否執行；最後是反饋迭代，結合模型訓練和實際部署的表現，調整數據篩選、標註和轉換策略。這條鏈路的絕大部分環節都已可以自動化，但在實際操作中存在不少難題。

首先，數據缺少統一、細粒度的篩選與評價標準。從大語言模型的經驗來看，如果訓練中混入一批dirty 數據，帶來的降智大概率是永久性的，會在整個模型生命週期中持續產生影響。但目前業內仍然沒有一個可規模化的數據篩選機制。一段視頻畫面清晰、動作完整，不代表它對模型訓練有用；一條轉換後的軌跡符合運動學約束，也不意味著機器人能夠在真實環境中順利完成任務。數據供應商和模型公司對“高質量”的理解存在差異，如何衡量一份數據的實際訓練價值，仍然是個難題。其次，從人類動作到機器人動作的轉換存在明顯門檻，也就是做動作重定向難。不同機器人的關節結構、工作空間和末端執行器各不相同，同一項任務可能需要不同的操作策略。

尤其在人類第一視角視頻中，往往缺少機器人關節狀態、力覺等信息，系統需要從有限的視覺觀測中恢復空間關係，再生成適配目標機器人的動作。對於結構相近的機械臂，可以通過逆運動學等方法求解；但如果末端執行器差異很大，問題就會複雜得多。人類用五指手抓住一個物體時，可以調整多個手指的位置和施力方式；夾爪執行同樣的任務，採用卻是完全不同的接近角度和抓取策略。兩者難以使用同一套動作軌跡。除了數據管線本身的技術難題，行業也存在不少亂象。一是數據處理分工混亂，數據採集、數據處理和模型訓練往往由不同團隊承擔，各方的交付標準和評價指標未必一致。二是許多公司依賴開源管線。

不少團隊使用開源工具拼接處理流程，卻缺少針對具體模型、任務和機器人本體的系統設計。行業討論容易聚焦採集了多少小時、積累了多少條軌跡，對數據經過哪些處理、多少樣本最終可用、能否改善下游任務表現，披露相對有限。結果是，數據規模、可用數據規模和真正產生訓練收益的數據規模，容易被混為一談。建立完整的數據管線，並用訓練和部署結果驗證每個環節的價值，正在成為比單純擴大采集量更需要解決的問題。02採集門檻越低，管線要求越高具身數據的來源越來越多，但不同數據類型面臨的管線難題並不相同。目前行業主要探索四類：真機遙操作、仿真、UMI，以及人類第一視角視頻。真機數據質量和部署一致性最好。

真實機器人產生的數據與目標機器人的控制、傳感器和執行環境接近，容易直接驗證。代價是貴：機器人、操作人員、場地和任務都需要投入；其次還是跨本體難，在 A 機器人上採的數據要用到 B 機器人上，每家處理方式不同，做出來的跨本體能力也不一樣。仿真數據的優勢是非常容易擴量，缺點是常談的 Sim2Real gap。以 robot 為主的大量仿真器，下層物理引擎已經很多年沒有足夠大的變動，無法準確反映摩擦力、物體形變、接觸位置等信息，這個缺陷在裝配、抓取、擰轉這類需要精確控制接觸的富接觸任務中尤其明顯。

UMI 等低成本操作採集方案通過更輕量的採集裝置記錄人類操作，減少了對完整機器人遙操作系統的依賴，讓單條數據更便宜、更容易採集。但它仍然需要人主動執行任務、使用特定設備，不同UMI採集裝置與機器人之間還存在動作映射和適配問題。本質上它仍是項目制驅動的增量數據，多樣性和 scaling 上限受採集組織方式約束。第一視角人類視頻打開了更大規模的數據來源。人類日常生活中本來就存在大量操作行為，頭戴相機、智能眼鏡等設備有機會持續記錄，降低專門組織採集的成本。但這條路線將更多壓力轉移到了數據管線。

首先，視頻通常缺少機器人系統能直接使用的關節狀態和動作信息，系統需要從視頻中提取手部、物體和動作，再恢復空間關係。其次，採集設備差異更大，畫質、視角、幀率和傳感器配置各不相同，管線需要消化這些差異。來源越廣，原始數據質量就越難統一，日常視頻裡既有有價值的操作，也有大量與訓練目標無關的內容，需要更高效的篩選方法。再次，人類操作與機器人本體之間存在差異，視頻中的人可以用靈巧的雙手完成任務，機器人可能配備不同結構的手或夾爪，系統需要將人類動作轉換成目標機器人能夠執行的動作。

四條路線各自的優勢和短板可以歸納為：真機數據更貼近真實執行，仿真更容易擴量，UMI 降低了部分採集門檻，人類第一視角視頻有機會獲得更豐富、更自然的數據來源。其中的基本矛盾是，降低對採集設備的限制，有利於擴大數據規模，卻會增加清洗、空間重建和跨本體轉換的工作量。也就是說，數據源越豐富，就越需要能夠統一處理不同設備、不同動作表徵與不同機器人本體的數據基礎設施。更重要的是，數據來源的擴展不等於直接擴展了模型可學習經驗。如果目標是持續擴大可用數據的規模，優先實現Scaling，人類第一視角視頻與UMI無疑是最具潛力的路線；但要把它真正用於機器人訓練，關鍵在於建立足夠可靠的數據處理管線。

這也正是行元智能選擇的方向。03把人類操作視頻變成機器人訓練數據行元智能最近發佈了面向機器人預訓練的跨本體數據引擎 Chorus（眾行），能夠將來自不同設備的人類操作數據，轉化成適配不同機器人本體的訓練數據。和單純追求數據規模不同，Chorus 的一個重要設計思路，就是從機器人學習和部署的需求來反推數據應該如何組織。具體來看，它針對前面提到的幾個核心問題，做了五件事。第一，不限制數據來源，儘可能將能用的數據用起來。智能眼鏡、胸戴相機、腕部相機、UMI 等設備採集的數據，都可以進入 Chorus。

不同設備的拍攝視角、畫質和深度信息存在差異，行元採用基於 learning-based 方法處理這些差異，同時用足夠多的配對數據訓練，信息較少的設備也能夠儘可能恢復出更可靠的空間信息，例如可以讓單目相機逐步逼近雙目效果。數據進入管線後，系統還會記錄其來源、評估質量並進行分級，再根據訓練階段調整不同數據的使用比例。這樣做的目的，是儘可能利用已有數據，形成一個合理的數據配方，避免質量參差不齊的數據直接混在一起。第二，把跨本體作為設計前提。Chorus能夠將一份人類數據轉成多種機器人可用的訓練數據；新增機器人時，不必從頭重跑全部原始數據。

行元的做法是，先在機器人的 system 側把不同 controller 和部署能力搭建起來，再反推管線該輸出什麼，順序上保證了跨本體不是事後補丁。做好跨本體表徵，必須既清楚哪些信息與硬件無關，又保證動作遷移所需的信號足夠，這要求設計者接觸過足夠多的機器人本體，並深度理解這些機器人硬件、傳感器排布和控制器輸入。行元創始人兼 CEO 楊世琦畢業於加州大學聖地亞哥分校，師從王小龍教授，是較早開展跨本體操作與人類數據學習方向的研究者之一，在具身行業早期搭建過多機型的控制系統和數據方案，積累了深厚經驗。第三，可以對第一視角數據做完整重建。

整條轉化鏈路一共分為五步，層層遞進：基礎清洗之後，第一步是幀級原子動作標註，按任務、動作、交互物體逐級拆解視頻，記錄左右手在不同時段的動作以及接觸對象。第二步開展二維分割、深度估計與手部定位，識別出手、工具、交互物體等關鍵目標。第三步將二維信息還原為完整三維場景，重建相機軌跡、手部位姿與物體六維姿態，保證空間邏輯自洽。第四步，引入運動學與動力學約束動作重定向，在仿真環境校驗目標機器人能否復現該動作，輸出適配機器人的三維軌跡。第五步再將三維場景渲染回二維畫面，讓訓練輸入和真機部署時的感知形式對齊，抹平訓練和落地之間的差距。

和仿真數據相比，這套方案源自真實觀測，不存在物理引擎帶來的偏差，物體交互變化貼合現實規律，兼顧成本與數據質量。行元技術聯創楊靖康長期深耕第一視角視頻理解與多模態學習，主導過 EgoLife 等代表性工作，這也是 Chorus 處理人類第一視角數據的重要技術積累。第四，建立可量化的評分體系。Chorus 從操作豐富度、標註質量、三維可恢復性、機器人可遷移性和視角穩定性五個維度為數據評分，數據評分既用於篩選和評估訓練數據，也能為具身模型的訓練提供指導信號。第五，把閉環納入設計。Chorus 不僅處理各路來源的人類數據，也為真機部署後的數據迴流預留通道。

部署端的失敗識別靠一個 learning-based 的 state policy 監測機器人狀態，初期由工程師主動干預產生訓練信號，部署越久、接管越多，監測越準；部署方法論上先重設計 SOP、再算 ROI，接受人機並行，逐步提高自動化程度。這五件事，對應的是行業管線五個痛點：來源複雜難統一、跨本體難、第一視角轉化難、質量難量化、閉環缺失。Chorus 將這五個問題納入一套數據引擎中解決了。04模型廠商必須自己定義數據管線評價一套具身數據管線做得好不好，關鍵要看三個問題：原始數據能轉化出多少有效訓練數據、這些數據能否真正提升模型能力，以及整個過程的成本能否支撐規模化。

行元給出的數據是：平均可用數據轉化率提升至 85%；在當前測試配置下，通過 16 種機器人本體適配，將每小時有效機器人軌跡的處理成本降至 15 元；結合 3 倍指令增廣，可實現約 40 倍的有效訓練數據擴容，單位訓練樣本的等效成本約 5 元/小時。此外，行元此前發佈的 Continuo 可部署於可穿戴設備，支持人類動作視頻的規模化採集與連續理解；計劃年內推出的 Duet，則是面向真實部署的人機共駕系統，機器人自主執行，遇到困難主動請求接管，一人可按需監管多臺，接管產生的糾正經驗迴流用於後續訓練。

Continuo（隨行）、Chorus（眾行）、Duet（同行）共同構成行元從真實世界經驗走向物理行動的學習基礎設施。不難看出，行元的數據管線、模型訓練和部署系統是耦合的。行元認為，模型廠商必須自己定義數據管線：不知道目標機器人需要什麼輸入輸出，就不知道管線該輸出什麼；把管線交出去，等於把 scaling 的解釋權也交出去。行元三個 Chapter 是這條理念的展開：Continuo 解決數據從哪來，Chorus 解決數據怎麼變成訓練信號，Duet 解決部署後的經驗怎麼迴流。回到開頭那個問題：當行業已經積累了越來越多的具身數據，為什麼數據還沒有充分轉化為機器人的能力？

行元的解法是，通過兩條路徑推動具身數據 Scaling：一條開發人類日常活動中的數據價值，尤其是規模龐大的人類第一視角視頻，構建一個數據處理能力極強的跨本體數據管線，降低經驗轉化的成本；另一條是從機器人部署中積累真實數據，讓模型在執行過程中不斷獲取新的學習經驗。要讓這些數據真正服務於不同形態的機器人，底層還需要解決跨本體問題。這構成了行元從人類數據採集、跨本體轉換到部署反饋的整體思路。但數據擴大，只是解決了問題的一半。數據和模型之間並非簡單的供給關係。數據管線決定了哪些真實世界的經驗能夠進入模型的學習目標，而訓練表現和真實部署的反饋又反過來決定什麼樣的數據更有價值，需要什麼樣的處理方式。

只有把數據的生產、轉化與模型訓練聯繫起來，數據規模的增長才有可能促進模型能力的良序提升。楊世琦告訴我們，這也是行元選擇把數據管線與模型研發深度結合的原因。對機器人基礎模型而言，Scaling 不只是不斷增加訓練數據，更需要在數據與模型的相互迭代中，提升每一份數據的學習價值。當然，這只是其中一條路線。真機採集、仿真、UMI 和人類視頻各有優勢，數據的表達方式、轉換方法和訓練機制也仍有探索空間。具身智能需要 Scaling，但 Scaling 不僅需要大規模的數據支撐，還要找到讓更多數據真正發揮作用的方法。行元的探索，讓行業看到數據規模化已經有了一些具體且可行的工程解法。

這或許也是具身數據管線接下來值得關注的方向：如何讓已有的真實世界中豐富的經驗，以更低成本、更高效率進入機器人的學習過程。上車，帶你看遍全球 AI 頂會精華可獨家暢覽：專家演講PPT大會報告全文熱門論文解讀學術新星訪談掃描上方二維碼或點擊「閱讀原文」關注專區。