人手數據，如何重塑機器人基礎模型？專訪 LaST-HD 一作劉家銘

人手數據，如何重塑機器人基礎模型？專訪 LaST-HD 一作劉家銘

機器人學習的數據難題，一直是具身智能領域最難突破的瓶頸。仿真數據採集雖快，卻始終無法跨越虛實鴻溝；真機遙操作雖能獲得高品質資料，但成本高昂、效率低落，且大量數據與機器人本體深度綁定，難以複用。在這樣的困境下，一條截然不同的路線正逐漸浮上檯面——人手數據。至簡動力近期在蘇州交付的首批 100 臺 i7 Pro 機器人，已進入 CNC 上下料等工業場景，背後所採用的正是這條數據路徑。圍繞數據路線的爭論，AI科技評論專訪了至簡動力北大聯合實驗室 RD 負責人、北京大學博士生劉家銘。他最新發表的 LaST-HD 論文，由北京大學、香港中文大學、至簡動力、乙太科技等團隊共同推出，核心概念是讓機器人學習人手動作背後的物理規律，從而將人類難以直接利用的操作經驗轉化為機器人技能。 劉家銘指出，人手數據並非全新概念，早在三四年前、VLA 尚未成為主流之前，已有不少研究嘗試利用人手數據進行模仿學習。真正的轉折點在於大模型的出現，讓這類數據第一次有機會成為機器人基礎模型的重要組成部分。過去業界普遍更信任真機數據，因為機器人直接與真實物理世界互動，看似更為原生。然而，真機數據的瓶頸十分明顯：成本極高，一條高品質遙操作數據需要機器人本體、操作員、場地等完整系統協同，採集效率遠低於人手數據；規模化也極為困難，即使全球最先進的數據工廠，本質上仍是不斷搭建新的實驗室場景，難以像人類一樣走進真實世界採集數據；此外，真實世界的多樣性難以複製，許多動作人類每天自然完成多次，但交由機器人遙操作不僅效率低落，還可能因本體限制而顯得彆扭。因此，人手數據的真正價值不僅是降低成本，更重要的是讓機器人首次有機會接觸真實世界中豐富且自然的人類行為。 對於人手數據是否會取代機器人數據，劉家銘明確表示不這麼認為。他強調，人手數據與機器人數據並非替代關係，目標也不是讓機器人完全擬合人類。機器人與人類的硬體結構本就不同，許多感知能力目前也無法做到完全一致。人手數據更重要的意義，是將人類視為最大的物理數據載體，幫助機器人理解物理世界。真正的困難不在於如何採集數據，而在於如何採集到高品質、高多樣性的數據，以及機器人如何真正學會這些數據。 過去許多研究嘗試將人類動作映射到機器人，但劉家銘團隊在 LaST-HD 中提出學習人手動作背後的物理規律，而非單純對齊動作。他解釋，真正需要對齊的不是動作，而是物理世界的變化。過去幾年業界嘗試了多種路線，包括視覺對齊、動作重定向、透過更大預訓練模型讓模型適應不同本體，這些方法都有價值，但關注的對象本質上仍是動作或視覺。後來團隊發現，人和機器人雖然動作不同，但它們改變物理世界的方式是相似的。例如推一個杯子，人類的手與機器人機械臂完全不同，運動軌跡也不同，但最終結果一致：杯子向前移動，與桌面的接觸關係改變，內裡的水也隨之晃動。真正一致的，其實是物理世界。因此，他們沒有去對齊動作，而是嘗試學習這種共享的物理規律。 關於數據採集規模，劉家銘透露，截至 LaST-HD 論文發表，公司層面預訓練中可用的人手數據約為 2000 小時，這還不包含市面上開源的其他真機和人手數據。預計年底數據量可達一兩萬小時。他認為，要達到較好的泛化能力，需考慮三個面向：品質、多樣性與數量。同一任務、同一位置收集 30 條數據對預訓練反而有害，會導致模型過擬合；目前最大的訓練量為 2 萬多小時，模型已展現不錯的泛化能力，下游微調所需的數據量和探索空間都顯著改善。 針對業界關於 VLA 與世界模型的激烈爭論，劉家銘並不喜歡將兩者視為競爭關係。他認為，許多時候它們解決的是同一個問題，只是角度不同。傳統的動作策略需要自己從零到滿分預測，而 VLA 或世界模型都是在提前提供一部分物理先驗。例如透過視頻生成或世界模型，可以先將未來可能發生的狀態預測到五六十分，後續的動作策略只需完成剩下的部分，機器人學習難度因此降低。他強調，沒有必要糾結於 VLA 還是世界模型，兩者都是為了提供更好的物理先驗與推理能力，最終服務於機器人對物理世界的理解。他並不認為 VLA 走到了盡頭，當前許多 VLA 工作表現有限，更多反映的是模型與訓練數據尚未充分、訓練策略不當，而非範式本身的能力上限。若能將指令跟隨與物理推理做好標註並真正訓練好，VLA 依然具備強大能力。世界模型擅長建模物理動態、時序依賴與歷史信息，兩者可以在系統中共存。 論文中提到的隱空間推理，正是在此思路下展開。劉家銘說明，LaST₀ 提出了幾個動機：世界模型生成有用但慢，壓縮到隱空間可大幅提升推理效率；隱空間自由度更高，能融合 3D 資訊、本體資訊、觸覺資訊，不限於影片或文字；人類在執行大多數任務時，並不需要想像出具體未來狀態，更像是一種隱空間學習。隱空間推理在 VLM 與機器人基礎模型中都是極具前景的方向。 劉家銘擁有三十多篇一作或共一論文，涵蓋 VLA、世界模型、強化學習等多個方向，但他表示博士研究主線始終圍繞同一個問題：如何讓機器人真正理解物理世界，並持續獲得泛化能力。他認為，機器人今天遇到的許多問題並非單獨優化一個模型或演算法就能解決。數據決定機器人學習的內容，模型決定它如何理解物理世界，訓練策略決定它如何持續進化，本體則決定這些能力能否真正執行。這幾個部分相互耦合，因此他的博士課題始終圍繞開放世界機器人的一體化智能體，希望將數據、模型、訓練策略與本體放在同一個系統中思考，而非各自獨立優化。 對於具身領域技術路線快速變遷，許多研究為了發表論文追逐熱點而忽略落地，但劉家銘的研究最終進入了機器人量產流程。他強調，做學術不是為了發論文，而是以應用為導向，構建真正能夠持續學習、可落地的機器人系統。例如 LaST-HD 的 Out-of-Lab 手套，並非為了論文設計，而是因為發現機器人最大的瓶頸是高品質原生人類數據；Mixture-to-Human 訓練策略也不是為了刷 benchmark，而是希望機器人部署後能用少量人手數據快速適應新場景與新用戶。他欣賞的論文風格是系統工程，認為真正的機器人基礎模型不應只關注模型，而應同時考慮數據採集、模型、訓練、本體等問題。LaST 系列正是朝這個方向邁進的一步。 LaST 是一個系列，LaST-HD 只是其中一個環節。整個系列圍繞機器人如何學習持續推進：LaST₀ 關注機器人基礎模型，LaST-R1 探索後訓練提升模型能力，TwinRL 結合數字孿生讓機器人更高效完成強化學習，LaST-HD 則利用人手數據讓機器人學習人類豐富的操作經驗。近期還有其他新工作在真機上表現不錯，這些工作共同補齊了機器人學習過程中的不同短板。 至簡動力此次百臺交付，對劉家銘而言，驗證了從數據、模型、訓練策略到本體的一體化管線是可以跑通的。雖然量產主要由產品方向同學推進，他負責前沿技術探索與技術支撐，但 LaST 系列的工作從手套設計到物理對齊再到後訓練，最終都要在真機上驗證，百臺交付正是這個驗證節點。 論文中提到先用隱空間對齊做預訓練，再透過少量人手糾錯數據快速微調，這個設計並非只為了提升 benchmark 分數，而是源於工業界反推回來的思路。劉家銘團隊想探究一種全新的 ToC 範式：機器人離開實驗室、進入用戶家中後，不停止學習，而是持續適應，越來越符合該家庭與用戶的使用習慣。目前進家後的範式有三種：遙操（學到的是遙操員的習慣，非用戶習慣）、全場景重建在仿真迭代（涉及隱私且 sim-to-real gap 存在）、以及他們提出的範式——用戶戴上輕量級手套，在家中按自己習慣操作幾次，交給機器人進行簡單迭代更新，可能僅需幾十分鐘，機器人就能將精度提升，更重要的是學會用戶的習慣，形成專屬的個人化機器人。 這個願景的技術關鍵在於手套收集的數據品質。如果品質到位，少量高品質人手標註數據確實能快速幫助機器人適應新環境。在實驗室特定任務與場景下，團隊統計得到 90% 以上的成功率，目的不是為了秀數字，而是驗證新範式的可能性：用戶戴上手套試教幾個小時甚至更短，機器人就能適應新環境、新場景、新任務。他認為機器人進家是早晚的事，但真正重要的是進家後比別人多想一步——用戶肯定希望機器人按照自己的方式與習慣工作，而非別人的方式。個人化是他們一直想注入給機器人的能力。 對於靈巧手的落地場景，劉家銘預測，未來幾年靈巧手更可能優先落地於半開放環境，例如工業柔性製造、自動化實驗室、商業服務等。這些場景任務複雜但環境相對可控，適合高自由度機器人部署。他提醒，若沒有良好的靈巧手售後支持，不建議進行靈巧手科研實驗，因為折手、斷手、冒煙幾乎每週都會發生。家庭場景是最終目標，但面對完全開放的環境，不同家庭、不同用戶、不同操作習慣，高自由度加上高泛化難度，挑戰極大。這也是團隊探究手套數據的意義——看看規模化後，能否更好地與模型融合，實現穩定、安全的操作。 談及具身智能的終局比拼，劉家銘認為不是 80% 與 81% 的內卷，而是最後 20% 的長尾與個人化。預訓練能將模型基礎能力拉到 80 分，大家都能做到；他特別喜歡的概念是「機器人千人千面」，不僅要在下游任務中賦予機器人百分百的精度，還要讓它學會用戶的操作習慣與邏輯。場景自適應、持續學習、個人化記憶，才是拉開差距的關鍵。數據飛輪的關鍵不在於採集得多，而在於真實場景、持續回流、在線優化。誰能把這套閉環跑通，誰才能笑到最後。