銀河通用&清華 LATENT：用「不完美人類數據」讓機器人學會網球對打 | IROS 2026

5小時動作碎片，最後變成了機器人的身體直覺。作者丨吳思夢 編輯丨岑 峰 馬曉寧 如果你玩過《Mario Tennis》或者《TopSpin》，大概不會覺得打網球是一件特別複雜的事。球飛過來，移動人物，判斷落點，在合適的時機按下擊球鍵。尤其在《Mario Tennis Aces》裡，遊戲甚至把網球進一步拆成了一套很直觀的動作語言：正手、反手、上旋、切削、吊高球，甚至還有需要精確卡點才能完成的特殊擊球。

Mario Tennis Aces 遊戲畫面現實裡的網球當然遠比這些複雜，遊戲做的事情是“動作映射”（action mapping），本質上是把玩家一個非常抽象的“按鍵操作”，映射成角色一整套複雜的身體動作。玩家不需要知道這個動作是怎麼完成的，因為中間的運動控制被遊戲系統接管了。球什麼時候落地、身體什麼時候轉腰、腳要往哪邊邁、手臂應該以多大的速度揮出去，這些事情在遊戲裡幾乎都被隱藏。玩家看到的只是一個簡單的輸入，遊戲引擎負責把它翻譯成一連串完整的身體動作。哪怕球飛得再快，角色也不會因為來不及調整重心而站不穩，更不會因為腳下慢了一步，整個人失去平衡。

但如果把這個“按一下就能揮拍”的角色換成一臺真正的人形機器人，“具身性”將會使事情變得完全不一樣。具身智能則要求機器人重新承擔這個被遊戲隱藏起來的身體過程，即從意圖到動作的鴻溝。它首先得判斷球從哪裡來，再決定什麼時候移動、移動多少；接近擊球點時，雙腿、腰部、軀幹、肩膀、手臂和手腕必須協調起來。球拍碰到網球的時間可能只有很短的一息，而就在這段時間裡，機器人還必須處理自身姿態、關節速度、摩擦力、球拍重量和來球速度等一系列變化。網球因此成了一個很有意思的機器人問題。它不像在實驗室裡抓取一個靜止的杯子。球一直在飛，擊球點一直在變，機器人不能只把一個動作做對一次，而是要在不斷變化的狀態裡重複做對。

它需要的也不再只是“知道該做什麼”，而是讓整個身體在幾百毫秒甚至更短的時間裡形成一個協調的反應。這也是 IROS 2026 上一項來自銀河通用 GaLbot 團隊、清華大學、北京大學、上海啟智研究院和上海人工智能實驗室研究團隊的工作——LATENT，試圖回答的問題。論文題目本身就很有意思：Learning Athletic Humanoid Tennis Skills from Imperfect Human Motion Data。關鍵詞不是“perfect”，反而是“imperfect”。研究團隊沒有給機器人準備一套經過精心篩選、完整、準確的人類職業網球比賽數據。

相反，他們有意從並不完美的人類動作數據出發，讓機器人學習網球運動中最基本的身體能力，再通過強化學習和仿真，把這些能力組合成能夠真正擊球的策略。換句話說，他們想解決的不是“怎樣把人類動作完整複製給機器人”，而是一個更接近現實的問題：如果人類給機器人的示範本來就不完整、不夠精確，它還能從裡面學到什麼？01五個小時的不完美數據如果真的想讓機器人學習一個人類網球運動員，最直覺的辦法，是把這個運動員完整地記錄下來。從準備姿勢開始，到移動、揮拍、擊球、回位，再到下一次擊球。最好還有大量不同來球、不同落點、不同身體姿態，甚至完整的比賽過程。這樣機器人看到的就不只是“手應該怎麼揮”，而是一套完整的網球行為。

問題是，這樣的數據非常難採。更不用說如果目標是人形機器人，人體和機器人本身的身體結構並不一樣。人的手臂長度、關節範圍、身體重量、肌肉力量都與機器人不同，即使動作捕捉系統準確地記錄下一個人的動作，也不能保證機器人能夠一模一樣地執行。LATENT採取了另一條路。研究團隊找來了5名業餘網球選手，在一個約3米×5米的動作採集區域裡，記錄了大約5小時的人體運動數據。這個空間甚至不到標準網球場的一個很小部分。研究人員沒有要求球員打完整比賽，而是把注意力集中在網球運動中一些最基礎的身體動作上，包括正手、反手，以及側向滑步、交叉步等移動動作。人類網球動作捕捉 這些動作看起來很碎。

一個人向側面邁兩步，一個人完成一次正手揮拍，一個人做一次反手動作。它們並不能拼成一場完整的網球比賽，更談不上告訴機器人“下一球應該打到哪裡”。但研究團隊認為，這些碎片仍然包含了一件非常重要的東西：人類在面對網球運動時，是怎樣使用自己的身體的。這也是論文所說的“imperfect human motion data”。所謂“不完美”，至少有兩個層面。第一，它不夠精確。動作捕捉得到的人體運動並不意味著機器人可以毫無修改地照搬，尤其是在手腕等局部動作上，人類數據和機器人身體之間存在明顯差異。第二，它不夠完整。研究團隊收集的是網球基本動作，而不是一套完整的比賽行為。

數據可以告訴機器人怎樣移動、怎樣揮拍，卻不會直接告訴它面對不同來球時應該選擇什麼策略。傳統思路很容易把這些缺點看成問題：數據不夠準，那就繼續採；數據不完整，那就再採更多。LATENT的思路卻稍微往旁邊走了一步。他們沒有試圖把這些數據修補成一份“完美的人類網球運動說明書”，而是把它當成一種先驗。機器人不需要成為某個具體人類運動員的複製品，它首先需要知道，人類在網球這樣的高速運動裡，大概是怎樣使用身體的。這個區別很重要。因為對於強化學習來說，從零開始探索所有可能的身體動作，代價非常高。一個29自由度的人形機器人，並不是只有“揮拍”和“不揮拍”兩個選擇。

每一個時刻，它都可能改變腿、腰、軀幹、肩膀和手臂的狀態。如果完全從零開始，它甚至不知道什麼樣的身體運動算是合理的。人類的動作數據，哪怕只是一些碎片，也可以先給它畫出一個大致的邊界。這就像一個人第一次拿起網球拍。你不需要先給他一套完整的職業訓練課程，他只要知道“人類大概是這樣站、這樣移動、這樣揮拍”，接下來才有可能在不斷試錯中找到自己的打法。LATENT做的事情，大概可以理解為是讓機器人先獲得這樣的“身體直覺”。02機器人需要的是一套“身體語言”研究團隊沒有簡單地把採集到的人體動作逐關節塞給它。真正的難點恰恰在這裡：人類動作不是機器人動作。

一個人揮拍時，大腦不會顯式計算“左膝彎曲多少度、右髖轉多少度、軀幹傾斜多少度”。這些動作最終形成的是一種身體協調。如果機器人每次都必須直接決定29個自由度應該怎樣運動，學習空間會非常龐大，也很容易在強化學習過程中產生不自然甚至不穩定的動作。LATENT 方法框架圖LATENT因此先訓練了一個運動追蹤器，讓機器人能夠學習人類動作所包含的身體運動模式。然後，研究團隊又把這個運動追蹤器進一步壓縮成一個連續的 latent action space，也就是所謂的潛在動作空間。如果用一個更直觀的比喻，它有點像一本“動作詞典”。

機器人不必每一次都從頭計算29個關節應該怎樣配合，而是可以先從這本詞典裡選擇一種已經學過的身體運動，再根據眼前的球調整它。這個動作空間還有一個很重要的特點：它不是把機器人固定在人類動作上。人類示範只是提供了動作的先驗，真正面對網球時，機器人還需要自己學習。這就是為什麼論文沒有把“模仿人類”當成最終目標。假設一個人類球員揮拍時手腕有一個動作，而這個動作對於G1來說並不可靠，那麼機器人沒有必要死守這個動作。研究團隊甚至專門對右手腕進行了處理：降低它在運動追蹤階段的可靠性，讓機器人不能過度依賴這個存在誤差的局部動作，再讓高層策略在真正擊球時對它進行修正。

這個設計很像故意給機器人留了一顆不太牢固的螺絲。如果一個系統只有在這顆螺絲完全準確的時候才能工作，那麼現實中的一點誤差就可能讓整個動作失效。相反，如果機器人從一開始就被迫學會依靠腿、髖部、軀幹、肩膀等身體部分共同完成動作，那麼當手腕出現偏差時，它仍然有機會調整整個身體，把球打回去。這也是LATENT很有意思的一點：人類數據並不是機器人最終要追求的答案，而更像是機器人學習身體運動時的一種起點。接下來，研究團隊還要面對一個強化學習裡很典型的問題。當機器人已經擁有了一套“動作詞典”，強化學習會不會為了提高回球成功率，開始隨意跳到詞典裡完全不同的動作之間？答案是可能的。

於是研究團隊提出了 Latent Action Barrier，也就是 LAB。它會約束高層策略生成的動作，讓策略不要輕易偏離原本的動作分佈。Latent Action Barrier這裡的“Barrier”不是把機器人鎖死，而是在探索的時候劃出一條邊界。論文使用 Mahalanobis distance 來衡量動作偏離程度，而不是簡單的歐氏距離。原因也很好理解：不同動作維度的尺度和變化範圍並不一樣，不能把所有方向上的變化都當成同樣的“偏離”。實驗也證明了這個約束的價值。在正手擊球任務中，完整的 LATENT 策略成功率達到96.52%；去掉 LAB 後，成功率下降到93.12%。

但更明顯的變化出現在動作質量上：動作平滑性指標從25.61上升到37.64，關節力矩也從7.40上升到12.53。也就是說，LAB真正改善的並不只是“能不能把球打回去”，而是機器人在完成任務時，能不能少一些突然的、劇烈的、機械的動作。這很像人在運動時的區別。一個人偶爾也可能把球打回去，但如果每一次擊球都靠身體猛甩、突然停頓、不斷修正，那麼這種動作很難持續。真正有用的運動能力，不只是成功一次，而是能夠把成功變成一種穩定的身體習慣。03機器人也不能只在“乾淨的世界”裡學習到這裡，機器人已經有了動作，也有了策略。但還有一個更大的問題：模擬世界和現實世界並不一樣。

在模擬器裡，研究人員知道球的質量、彈性、空氣阻力，也知道機器人身體的質量和摩擦參數。球從哪裡飛來、速度是多少，都可以精確控制。現實裡，一個網球的彈跳不會永遠一樣，球拍的重心可能存在細微誤差，地面的摩擦力也會變化。機器人的關節、驅動器、傳感器同樣存在誤差。更不用說真實系統還有延遲、噪聲和偶爾丟失的觀測。如果機器人只在一個“完美模擬世界”裡學會打球，一旦來到現實，原本學會的動作可能馬上失效。LATENT採取的辦法不是儘量把模擬世界做得完美，而是反過來：主動把不確定性塞進模擬世界。

研究團隊對機器人的身體質量、質心、腳部摩擦、關節摩擦、驅動器慣量等參數進行隨機化，也對網球的質量、恢復係數、空氣阻力等動力學參數進行隨機化。Figure 2(c+d)：Dynamics Randomization + Observation Noise與此同時，他們還加入觀測噪聲、幀丟失和延遲等因素。也就是說，機器人在模擬訓練時面對的不是一個固定的網球世界，而是一整個“可能的現實世界”。有時候球重一點，有時候輕一點；有時候摩擦力大一點，有時候小一點；有時候傳感器看到的數據晚了一點，有時候乾脆少了一幀。機器人被迫學會的是：“即使我不知道世界到底是哪一種情況，我也應該儘量把球打回去。

”這也是機器人學習與傳統程序控制之間一個很有意思的區別。程序可以告訴機器：球速是A，摩擦力是B，延遲是C，那麼執行動作D。但真實世界很少真的給你A、B、C這麼整齊的條件。所以LATENT並沒有試圖消滅不確定性，而是讓機器人在訓練階段就習慣不確定性。論文中的消融實驗很好地說明了這一點。如果去掉網球動力學隨機化，真實世界的正手成功率會明顯下降到16.67%；如果去掉觀測噪聲，反手實驗甚至降到了0%。這兩個結果恰恰說明了一個問題：機器人在現實裡失敗的原因，有時候並不是它沒有學會動作，而是它學會的世界太乾淨了。這也是 sim-to-real 最核心的難點之一。

讓模擬器越來越像現實當然重要，但另一條路線是，讓機器人習慣現實永遠不會完全像模擬器。LATENT選擇了後者。這套思路最終被帶到了真實的 Unitree G1 上。不過這裡需要特別說明：這並不是一臺機器人站在普通網球場上，僅憑自己的攝像頭就完成了全部實驗。當前的真機驗證仍然依賴動作捕捉系統。研究團隊使用了動作捕捉相機獲取機器人和球的運動信息，真實實驗使用了大規模的動捕環境。官方項目資料顯示，實驗使用了50多臺動作捕捉相機，動作捕捉區域達到19米×15米。這和前面的數據採集形成了一個有意思的反差。

採集5名業餘球員的人體動作時，研究團隊只需要一個3米×5米的小區域；真正讓機器人在現實世界裡穩定打球，卻需要一整套複雜的動作捕捉基礎設施。也就是說，“數據不完美”並不意味著整個實驗系統很簡單。恰恰相反，研究團隊把問題的一部分從“如何採集完美數據”，轉移到了“如何讓機器人從不完美數據中學會穩定能力”，但真機驗證本身仍然是一個昂貴、複雜的工程系統。論文也明確把對動作捕捉系統的依賴視為當前工作的限制，並把未來進一步使用主動視覺作為下一步方向。這意味著今天的LATENT還不是一個已經擺脫實驗室條件的“自主網球機器人”。但它至少證明了一件事：不完美的數據，可以成為機器人獲得動態運動能力的起點。

04它真的把球打了回來最後真正讓人感到直觀的，還是球。在模擬實驗中，研究團隊進行了大規模測試，對不同來球條件進行評估。LATENT的正手回球成功率達到96.52%，平均落點誤差為1.32米。作為對照，AMP、ASE和PULSE等方法的正手成功率分別為41.32%、63.47%和71.85%，對應的平均落點誤差也明顯更大。這些數字說明，LATENT確實不是簡單地讓機器人“做出一個揮拍動作”。它已經能夠把身體動作、來球條件和任務目標聯繫起來。在不同位置和不同速度的來球下，機器人需要移動自己的身體，在合適的位置完成擊球，然後儘可能把球送回目標區域。而到了真實世界，結果仍然成立。

論文進行了20場連續的人機回合實驗。在正手條件下，論文報告的回球成功率為90.90%，反手為77.78%；前場和後場條件下分別為88.89%和81.82%。這裡有一個非常重要的限定：這些數字不是“機器人真實網球比賽勝率”。真實實驗中的成功標準，是機器人是否能夠把球回到對手場地內；實驗規模也只有20場連續回合。因此，90.90%更準確的理解是：在論文設定的真實實驗條件下，機器人能夠相當穩定地完成正手回球。它證明的是一種能力，而不是職業競技水平。事實上，LATENT當前解決的任務也還比較明確：機器人需要把來球擊回目標位置，而不是像真正的網球運動員一樣完成完整的單打或雙打比賽。

真正的網球比賽還包含大量更復雜的問題。什麼時候應該打直線，什麼時候應該打斜線？對手站在哪裡？這一拍之後應該如何回位？如果對方連續改變落點，機器人怎樣調整自己的戰術？如果球沒有落到預期區域，下一拍又應該怎麼辦？這些問題已經不只是“怎樣揮拍”。它們要求機器人理解一個持續變化的對抗環境。論文裡的 robot-robot self-play 給出了一個補充。在仿真環境中，兩臺使用該策略的機器人可以進行自博弈，最長連續完成25個回合。但這裡同樣要劃清邊界：25個回合來自仿真的機器人對機器人實驗，而不是現實世界的人機比賽。

所以，如果把LATENT放在更長的機器人發展史裡，它現在所完成的其實不是“讓機器人學會了網球比賽”，而是把一個過去很難解決的問題往前推了一步：機器人能不能從有限的人類動作碎片裡，學到一種可遷移的身體能力，然後在高速、動態、充滿誤差的環境中把它真正用出來？答案目前是肯定的。至少在論文設定的任務裡，它已經可以。而這件事之所以值得關注，恰恰不是因為網球本身。05網球只是一個入口過去很長一段時間，機器人運動能力的展示往往發生在相對確定的環境裡。走路、抓取、搬運、開門，每一個任務都有明確的目標，物體的位置通常也不會突然變化。但體育運動不是這樣。球會飛，目標會動，接觸時間很短，動作需要連續完成。

機器人不僅要控制自己的身體，還要不斷根據外部世界的變化重新決定下一步。因此，體育運動實際上提供了一個很極端的 embodied intelligence 測試場。足球要求機器人奔跑、轉身、踢球，還要理解其他運動員的位置；羽毛球要求它在高速來球下完成腳步、揮拍和落點控制；網球則把這些問題進一步集中到一個非常具體的瞬間：機器人必須在正確的位置，用正確的身體姿態，在正確的時間擊中一個高速飛來的球。這也是為什麼在今年的 IROS 2026 上，athletic humanoid robotics 已經成為一個被單獨討論的方向。

IROS 2026 的 “Perception and Decision Making for Athletic Humanoid Robotics” workshop，直接把 agile locomotion、sports、dynamic manipulation、real-time planning、embodied AI 等列為討論主題，關注的正是機器人如何在高速、接觸密集和不可預測的環境中進行感知、決策和全身控制。Workshop 還安排了 Unitree、Phybot 和 Booster Robotics 的運動機器人演示，涵蓋運動、羽毛球、足球等任務。

LATENT的價值，也正在這裡。它沒有試圖把人類運動數據做成一份無比精確的答案。5名業餘球員留下的只是一些動作片段，甚至這些片段本身還有誤差。但這些不完美的數據依然告訴機器人一些東西：人在這個世界裡怎樣移動，怎樣保持平衡，怎樣揮動自己的身體去追逐一個高速運動的物體。然後，機器人自己繼續往前走。它把人類動作壓縮成潛在動作空間，再用強化學習去尋找適合自己身體的動作組合；它不完全相信人類手腕的運動，於是學會讓整個身體參與補償；它不假設現實世界的參數永遠準確，於是在模擬器裡主動加入噪聲、延遲和動力學變化；最後，它把這些東西帶到真實的機器人身體上。

它在嘗試回答一個更大的問題：當我們無法給機器人一份完美的世界說明書時，它能不能從不完美的信息裡，自己建立起對身體和世界的理解？這正是網球這個實驗場對於具身智能場景而言有意思的地方：它要求機器人在一個沒有固定答案、並且會被其他主體不斷改變的世界裡行動，持續暴露問題，持續優化。球不會等機器人。它來了，身體就必須先於語言作出反應。傳感器有延遲，動作有誤差，原本的軌跡便不再是一條可以照著執行的指令。所以最後真正站在球場上的，並不是一個把人類動作逐幀複製出來的機器。它腳下有5名業餘球員留下的動作碎片，有並不完美的人體數據，有被故意暴露出來的不確定性，也有強化學習不斷試錯之後形成的身體策略。

人提供的是知識的痕跡，機器人獲得的卻不是知識本身，剩下的部分，要由它自己的身體去完成。為了方便大家抱團交流、互通會議消息，專門建了 IROS 2026 參會交流群！進群你會解鎖這些「福利」?會議情報站：投稿 DDL、格式規範、評審進度……關鍵節點第一時間送達，再也不怕錯過 deadline，投稿準備穩穩的。同行茶話會：天南海北的同行都在群裡，聊心得、碰思路、攢人脈，科研路上我們同行。前沿補給站：最新研究成果、熱點方向實時同步，結合會議主題幫你捋清投稿脈絡，給論文靈感加滿油。

現場後援團：（會議期間專屬開啟）：到了會場也不用慌——路線導航：場館分佈、報告廳怎麼走，群裡隨時問；議題共讀：熱門 session、Keynote 探討，錯過也能追；Poster 彙編：現場海報精華整理，一鍵收藏不遺漏；約局廣場：約飯局、採訪局、交流局……想嘮嗑、想合作、想面基，群裡發起就成。?進群傳送門： 掃碼進群或添加微信Luyoyo_2026，備註：ECCV + 單位/學校+姓名+方向。搞科研/搞技術，信息差很重要。來，一起快人一步！上車，帶你看遍全球 AI 頂會精華可獨家暢覽：專家演講PPT大會報告全文熱門論文解讀學術新星訪談掃描上方二維碼或點擊「閱