具身智能不只在地上跑：給無人機裝上機械臂，它們要去天上「擰螺栓」了 | IROS 2026

本文作者： 張豈萍 2026-09-30 14:29 導語：具身智能的研究邊界，正從地面移動操作向空中協同作業延伸。具身智能的研究邊界，正從地面移動操作向空中協同作業延伸。作者丨張豈萍 編輯丨幸麗娟 機械臂抓取、移動機器人導航和多機器人協作，是具身智能研究的常見切口，但大多仍延續“地面機器人”範式：身體默認是地面移動機器人，環境是結構化可通行空間與離散物體，任務是感知、移動、抓取、搬運等。但如果機器人離開地面、進入空中，還能完成同樣的操作嗎？

沒有固定支撐的空中機器人（無人機），不僅要保持自身飛行穩定，還要在空中完成推箱子、寫字、擰螺栓這樣的接觸操作；當多架無人機一起工作時，還要共同搬運物體，並協調彼此動作。如何讓機器人在空中運動時保持穩定、完成操作，並進一步實現多機器人協作，是具身智能走向複雜真實環境時需要解決的更高階問題。

IROS 2026 大會期間，在“多機器人系統中的緊耦合物理交互與協作”（Tightly Coupled Physical Interaction and Collaboration in Multi-Robot Systems）Workshop 中，荷蘭代爾夫特理工大學（Delft University of Technology，TU Delft）教授 Javier Alonso-Mora 分享了團隊在移動操作、任務與運動規劃，以及空中多機器人協作等方向的一系列研究進展。

Alonso-Mora 長期研究多機器人規劃與控制，目前領導代爾夫特理工大學 Autonomous Multi-Robots Laboratory，並擔任代爾夫特理工大學機器人研究院（TU Delft Robotics Institute）主任。所在的代爾夫特理工大學是歐洲知名工科院校，在機器人與自主系統研究領域長期處於國際前列。更早之前，他在共享出行調度方面的研究還衍生出了商業公司 The Routing Company，該公司是按需出行調度領域少數實現規模化產業落地的技術公司之一。

從共享出行調度到地面移動機器人、無人機協同，Alonso-Mora 長期研究的核心問題始終圍繞一個方向展開：多個自主體如何在動態環境中完成實時規劃與協調。這場分享系統展示了他過去幾年的代表性工作：從超市場景裡的移動抓取和任務與運動規劃，到用學習策略降低物理仿真的計算成本，再到多機器人協作和多無人機吊運。演講最後，他還介紹了一個持續四年的 HARPA 空中施工項目，目標是讓不同類型的無人機協同組成空中機器人團隊，參與建築材料運輸、現場裝配等任務。從地面操作到空中施工，機器人面對的是更加複雜的物理約束。

相比地面環境，空中場景動態性更強、容錯空間更小，風擾、能耗、載荷耦合、通信受限和定位誤差等因素都會直接影響機器人，對運動規劃和任務執行提出了更大考驗。而空中任務協作，更是將單機的飛行與操作難題，擴展為多機異構系統在任務分配、協同規劃、執行的實時協調問題。以下是 Javier Alonso-Mora 的演講分享，AI 科技評論根據其現場演講進行了不改原意的編輯。

▎演講主題：Mobile Manipulation: From Task & Motion Planning to Aerial Collaboration01機器人會走之後，還得學會邊走邊操作我們實驗室一直在研究一個目標：讓機器人進入真實世界，和其他機器人以及人一起完成複雜任務。真實環境會不斷變化，機器人面對的任務也會越來越複雜，同時還要保證整個過程安全可靠。我們距離這個願景還有一段距離，展示的這些應用場景其實還是 AI 生成的。過去十多年裡，我們做過運動規劃、任務分配、多機器人協作和學習等方向。

今天我想重點講兩個方向，一個是移動操作（Mobile Manipulation），另一個是協同操作（Cooperative Manipulation）。我會先講地面機器人，再講空中的無人機。我們過去關注過機器人之間的交互，也研究機器人如何在人類環境中安全移動。接下來，機器人還需要真正和環境發生物理交互（physical interaction）。它要做的不只是導航，還需要和環境中的物體產生接觸，比如抓取、推動和搬運。我們最早做過一個超市場景裡的機器人揀選項目。機器人帶著機械臂在貨架間移動，到達合適位置以後，再伸手抓取商品。

為了實現機器人的全身控制（whole-body control），我們使用了一種叫 Geometric Fabrics 的方法。它本質上是一組描述機器人行為的控制方法，可以定義機器人需要表現的行為，比如避開碰撞、到達目標位置，再將這些行為組合起來，同時控制機械臂和移動底盤。這套方法的一個優點是速度快，可以進行高頻率控制。比如我們給機械臂末端指定一個目標，機器人身體的其他部分會自動跟隨配合。在低層控制之上，我們還加入了行為樹（Behavior Tree），負責更高層的任務流程，比如什麼時候抓、抓哪個物體，以及一次失敗以後是否重新嘗試。但這種反應式控制方法也存在侷限。

由於它主要根據當前環境做出反應，機器人可能陷入局部最優。比如兩臺機器人同時來到一張桌子旁邊，都要把物體放到附近的位置，它們可能一直互相避讓，最後誰也無法完成動作，形成死鎖。所以，我們進一步把低層的 Geometric Fabrics 控制器和一個全局 QP（Quadratic Programming，二次規劃）結合起來。系統會先對 Geometric Fabrics 全身控制器進行前向模擬（forward simulation），預測機器人接下來一段時間內的運動狀態，判斷未來是否可能發生衝突。

如果存在衝突，系統就會重新優化機器人後續一系列動作，包括從哪個方向接近桌子、選擇什麼抓取姿態，以及最後把物體放在哪裡。同樣的方法也可以用在有人存在的環境。系統會考慮其他機器人或人的運動變化，提前調整自己的動作，避免在共享空間中發生衝突。02任務和運動一起規劃，機器人自己找到了更快路線如果任務再複雜一些，機器人就不能只考慮怎樣安全移動，還要考慮整個任務應該怎麼執行。這就是我們通常說的任務與運動規劃（Task and Motion Planning，TAMP）。這裡同時包含兩個問題。一個是離散問題，也就是任務按照什麼順序執行。另一個是連續問題，也就是每一步具體應該怎樣運動。

我們希望把“先做什麼”和“具體怎麼做”放到一起求解。一個例子是，機器人需要先從一張桌子上拿起一個方塊，再把它放到另一張桌子上，兩張桌子之間還有一個斜坡狀障礙物。機器人可以從方塊周圍不同的位置抓取，也可以選擇不同的位置放置，我們讓它自己在這些可能性中尋找一個計劃。我們先向前模擬控制器，採樣不同的抓取點、放置點和動作，再通過交叉熵優化（Cross-Entropy Optimization）不斷改進方案，直到找到可以完成任務的計劃。這裡我們使用 Isaac Lab（機器人仿真平臺） 進行物理模擬。最後得到的結果很有意思。

機器人拿起方塊以後，沒有帶著它繞過斜坡，再走到另一張桌子旁邊，而是直接把方塊送過了斜坡。在這個實驗裡，系統發現，直接讓方塊越過斜坡，比機器人帶著它繞過去更快。這個方案來自前面的物理模擬和優化，而不是人為提前設計的一條規則。後來，我們也把這個方案放到了真實機器人上執行。這套方法效果很好，但它也有一個問題，計算成本很高。每一次尋找計劃，都需要在物理仿真環境中向前模擬大量候選方案。所以我們最近也在嘗試另一條路線：學習策略。這項工作目前還在進行中。我們先讓機器人完成很多次抓取和放置任務，用這些示範訓練策略。

之後仍然可以利用交叉熵優化尋找離散的任務序列和具體執行計劃，但不需要每一次都在完整的物理仿真環境中向前模擬大量候選軌跡。這樣做的目標，是讓原本依賴大量模擬搜索的規劃過程變得更快。03多機器人協作，難點先出在示範數據前面的工作主要圍繞單機器人展開，我們也開始嘗試把這些移動操作策略擴展到多個機器人。這裡展示的實驗只用了兩個機械臂，還不是完整的移動操作機器人。我們先分別訓練單機器人策略，讓每個機械臂學會拿起和放置方塊，再通過一個聯合優化目標，把兩個單機器人策略組合起來完成共同任務。在實驗裡，第一個機器人先拿起方塊，再把它交給第二個機器人，第二個機器人接過以後繼續把方塊送到更遠的位置。

多機器人學習裡，一個現實的問題是協作示範很難獲得。如果直接為一個多機器人系統收集示範，需要同時控制多臺機器人完成協作任務，本身就很困難。我們希望探索一種更高效的方法，複用已有的單機器人示範，讓機器人進一步完成多機器人協作。一個更具挑戰性的方向，是讓機器人進入施工這樣的複雜環境。人類可以多人合作搬運大型物體，也可以完成複雜裝配任務。但我們的機器人現在還遠遠做不到，這裡面涉及協作、協調和規劃等很多問題。這種多機器人協作能力，在高空、海上設施以及其他難以抵達的位置尤其有意義，這也是我們開始研究無人機和空中機器人的原因。

04移動操作上天：無人機開始推箱子、寫字、擰螺栓我們實驗室現在主要研究兩類空中機器人。第一類是帶機械臂的無人機。有了機械臂以後，無人機就可以直接和環境發生物理交互。但和地面機器人不同，空中平臺沒有固定支撐，機械臂運動或者接觸環境產生的作用力，會反過來影響無人機自身穩定。比如這裡，它可以推動一個箱子，也可以拿著筆在白板上寫字，還可以執行擰緊螺栓這樣的操作。我們使用的平臺叫Differential Shoulder Aerial Manipulation Platform（DSAM）。

這套系統採用分層控制方式：外層由強化學習策略生成操作指令，內層由自適應控制器負責穩定控制，兩者共同完成無人機和機械臂的協同操作。第二類無人機主要負責協同搬運。這裡展示的是三架無人機通過繩索共同吊起一個物體。一開始，我們採用集中式非線性模型預測控制（centralized Nonlinear Model Predictive Control，NMPC）方法，由一箇中央控制器統一計算所有無人機的控制量。讓它們共同完成軌跡跟蹤、避障，也能夠抵抗外部擾動。比如被搬運物體受到撞擊以後，系統能夠重新調整並繼續沿目標軌跡運動。

之後我們開始考慮一個問題，能不能去掉這個中央控制單元，不再由一臺計算機統一給所有無人機發送指令？我們嘗試了兩種方法，一種是多智能體強化學習，另一種是模仿學習。兩種方法都能夠實現協同控制，今天我主要介紹多智能體強化學習。訓練是在仿真中完成的。我們模擬多架無人機共同吊運物體。訓練過程中同時使用策略網絡（Actor）和評價網絡（Critic）。訓練階段，Critic 可以利用仿真環境中的完整狀態信息輔助策略學習。真正執行時，就不再需要這個集中式的 Critic，每一架無人機直接運行自己的 Actor。神經網絡也不會直接負責最底層的飛行控制。

下面還有一個高速運行的 INDI 控制器，負責讓無人機保持穩定。對我們來說，這兩層控制都很重要。最終，三架無人機可以共同吊運這個物體完成軌跡跟蹤。在 8 字形軌跡跟蹤實驗中，分佈式策略的表現已經接近集中式 NMPC 方法。我們還測試了一些更極端的情況。比如再加入一架無人機，讓其中一架出現故障、朝錯誤方向運動，甚至直接掉落，策略仍表現出了一定的魯棒性。當然，目前還有明顯限制。前面的集中式方案已經能夠處理障礙物，但現在這個分佈式學習方案裡還沒有加入障礙物。加入障礙物以後訓練會複雜很多，時間也會更長。另外，目前系統仍然依賴動作捕捉設備。

05下一步，讓無人機團隊去施工我們接下來有一個新的四年項目，目標是讓空中機器人團隊參與建築施工任務（aerial robot teams for construction）。這個項目叫 HARPA，全稱是 Heterogeneous Aerial Robotic Teams for Prefabricated Building Assembly，項目週期從 2026 年持續到 2030 年。這個項目會同時使用剛才介紹的兩類無人機。一部分無人機負責運輸建築材料，把它們送到需要的施工位置；另一部分帶機械臂的無人機負責後續裝配，比如連接不同建築模塊、安裝螺栓。

項目中，我們還會繼續推進機載感知，讓機器人更多依靠自身傳感器完成任務。今天我主要介紹了從地面移動操作到空中協作的一系列工作：機器人從單機操作走向多機協同，也開始進入更復雜的真實環境。接下來的工作，就是繼續把這些能力應用到空中施工中。06Q&A 現場問答▎Q1（現場觀眾）：在多架無人機共同控制載荷位姿的情況下，分佈式狀態估計是怎麼做的？由於載荷本身沒有標記點，是否只依靠每架無人機的 IMU？不同無人機之間還會使用一致性算法來估計載荷的位置嗎？Alonso-Mora：不只是 IMU，我們還會使用其他無人機的狀態信息。

因為每架無人機上都有標記點，所以除了 IMU 信息，我們也知道其他無人機的位姿，這些信息會一起進入濾波器進行估計。至於分佈式控制，這裡沒有使用一致性算法。所有無人機運行的是同一個策略，我們只訓練了一個策略，然後讓所有無人機共享使用。這個策略的輸入包括所有無人機的位姿，以及當前執行該策略的無人機編號。它們需要彼此調整，才能共同保持載荷，因此多機之間的協調是隱式形成的。至於這種協同行為為什麼能夠形成，我也說不準。就像我們用神經網絡做的很多事情一樣，它確實能工作，但這裡並沒有顯式加入一個一致性機制。▎Q2（現場觀眾）：多架無人機通過纜繩共同吊運載荷時，是否假設纜繩始終保持張緊狀態？

Alonso-Mora：目前是的。這是我們現在模型裡的一個假設，也是未來希望進一步放寬的方向。三架無人機是一個比較合適的數量，因為這時候三根纜繩都比較容易保持張緊。我們也試過四架，基本可以工作。但如果繼續增加無人機，就會出現部分纜繩鬆弛的問題，整個系統會變得更加複雜。為了方便大家抱團交流、互通會議消息，我們專門建了 IROS 2026 參會交流群！進群你會解鎖這些「福利」?會議情報站：投稿 DDL、格式規範、評審進度……關鍵節點第一時間送達，再也不怕錯過 deadline，投稿準備穩穩的。同行茶話會：天南海北的同行都在群裡，聊心得、碰思路、攢人脈，科研路上我們同行。

前沿補給站：最新研究成果、熱點方向實時同步，結合會議主題幫你捋清投稿脈絡，給論文靈感加滿油。現場後援團：（會議期間專屬開啟）：到了會場也不用慌——路線導航：場館分佈、報告廳怎麼走，群裡隨時問；議題共讀：熱門 session、Keynote 探討，錯過也能追；Poster 彙編：現場海報精華整理，一鍵收藏不遺漏；約局廣場：約飯局、採訪局、交流局……想嘮嗑、想合作、想面基，群裡發起就成。?進群傳送門： 掃碼進群或添加微信Luyoyo_2026，備註：ECCV + 單位/學校+姓名+方向。搞科研/搞技術，信息差很重要。來，一起快人一步！

上車，帶你看遍全球 AI 頂會精華可獨家暢覽：專家演講PPT大會報告全文熱門論文解讀學術新星訪談掃描上方二維碼或點擊「閱讀原文」關注專區。(公眾號：) 原創文章，未經授權禁止轉載。詳情見轉載須知。0人收藏 分享： 相關文章 IROS2026 空中機器人 具身智能 空中操作 天才“吸鐵石”華為新添俄羅斯00後編程冠軍 機器人頂會RSS公佈6篇最佳論文提名，多位華人一作入 ...大疆首款「穿越機」再現速度與激情、仿昆蟲機器人會 ...五歲了！CCF-GAIR 如何成為人工智能和機器人領域的頂 ...

張豈萍 編輯 發私信 當月熱門文章 NVIDIA 李柏依：機器人只會「看」還不夠，它還得學會「聽」| ECCV 2026 計算機視覺的下一個十年：從「看懂世界」到「教會人類」| ECCV 2026 從三維視覺到世界模型：空間智能為何成為 AI 走向物理世界的共同主線？| ECCV 2026覆盤 具身智能不只在地上跑：給無人機裝上機械臂，它們要去天上「擰螺栓」了 | IROS 2026 最新文章 從三維視覺到世界模型：空間智能為何成為 AI 走向物理世界的共同主線？

| ECCV 2026覆盤 計算機視覺的下一個十年：從「看懂世界」到「教會人類」| ECCV 2026 NVIDIA 李柏依：機器人只會「看」還不夠，它還得學會「聽」| ECCV 2026 ECCV 2026 開幕：李飛飛團隊獲時間檢驗獎，7000人擠爆馬爾默 Yann LeCun 萬字演講：「預測像素」是偽命題，JEPA 也並非憑空而來 | ECCV 2026 樂享以太大模型，讓中國具身智能坐上定義席 熱門搜索 互聯網 車聯網 智能汽車 Oculus 蔚來 NFC 寶馬 裁員 清華大學 AIoT 微博精選