RSS 2026 Manipulation 論文報告彙總1

7月13日，機器人領域頂級學術會議RSS（Robotics: Science and Systems）在澳洲雪梨正式揭幕。今年的RSS 2026最終僅有大約160篇論文被主會接收並納入官方議程，極低的接受率再次印證了RSS一貫的高水準，每一篇論文都經得起全場數百位頂尖研究者的嚴格檢驗。雷峰網與AI科技評論已經派出報導小組抵達會議現場。在簡短的開幕式之後，緊接而來的是「Manipulation 1: World Models & Memory」論文報告環節，來自全球頂尖實驗室的研究者展示了機器人操作領域的最新突破。從雙臂協同、手術輔助到水下靈巧操作，一個共同的趨勢逐漸浮現：機器人正逐步擺脫對大量標註數據的依賴，邁向「少樣本、強泛化」的新階段。研究者不再執著於耗資千萬的高成本遙操作採集，而是各顯神通：有的人從人類影片中「白嫖」數據，有的人透過觸覺手套實現跨物種對齊，還有人在推理時加裝「安全護欄」。以下精選9篇該環節的代表作，帶你一次看懂機器人如何以極低成本學會最精細的操作。 既然實際機器人的數據難以大量採集，研究者將目光轉向最豐富的資源庫——人類的日常行為。如何跨越「人與機器」的結構鴻溝，直接提取知識？華南理工大學的研究團隊提出了BiDemoSyn框架，試圖打破雙臂靈巧操作的僵局。雙臂協同遠比單手複雜，高品質的演示數據又極其昂貴。BiDemoSyn的核心思路是將雙臂操作任務拆解為「不變協調塊」與「可變物體適應」兩部分，前者捕捉雙臂間不隨任務改變的協同模式，後者則根據物體形狀和位姿進行靈活調整。僅需一段真實世界的示範影片，該框架就能透過視覺引導對齊和輕量級軌跡優化，在數小時內自動合成數千條物理可行的多樣化訓練數據。在六個雙臂任務的實驗中，用BiDemoSyn數據訓練的策略不僅能穩健泛化到新物體的位姿和形狀，還實現了零樣本跨本體遷移，即使更換機器人平台也能直接上手。 網路上充斥著人類切蘋果、倒飲料、疊杯子等操作各種工具的影片，但由於人類手部與機器人靈巧手在結構上差異巨大，這些影片的訓練價值過去長期被忽視。上海人工智慧實驗室和清華大學的研究者設計了DexImit，這是一個四階段的自動化生成管線：先從任意視角重建高精度的手物互動三維結構；接著對複雜任務進行子任務分解與雙臂調度規劃；然後合成與人類演示高度一致的機器人軌跡；最後透過綜合數據增強確保能零樣本部署到真實世界。這套流程能直接處理網路上的任意人類操作影片，甚至AI生成的影片。當靈巧手不再需要從頭採集昂貴的訓練數據，機器人「學會動手」的門檻被大幅降低。 只要人類戴上觸覺手套演示一次，機器人就能掌握擰燈泡的技巧，這在以往幾乎是天方夜譚。UC Berkeley與Meta等機構的研究者提出了TactAlign，使用整流流將人類和機器人的觸覺觀測映射到同一個共享潛在空間。最關鍵的是，這個對齊過程不需要配對數據集、人工標註或特權資訊，對齊的「錨點」直接來源於手物互動中自然產生的偽配對。無論是人手還是機械手，在抓取同一物體時，其物理互動模式必然存在某種共性。在接觸密集型任務上，TactAlign顯著提升了人機策略的遷移效果，在擰燈泡這類高靈巧任務中，僅需不到五分鐘的人類觸覺數據，就成功實現了零樣本遷移。 解決了數據來源，下一個難題是「環境突變」。德國國家腫瘤疾病中心的研究團隊提出了一種監督式混合專家（MoE）架構，能像插件一樣疊加在任意自主策略之上。僅配合立體內視鏡影像作為唯一輸入，疊加MoE後的輕量級Action Chunking Transformer只需不到150條演示數據，就能學會複雜的「腸道抓取與牽拉」長時序協作任務。機器人必須讀懂外科醫生的視覺提示，準確抓取可變形組織，並保持穩定牽拉。面對新場景，通用視覺-語言-動作模型完全失效，標準ACT也頻頻出錯，而MoE增強版本在弱光、遮擋及全新抓取位置等干擾下依然穩健，成功在離體豬組織上實現零樣本泛化，甚至完成了體內豬手術的初步驗證。 使用工具看似簡單，實則需要解決「用哪裡」和「用多大力」兩個層次的挑戰。新加坡A*STAR和NUS的研究團隊提出了Semantic-Contact Fields（SCFields），將視覺語義與密集接觸估計融合到統一的三維表示中。他們設計了一個兩階段的Sim-to-Real學習管線，先在大規模模擬數據上預訓練接觸先驗，再用幾何啟發式和力優化在少量真實數據上進行偽標註微調。最終，這個力感知的表示被送入擴散策略作為觀測輸入。實驗證明，SCFields能在未見過的工具實例上實現類別級泛化，大幅超越純視覺和原始觸覺基線方法。 水下機器人操作面臨光線散射和顏色失真的獨特困境，若要在多樣化場景中採集水下演示數據，成本極高。史丹佛大學和哥倫比亞大學的研究者採取了迂迴策略：在水上教，到水下用。UMI-Underwater系統包含一種基於深度資訊的可供性表示，由於深度圖在不同光照和水質條件下遠比RGB影像穩定，它成為彌合陸地與水下域間差距的「通用語言」。系統在陸地手持演示數據上訓練模型，透過幾何對齊即可零樣本部署到水下。系統還配合一個自監督數據採集管線，讓機器人自主在水下試錯並記錄成功案例。泳池實驗顯示，該方法在水下抓取性能和穩健性上全面超越純RGB方法，甚至能泛化到僅在陸地數據中出現過的物體。 除了數據和環境，直接將大語言模型的架構套用在機器人上並不完美。Meta AI的研究團隊進行了一場大規模實證研究，利用4000小時操作數據和5000萬視覺-語言樣本，訓練了89個VLA策略，並進行了超過六萬次測試。結論指出，視覺-語言數據和跨本體機器人數據堪稱「黃金搭檔」，兩者聯合共訓練能顯著提升模型對分佈偏移、未見任務以及自然語言指令的泛化能力；離散動作token則收效甚微。研究還發現，僅用機器人數據訓練會嚴重退化大模型的視覺語言理解能力，但加入共訓練數據後即可有效恢復。 機器人操作最怕遇到突發狀況，僅靠幾次演示訓練出來的端到端策略幾乎必然會「掉出分佈」，做出不可預測的危險動作。香港科技大學的研究團隊提出SID框架，其核心是一個以物體為中心的運動場，透過學習規範化的演示，能在機器人偏離正常軌跡時提供大幅度的糾正運動，將系統逐步「滑」回可靠的操作區域。一旦接近目標，運動場會自然衰減，交由輕量級的自我中心執行策略完成精細操作。這種「全局粗調+局部精調」的解耦設計，讓SID在僅有兩次演示的極限條件下依然穩健。在六個真實世界任務中，它在分佈外初始條件下仍能保持約90%的成功率。 多指靈巧手的接觸密集型操作常因物體幾何和滑移而難以掌握，過去研究多把觸覺視為「額外輸入」，既不顯式建模接觸狀態，也忽視了動作策略與底層控制器的動力學互動。UCSD、Brown和Sony AI的研究團隊提出了Contact-Grounded Policy（CGP）視覺-觸覺聯合策略框架，包含條件擴散模型用於預測機器人狀態與觸覺回饋的耦合軌跡，以及可學習的「接觸一致性映射」，能將聯合預測轉化為柔順控制器可執行的目標狀態。在配備高精度觸覺感測器的真實和模擬機械手上，CGP在操控、抓取和工具使用等任務中均顯著優於現有基線。 三個方向、九篇論文，一條主線貫穿始終：機器人操作正在從「數據飢渴」走向「樣本高效」。無論是BiDemoSyn透過一次演示合成數千條數據、SID用兩次演示實現九成成功率、DexImit從人類影片中自動提取操作知識，還是CGP讓靈巧手真正感知接觸狀態，這些前沿探索都共同指向一個未來：機器人再也不必在實驗室裡苦熬千萬次演示。雷峰網與AI科技評論將繼續在現場帶來更多RSS 2026的精彩內容。