讓觸覺像視覺一樣可規模化,哥大李昀燭團隊 FlexiTac 的開源實踐 | IROS 2026

2026年10月30日 08:13
站內 AI 整理稿

FlexiTac壓阻式傳感器可兼顧柔性、低成本與一致性。作者丨向欣 編輯丨岑峰 機器人的視覺能力正快速增強,但觸覺仍然是具身智能系統中的薄弱環節。尤其是在精細操作場景中,當物體被遮擋、透明、易碎,或需要精確判斷接觸力與手內姿態時,僅靠視覺往往難以確認機器人是否真正抓穩了物體、是否發生了滑移,也難以實現可靠的力控與順從交互。與圖像領域已經形成相對統一的傳感器和數據體系相比,觸覺研究尚未形成類似的「收斂」。不同實驗室往往使用不同類型的觸覺傳感器,但它們都面臨壽命、柔性、多維信息感知、分辨率、成本與一致性難以同時兼顧的困境。這使得觸覺數據採集、算法研究以及不同系統之間的復現都變得更加困難。

如何讓觸覺像視覺一樣,成為一種可以被更多機器人使用、被大量採集、被算法反覆利用的基礎感知能力?針對這個問題,哥倫比亞大學李昀燭團隊提出了開源柔性壓阻式觸覺傳感器平臺 FlexiTac。在本屆 IROS 2026 的觸覺專題研討會上,李昀燭系統介紹了這一平臺開源一年半後的進展與生態。FlexiTac 是一套低成本、開源、可擴展的壓阻式柔性觸覺傳感器,團隊同時開源了完整 BOM、詳細組裝說明以及用於讀取觸覺數據的軟件。FlexiTac 採用 FPC 與力敏薄膜層疊結構,組裝僅需 3 分鐘,可彎曲、裁剪幷包裹於不同幾何表面,適配手套、指尖或機器人皮膚等多種形態。

其核心優勢在於成本低、製作簡單、高度柔性與可擴展、以及較好的長期穩定性和批次一致性,感知機制也足夠簡單,易於用彈簧-阻尼系統實現高保真仿真。其技術棧可集成進主流的機器人學習框架中,門檻低到擁有即使是本科生,只要擁有一臺可打印 SO-100 機械臂的 3D 打印機,也能輕鬆把觸覺傳感器裝上機器人。李昀燭提到,開源約一年半以來,FlexiTac 已在學術界與工業界獲得廣泛採用,衍生出多模態策略、可變形世界模型、四足移動-操縱、VLA 觸覺反饋等多方向工作,他們與普渡大學合作的多指靈巧操縱工作 VTAP Gripper 還入圍了本次 IROS 最佳論文獎。

Analog Devices(ADI)正在推進其商業化版本,該版本觸覺分辨率達到人類手指的五倍,基於半導體制造工藝量產。以下為李昀燭在 IROS 2026 演講的精編稿,AI科技評論基於原英文內容進行了不改原意的翻譯編輯:013 分鐘組裝、本科生可用為了讓傳感器易於生產、成本低廉,我們最新的版本製造成本其實已經非常低,具體多低,取決於你同一批次生產多少片。準備好所有物料後,你只需要花 3 分鐘就可以把傳感器裝配完成,傳感器隨即就能投入工作。我們這套方案是完全開源的:完整的物料清單,還有非常詳盡的分步裝配說明,同時也配套了可以讀取、傳輸傳感數據的對應軟件。

除了傳感器和配套軟件本身,我們也還把這套軟硬件技術棧集成到非常流行的機器人學習框架 LeRobot 裡。這樣一來,任何人,哪怕只是本科生,只要手頭有能夠打印出低成本 SO-100 機械臂的 3D 打印機、都可以輕鬆地把我們的觸覺傳感器集成進去,然後開展相關研究,探索觸覺感知如何幫助機器人理解手內物體狀態,完成複雜操作任務。在我們開源這套傳感器大約一年半之後,我們欣喜地看到,這項技術已經在學術界與工業界得到廣泛應用。

更讓我們振奮的是,大家正在沿著不同方向繼續推進、拓展整個生態:如何製造更好、能力更強的硬件;如何基於我們的觸覺傳感器構建更好的感知、學習和推理系統;以及如何設計真正包含觸覺的大規模數據採集流程。我們也在與亞德諾半導體(Analog Devices,ADI)展開合作,由他們開發這款傳感器的商業化版本。他們已經在多場會議上演示了商業化樣機,其中就包括 GTC 大會,演示內容是一些很有代表性的機器人操作任務。大家可以訪問我們的項目網站,查閱硬件、軟件方向的各類學術與產業應用成果。02核心優勢:可擴展、柔性、一致性但話說回來,我們這款傳感器只是眾多觸覺傳感方案的其中一種方案。

觸覺領域常常被詬病的一個問題是,整個領域至今未形成統一標準。和發展成熟的計算機視覺不一樣,不同實驗室往往採用完全自研、互不兼容的觸覺傳感器。所以,我們的傳感器有幾個比較重要的優勢。第一是可擴展性。它既可以做成大面積,也可以做成小尺寸。第二是柔性。它就像一張紙,可以彎折、裁剪,還可以包覆在各種異形曲面結構上。第三是高度可定製化。我們內部已經完成原型驗證,可以把傳感器定製成觸覺手套、指尖傳感器、機器人皮膚等多種形態。另一項優勢是一致性和魯棒性,可以從兩個維度來看。第一個維度是時間維度:信號會不會隨時間發生漂移,即長期的穩定性。

這裡舉一個實例:我的學生 Binghao 主導了很多相關工作,他 2024 年夏天在實習期間,為錄製視頻製作了四塊傳感器。時隔一年半之後,直接使用這套傳感器,用一年前採集的數據訓練出來的模型依然可以正常工作。第二個維度是不同批次製備之間的一致性:不同批次加工出來的傳感器,輸出信號能否保持一致。這是很多觸覺傳感器的痛點,尤其是結構中包含橡膠材料的傳感器;而我們這款傳感器在這一點上表現出不錯的一致性。我們也正和亞德諾半導體合作,探索如何規模化生產這類傳感器。03優異的仿真適配能力我們觸覺傳感器的另一個關鍵優勢是仿真適配性。我們可以很方便地把這款觸覺傳感器接入仿真環境,藉助仿真做規模化算法迭代。

下面我要介紹的後續工作正是基於這一點。因為傳感機制簡單,仿真實現只需要構建一個簡單的彈簧‑阻尼系統,只需要標定 3 個超參數。左邊是真實物理交互場景,後方屏幕可以看到觸覺信號的實時可視化;右邊是仿真環境,運行完全相同的策略,執行相同任務。不僅狀態演化過程高度吻合,仿真端屏幕輸出的觸覺信號也和真實信號匹配度很高。當然,你可能會說,這只是定性結果。那麼定量結果表現如何?我們的做法是,先在真實環境中採集一批隨機交互數據,然後把真實環境裡的交互動作在仿真環境中復現回放。然後,我們分別收集真實環境和仿真環境得到的全部觸覺數據,並繪製成直方圖。

標定工作的核心目標就是對齊這兩組直方圖,而二者實際對齊效果非常理想。這和計算機視覺裡白平衡校準是相通的思路。這裡我想特別強調一點:仿真與真實對齊得越精確,你在仿真中需要做的隨機化就越少,sim-to-real 的遷移也會越精準。所以,在仿真環境中,我們可以進行大規模隨機化,然後把訓練出來的策略遷移回真實環境。同樣的框架也可以應用到不同本體的機器人上。我們在實驗室的雙臂裝配任務中進行了驗證,也在英偉達的人形機器人上使用了同樣的 sim-to-real 遷移框架,讓機器人完成類似的任務。04真實數據規模化:給 UMI 補上缺失的觸覺接下來,我想講的是如何實現真實世界數據的規模化採集。

很多人應該都熟悉 UMI 這套手持遙操作設備,它被用於野外場景的數據採集。用過 UMI 夾持器的人應該會注意到:設備內部的機械彈簧會給人類操作者提供觸覺反饋,但原版 UMI 的設計只會記錄精準的位姿跟蹤信息,並不會存儲這套觸覺反饋。接入我們的觸覺傳感器恰好補上了這一短板。它可以間接把人類操作者感受到的觸覺反饋,記錄為傳感器輸出的觸覺信號。藉助這套改造後的手持設備,我們可以到各類不同場景完成大規模數據採集。採集到的數據可以同時包含視覺和觸覺信息,而且兩者是時間同步的。去過哥倫比亞大學校園的同學或許能認出其中部分場景。

我們拿到視覺‑觸覺配對的同步數據之後,可以用來做預訓練,也有人稱之為中間訓練,取決於工作流的定義。之後,我們還可以繼續採集遙操作數據,用於機器人策略的後續微調訓練。這個案例是一項實驗室自動化任務:機器人需要對試管做姿態重定向,過程中會有人為施加外部擾動。機器人必須持續調整試管姿態,才能夠完成插入操作。右側是策略模型的輸入,包含腕部相機圖像以及觸覺傳感信號。經常有人提出一個問題:既然已經有腕部相機,我們還需要觸覺嗎?腕部相機的信息難道還不夠用嗎?這個任務就是很好的反例。如果試管是透明物體,僅依靠腕部相機,很難精確判斷試管的姿態與位置;但下方的觸覺信息就可以對機器人手內物體的狀態做出精準估計。

除此之外,我們還完成了很多其他任務:比如鉛筆在手內姿態調整、把鉛筆插入卷筆刀;還有需要精準力控的任務:控制夾持器張開吸取液體,但又不能張得過大導致玻璃器皿脫落;還有經典的恆力控制任務,比如白板擦拭。以上就是我們目前一直在做的諸多工作。我們從一套已經發展數十年的簡易傳感機理出發,盡最大努力把這套傳感器推廣給更多研究者,我們把這件事情稱為「讓觸覺感知大眾化」。我們在努力地推進這件事情,看到這套傳感方案被廣泛採用,也由衷感到高興。而在 AI 的世界裡,我們也一直在思考如何通過仿真、真實物理環境兩條路徑,把觸覺感知的規模進一步做大。而這一切僅僅只是開始。在此基礎之上,我們實驗室還在推進多條技術路線。

其中一項工作是與普渡大學的合作者共同完成的。我們不再只使用單一類型觸覺傳感器,而是把不同類型的觸覺傳感器結合起來,包括我們實驗室的壓阻式傳感器,以及基於視覺的觸覺傳感器,並把它們集成到多指夾爪中,實現高靈巧度操作任務。這篇論文會在本次 IROS 上進行報告,同時也是最佳論文獎的入圍作品之一。如果各位對該方向感興趣,歡迎和我們交流。我們實驗室另一項重要工作圍繞世界模型展開。如大家所料,我們也在探索如何將觸覺感知融入世界模型。大家現在看到的是基於動作條件的交互式 3D 視頻預測,全程沒有用到物理仿真,全部由真實數據訓練得到。這套模型可以輸出幀率 15fps、同時包含視覺點雲與觸覺點雲的預測結果。

仔細看指尖部分可以發現:在三維空間中,觸覺點雲可以和物體底層幾何結構實現很好的對齊。模型還可以識別滑移:當兩件物體對位不夠好時,可以檢測到滑移現象;當試管和支座對位精準,就可以完成插頭插入試管的動作。觸覺預測與視覺預測可以很好地協同對齊,這對於手內物體狀態測量、估計這類高精度任務至關重要。我的報告到此結束,歡迎大家提問。05Q&A 問答環節▎聽眾 A:我有一個關於觸覺傳感器切向力的問題。首先,你們的傳感器能否測量切向力?其次,如果本身不做切向力測量,背後是什麼原因?切向力對策略的成功是否重要?另外,在 UMI 數據集裡,觸覺傳感器是如何生成動作標籤的?

如果去掉UMI內部的機械彈簧結構柔順機構,觸覺到動作標籤的映射還能否正常工作?李昀燭:這些問題非常好。第一個問題關於剪切力:壓阻材料本身並不能直接測得剪切力。但我們發現,如果傳感器的空間分辨率、時間分辨率足夠高,就可以對剪切力做近似估計。我們亞德諾半導體的合作團隊正在提升傳感器分辨率,我記得目標分辨率至少是現有版本的 5‑7 倍。他們發現在傳感器表層覆蓋一層極薄的軟材料,材料發生形變之後,就可以實現對剪切力的近似估算。讀取觸覺數據的時候,即便處於靜態剪切狀態,你也能看到力分佈發生偏移;動態剪切當然也可以捕捉。所以我們認為,在傳感器設計中引入剪切力測量擁有巨大研究潛力。

他們已經有兩篇相關論文被 CORAL 會議接收,會在 CORAL 做報告。其中一篇專門研究如何用壓阻材料檢測滑移。你的第二個問題,關於把傳感器集成到 UMI 夾持器: 對於觸覺可以發揮巨大價值的任務,尤其是需要柔順特性、力級推理與力控操作的場景,觸覺感知會起到至關重要的作用。這也是為什麼我們的傳感器和 UMI 夾持器兼容性很好:夾持器的手指本身具備柔順特性,同時內置機械彈簧,給夾持機構帶來柔順能力。我堅信,對於現實世界絕大多數有價值的機器人任務,這種柔順特性都是必不可少的。謝謝。()為了方便大家抱團交流、互通會議消息,我們專門建了 IROS 2026 參會交流群!進群你會解鎖這些「福利」?

會議情報站:投稿 DDL、格式規範、評審進度……關鍵節點第一時間送達,再也不怕錯過 deadline,投稿準備穩穩的。同行茶話會:天南海北的同行都在群裡,聊心得、碰思路、攢人脈,科研路上我們同行。前沿補給站:最新研究成果、熱點方向實時同步,結合會議主題幫你捋清投稿脈絡,給論文靈感加滿油。現場後援團:(會議期間專屬開啟):到了會場也不用慌——路線導航:場館分佈、報告廳怎麼走,群裡隨時問;議題共讀:熱門 session、Keynote 探討,錯過也能追;Poster 彙編:現場海報精華整理,一鍵收藏不遺漏;約局廣場:約飯局、採訪局、交流局……想嘮嗑、想合作、想面基,群裡發起就成。?

進群傳送門: 掃碼進群或添加微信Luyoyo_2026,備註:ECCV + 單位/學校+姓名+方向。搞科研/搞技術,信息差很重要。來,一起快人一步!上車,帶你看遍全球 AI 頂會精華可獨家暢覽:專家演講PPT大會報告全文熱門論文解讀學術新星訪談掃描上方二維碼或點擊「閱讀原文」關注專區。

Related

相關文章

智東西生成式AI

英特爾與騰訊發佈基於至強6+的雲實例,曬智能體AI基礎設施全家桶

作者 | ZeR0 編輯 | 漠影 11月3日報道,近日,在2026騰訊全球數字生態大會上,英特爾與騰訊雲發佈基於英特爾至強6+處理器的騰訊雲新一代雲實例,並全面展示英特爾的芯片產品與雲端實踐。 全新至強6+處理器擁有最高288顆能效核,單顆處理器最高可支持超過1000個智能體的穩定部署,這也為騰訊雲服務器提供更高併發、更低時延、更優能效的雲端算力服務。

1 小時前
雷峰網生成式AI

智元榮獲2026世界互聯網大會傑出貢獻獎

11月3日,2026年世界互聯網大會烏鎮峰會在浙江烏鎮隆重開幕,國務院總理李強出席開幕式並發表主旨演講。開幕式上,智元憑藉在具身智能領域的系統性技術突破與產業化實踐,獲頒世界互聯網大會傑出貢獻獎。智元合夥人、高級副總裁朱潔在領獎時表示:人工智能的終局,不在於屏幕與雲端,而紮根於工廠一線和尋常煙火。具身智能賽道的競爭,早已跳出單點技術的競速,轉向軟硬協同、工程化落地、產業組織與治理體系的綜合比拼。智元期待與各界同心同行,堅守務實,躬身落地。

1 小時前

電動車退燒、AI 儲能燒起來:LG 新能源把產能挪向數據中心

11 月 3 日,首席財務官李昌植在財報電話會上給出時間表:今年底軟包儲能系統(ESS)產能將超 50 吉瓦時,明年進一步拉到 70 GWh 以上。在他看來,電動車增速放緩之際,AI 數據中心的大規模新建為電池廠撕開了新口子——第三季度 ESS 在手訂單已達 160 GWh,公司正與電力企業、超大型數據中心運營商談新項目,今年 9 月還作為儲能供應商擠進了英偉達的 DSX Ready 計劃。

2 小時前4700
雷峰網生成式AI

最高288核的至強6+,為了Agent高密度部署還下了哪些「雲功夫」?

作者 | 陳悅琳編輯 | 包永剛 一個智能體能順利完成任務,不代表成百上千個智能體就能同時高效運行。 對於承載大量智能體任務的雲服務器而言,除了提升計算速度,如何在任務集中到來時迅速準備好執行環境、怎樣減少暫時閒置的任務對內存資源的佔用,也成為亟待解決的問題。 對此,在一年一度的騰訊全球數字生態大會上,英特爾與騰訊雲聯合發佈了基於至強6+處理器的新一代雲實例,圍繞任務啟動效率、內存資源利用率等關鍵因素進行優化後,其綜合性能較上一代提升30%以上。

2 小時前

聯合國副秘書長點贊!千問AI耳夾式耳機亮相烏鎮互聯網大會

他認為,產品非常實用,適合自己日常工作中需要使用多國語言進行交流的場景。面對面交流時,用戶可以通過耳機收聽譯文;會議中的討論內容,也能通過AI聽記整理為結構化紀要,方便會後回顧。連接千問App後,用戶還可通過語音交辦資料研究等任務、接收完成提醒,讓耳機成為日常辦公的隨身助手。

3 小時前