讓觸覺像視覺一樣可規模化,哥大李昀燭團隊 FlexiTac 的開源實踐 | IROS 2026

2026年10月10日 03:25
站內 AI 整理稿

FlexiTac壓阻式傳感器可兼顧柔性、低成本與一致性。作者丨向欣 編輯丨岑峰 機器人的視覺能力正快速增強,但觸覺仍然是具身智能系統中的薄弱環節。尤其是在精細操作場景中,當物體被遮擋、透明、易碎,或需要精確判斷接觸力與手內姿態時,僅靠視覺往往難以確認機器人是否真正抓穩了物體、是否發生了滑移,也難以實現可靠的力控與順從交互。與圖像領域已經形成相對統一的傳感器和數據體系相比,觸覺研究尚未形成類似的「收斂」。不同實驗室往往使用不同類型的觸覺傳感器,但它們都面臨壽命、柔性、多維信息感知、分辨率、成本與一致性難以同時兼顧的困境。這使得觸覺數據採集、算法研究以及不同系統之間的復現都變得更加困難。

如何讓觸覺像視覺一樣,成為一種可以被更多機器人使用、被大量採集、被算法反覆利用的基礎感知能力?針對這個問題,哥倫比亞大學李昀燭團隊提出了開源柔性壓阻式觸覺傳感器平臺 FlexiTac。在本屆 IROS 2026 的觸覺專題研討會上,李昀燭系統介紹了這一平臺開源一年半後的進展與生態。FlexiTac 是一套低成本、開源、可擴展的壓阻式柔性觸覺傳感器,團隊同時開源了完整 BOM、詳細組裝說明以及用於讀取觸覺數據的軟件。FlexiTac 採用 FPC 與力敏薄膜層疊結構,組裝僅需 3 分鐘,可彎曲、裁剪幷包裹於不同幾何表面,適配手套、指尖或機器人皮膚等多種形態。

其核心優勢在於成本低、製作簡單、高度柔性與可擴展、以及較好的長期穩定性和批次一致性,感知機制也足夠簡單,易於用彈簧-阻尼系統實現高保真仿真。其技術棧可集成進主流的機器人學習框架中,門檻低到擁有即使是本科生,只要擁有一臺可打印 SO-100 機械臂的 3D 打印機,也能輕鬆把觸覺傳感器裝上機器人。李昀燭提到,開源約一年半以來,FlexiTac 已在學術界與工業界獲得廣泛採用,衍生出多模態策略、可變形世界模型、四足移動-操縱、VLA 觸覺反饋等多方向工作,他們與普渡大學合作的多指靈巧操縱工作 VTAP Gripper 還入圍了本次 IROS 最佳論文獎。

Analog Devices(ADI)正在推進其商業化版本,該版本觸覺分辨率達到人類手指的五倍,基於半導體制造工藝量產。以下為李昀燭在 IROS 2026 演講的精編稿,AI科技評論基於原英文內容進行了不改原意的翻譯編輯:013 分鐘組裝、本科生可用為了讓傳感器易於生產、成本低廉,我們最新的版本製造成本其實已經非常低,具體多低,取決於你同一批次生產多少片。準備好所有物料後,你只需要花 3 分鐘就可以把傳感器裝配完成,傳感器隨即就能投入工作。我們這套方案是完全開源的:完整的物料清單,還有非常詳盡的分步裝配說明,同時也配套了可以讀取、傳輸傳感數據的對應軟件。

除了傳感器和配套軟件本身,我們也還把這套軟硬件技術棧集成到非常流行的機器人學習框架 LeRobot 裡。這樣一來,任何人,哪怕只是本科生,只要手頭有能夠打印出低成本 SO-100 機械臂的 3D 打印機、都可以輕鬆地把我們的觸覺傳感器集成進去,然後開展相關研究,探索觸覺感知如何幫助機器人理解手內物體狀態,完成複雜操作任務。在我們開源這套傳感器大約一年半之後,我們欣喜地看到,這項技術已經在學術界與工業界得到廣泛應用。

更讓我們振奮的是,大家正在沿著不同方向繼續推進、拓展整個生態:如何製造更好、能力更強的硬件;如何基於我們的觸覺傳感器構建更好的感知、學習和推理系統;以及如何設計真正包含觸覺的大規模數據採集流程。我們也在與亞德諾半導體(Analog Devices,ADI)展開合作,由他們開發這款傳感器的商業化版本。他們已經在多場會議上演示了商業化樣機,其中就包括 GTC 大會,演示內容是一些很有代表性的機器人操作任務。大家可以訪問我們的項目網站,查閱硬件、軟件方向的各類學術與產業應用成果。02核心優勢:可擴展、柔性、一致性但話說回來,我們這款傳感器只是眾多觸覺傳感方案的其中一種方案。

觸覺領域常常被詬病的一個問題是,整個領域至今未形成統一標準。和發展成熟的計算機視覺不一樣,不同實驗室往往採用完全自研、互不兼容的觸覺傳感器。所以,我們的傳感器有幾個比較重要的優勢。第一是可擴展性。它既可以做成大面積,也可以做成小尺寸。第二是柔性。它就像一張紙,可以彎折、裁剪,還可以包覆在各種異形曲面結構上。第三是高度可定製化。我們內部已經完成原型驗證,可以把傳感器定製成觸覺手套、指尖傳感器、機器人皮膚等多種形態。另一項優勢是一致性和魯棒性,可以從兩個維度來看。第一個維度是時間維度:信號會不會隨時間發生漂移,即長期的穩定性。

這裡舉一個實例:我的學生 Binghao 主導了很多相關工作,他 2024 年夏天在實習期間,為錄製視頻製作了四塊傳感器。時隔一年半之後,直接使用這套傳感器,用一年前採集的數據訓練出來的模型依然可以正常工作。第二個維度是不同批次製備之間的一致性:不同批次加工出來的傳感器,輸出信號能否保持一致。這是很多觸覺傳感器的痛點,尤其是結構中包含橡膠材料的傳感器;而我們這款傳感器在這一點上表現出不錯的一致性。我們也正和亞德諾半導體合作,探索如何規模化生產這類傳感器。03優異的仿真適配能力我們觸覺傳感器的另一個關鍵優勢是仿真適配性。我們可以很方便地把這款觸覺傳感器接入仿真環境,藉助仿真做規模化算法迭代。

下面我要介紹的後續工作正是基於這一點。因為傳感機制簡單,仿真實現只需要構建一個簡單的彈簧‑阻尼系統,只需要標定 3 個超參數。左邊是真實物理交互場景,後方屏幕可以看到觸覺信號的實時可視化;右邊是仿真環境,運行完全相同的策略,執行相同任務。不僅狀態演化過程高度吻合,仿真端屏幕輸出的觸覺信號也和真實信號匹配度很高。當然,你可能會說,這只是定性結果。那麼定量結果表現如何?我們的做法是,先在真實環境中採集一批隨機交互數據,然後把真實環境裡的交互動作在仿真環境中復現回放。然後,我們分別收集真實環境和仿真環境得到的全部觸覺數據,並繪製成直方圖。

標定工作的核心目標就是對齊這兩組直方圖,而二者實際對齊效果非常理想。這和計算機視覺裡白平衡校準是相通的思路。這裡我想特別強調一點:仿真與真實對齊得越精確,你在仿真中需要做的隨機化就越少,sim-to-real 的遷移也會越精準。所以,在仿真環境中,我們可以進行大規模隨機化,然後把訓練出來的策略遷移回真實環境。同樣的框架也可以應用到不同本體的機器人上。我們在實驗室的雙臂裝配任務中進行了驗證,也在英偉達的人形機器人上使用了同樣的 sim-to-real 遷移框架,讓機器人完成類似的任務。04真實數據規模化:給 UMI 補上缺失的觸覺接下來,我想講的是如何實現真實世界數據的規模化採集。

很多人應該都熟悉 UMI 這套手持遙操作設備,它被用於野外場景的數據採集。用過 UMI 夾持器的人應該會注意到:設備內部的機械彈簧會給人類操作者提供觸覺反饋,但原版 UMI 的設計只會記錄精準的位姿跟蹤信息,並不會存儲這套觸覺反饋。接入我們的觸覺傳感器恰好補上了這一短板。它可以間接把人類操作者感受到的觸覺反饋,記錄為傳感器輸出的觸覺信號。藉助這套改造後的手持設備,我們可以到各類不同場景完成大規模數據採集。採集到的數據可以同時包含視覺和觸覺信息,而且兩者是時間同步的。去過哥倫比亞大學校園的同學或許能認出其中部分場景。

我們拿到視覺‑觸覺配對的同步數據之後,可以用來做預訓練,也有人稱之為中間訓練,取決於工作流的定義。之後,我們還可以繼續採集遙操作數據,用於機器人策略的後續微調訓練。這個案例是一項實驗室自動化任務:機器人需要對試管做姿態重定向,過程中會有人為施加外部擾動。機器人必須持續調整試管姿態,才能夠完成插入操作。右側是策略模型的輸入,包含腕部相機圖像以及觸覺傳感信號。經常有人提出一個問題:既然已經有腕部相機,我們還需要觸覺嗎?腕部相機的信息難道還不夠用嗎?這個任務就是很好的反例。如果試管是透明物體,僅依靠腕部相機,很難精確判斷試管的姿態與位置;但下方的觸覺信息就可以對機器人手內物體的狀態做出精準估計。

除此之外,我們還完成了很多其他任務:比如鉛筆在手內姿態調整、把鉛筆插入卷筆刀;還有需要精準力控的任務:控制夾持器張開吸取液體,但又不能張得過大導致玻璃器皿脫落;還有經典的恆力控制任務,比如白板擦拭。以上就是我們目前一直在做的諸多工作。我們從一套已經發展數十年的簡易傳感機理出發,盡最大努力把這套傳感器推廣給更多研究者,我們把這件事情稱為「讓觸覺感知大眾化」。我們在努力地推進這件事情,看到這套傳感方案被廣泛採用,也由衷感到高興。而在 AI 的世界裡,我們也一直在思考如何通過仿真、真實物理環境兩條路徑,把觸覺感知的規模進一步做大。而這一切僅僅只是開始。在此基礎之上,我們實驗室還在推進多條技術路線。

其中一項工作是與普渡大學的合作者共同完成的。我們不再只使用單一類型觸覺傳感器,而是把不同類型的觸覺傳感器結合起來,包括我們實驗室的壓阻式傳感器,以及基於視覺的觸覺傳感器,並把它們集成到多指夾爪中,實現高靈巧度操作任務。這篇論文會在本次 IROS 上進行報告,同時也是最佳論文獎的入圍作品之一。如果各位對該方向感興趣,歡迎和我們交流。我們實驗室另一項重要工作圍繞世界模型展開。如大家所料,我們也在探索如何將觸覺感知融入世界模型。大家現在看到的是基於動作條件的交互式 3D 視頻預測,全程沒有用到物理仿真,全部由真實數據訓練得到。這套模型可以輸出幀率 15fps、同時包含視覺點雲與觸覺點雲的預測結果。

仔細看指尖部分可以發現:在三維空間中,觸覺點雲可以和物體底層幾何結構實現很好的對齊。模型還可以識別滑移:當兩件物體對位不夠好時,可以檢測到滑移現象;當試管和支座對位精準,就可以完成插頭插入試管的動作。觸覺預測與視覺預測可以很好地協同對齊,這對於手內物體狀態測量、估計這類高精度任務至關重要。我的報告到此結束,歡迎大家提問。05Q&A 問答環節▎聽眾 A:我有一個關於觸覺傳感器切向力的問題。首先,你們的傳感器能否測量切向力?其次,如果本身不做切向力測量,背後是什麼原因?切向力對策略的成功是否重要?另外,在 UMI 數據集裡,觸覺傳感器是如何生成動作標籤的?

如果去掉UMI內部的機械彈簧結構柔順機構,觸覺到動作標籤的映射還能否正常工作?李昀燭:這些問題非常好。第一個問題關於剪切力:壓阻材料本身並不能直接測得剪切力。但我們發現,如果傳感器的空間分辨率、時間分辨率足夠高,就可以對剪切力做近似估計。我們亞德諾半導體的合作團隊正在提升傳感器分辨率,我記得目標分辨率至少是現有版本的 5‑7 倍。他們發現在傳感器表層覆蓋一層極薄的軟材料,材料發生形變之後,就可以實現對剪切力的近似估算。讀取觸覺數據的時候,即便處於靜態剪切狀態,你也能看到力分佈發生偏移;動態剪切當然也可以捕捉。所以我們認為,在傳感器設計中引入剪切力測量擁有巨大研究潛力。

他們已經有兩篇相關論文被 CORAL 會議接收,會在 CORAL 做報告。其中一篇專門研究如何用壓阻材料檢測滑移。你的第二個問題,關於把傳感器集成到 UMI 夾持器: 對於觸覺可以發揮巨大價值的任務,尤其是需要柔順特性、力級推理與力控操作的場景,觸覺感知會起到至關重要的作用。這也是為什麼我們的傳感器和 UMI 夾持器兼容性很好:夾持器的手指本身具備柔順特性,同時內置機械彈簧,給夾持機構帶來柔順能力。我堅信,對於現實世界絕大多數有價值的機器人任務,這種柔順特性都是必不可少的。謝謝。(報道)為了方便大家抱團交流、互通會議消息,我們專門建了 IROS 2026 參會交流群!進群你會解鎖這些「福利」?

會議情報站:投稿 DDL、格式規範、評審進度……關鍵節點第一時間送達,再也不怕錯過 deadline,投稿準備穩穩的。同行茶話會:天南海北的同行都在群裡,聊心得、碰思路、攢人脈,科研路上我們同行。前沿補給站:最新研究成果、熱點方向實時同步,結合會議主題幫你捋清投稿脈絡,給論文靈感加滿油。現場後援團:(會議期間專屬開啟):到了會場也不用慌——路線導航:場館分佈、報告廳怎麼走,群裡隨時問;議題共讀:熱門 session、Keynote 探討,錯過也能追;Poster 彙編:現場海報精華整理,一鍵收藏不遺漏;約局廣場:約飯局、採訪局、交流局……想嘮嗑、想合作、想面基,群裡發起就成。?

進群傳送門: 掃碼進群或添加微信Luyoyo_2026,備註:ECCV + 單位/學校+姓名+方向。搞科研/搞技術,信息差很重要。來,一起快人一步!上車,帶你看遍全球 AI 頂會精華可獨家暢覽:專家演講PPT大會報告全文熱門論文解讀學術新星訪談掃描上方二維碼或點擊「閱讀原文」關注專區。

Related

相關文章

MarkTechPost AI生成式AI

認識 Voxel51 3.0:為實體 AI 打造的統一多模態資料平臺

Voxel51 已發布 Voxel51 3.0,這是其資料平臺的一次重大更新。Voxel51 3.0 是一個端對端的多模態資料平臺,將搜尋、篩選、標註和評估整合於單一系統中。該平臺鎖定針對機器人、車輛和工廠感測器資料進行模型訓練的團隊。此次發布新增了 Voxel51 Agent、資料溯源層及免費的自助式存取。重點摘要:規模:Voxel51 Agent 內建超過 45 個 MCP 工具、80 多個運算子及 18 個開源技能。執行環境:可於 app.voxel51.com 使用託管網頁應用程式,或於雲端、混合、地端及隔離環境中自行部署。未揭露本機 GPU 需求。效能:未發布產品基準測試。Voxel51 引用其自身調查數據作為依據。最佳亮點:免費方案包含 Voxel51 Agent、每月 30,000 次推論請求及 30 個運算小時。

19 小時前
何夕2077生成式AI

下一概念建模把文本生成提速最高31倍

斯坦福等聯合提出全新文本生成範式 NCM,生成速度狂飆 31 倍AIbase基地發佈於AI新聞資訊 · 1 分鐘閱讀 · Oct 16, 202633人工智能領域的文本生成技術迎來顛覆性創新。斯坦福大學與 Together AI 的研究人員近日聯手推出了一種截然不同於傳統自迴歸和擴散模型的全新文本生成範式——Next-Concept Modeling(簡稱 NCM,即“下一概念建模”)。該方法巧妙借鑑了圖像生成領域中“下一尺度預測”的思路,有望為未來的文本生成技術開闢全新的發展路線。在技術實現路徑上,NCM 模擬了人類“先構思宏觀大綱、再動筆填充細節”的寫作邏輯。整個系統通過兩階段訓練來完成:首先訓練多尺度殘差 VQ-VAE,從而得到能夠逐層補充信息的多層離散文本編碼;隨後凍結該系統,訓練 Transformer 模塊去預測下一層的編碼。在生成文本時,模型會先並行生成概念層面的宏觀大綱,接著逐層並行填充具體細節,最終組合成完整的文本內容。在實際測試表現中,NCM 交出了令人矚目的成績單。實驗數據顯示,在保持相近甚至更優生成質量的前提下,NCM 相對傳統的擴散語言模型實現了10到31倍的生成速度飛躍,並且在訓練過程中所需消耗的 token 數量也大幅減少。此外,在數獨等複雜推理任務上,它的表現也明顯優於傳統的自迴歸和擴散基線模型,同時還支持通過多生成候選挑選機制來進一步優化最終輸出效果。儘管目前該研究所使用的模型參數規模依然相對有限,其在擴大模型規模後的表現、精確文本以及長篇內容的生成能力仍有待後續驗證,但這一創新思路無疑打破了長期以來的技術慣性,為人工智能高效生成文本提供了充滿想象力的全新解法。本文來自AIbase日報掃碼查看歡迎來到【AI日報】欄目!這裡是你每天探索人工智能世界的指南,每天我們為你呈現AI領域的熱點內容,聚焦開發者,助你洞悉技術趨勢、瞭解創新AI產品應用。

23 小時前
雷峰網生成式AI

12.88萬起、華為電驅+L4同源智駕,Ray7能成為埃安年輕化的答卷嗎?

12.88萬起、華為電驅+L4同源智駕,Ray7能成為埃安年輕化的答卷嗎? 本文作者: 倪萍 2026-10-17 22:42 導語:10月17日,埃安轎跑Ray7正式開啟預售,預售價12.88 萬起。新車車長4.9米,軸距2.9米,車頭部分搭配3.25米的超長雙環燈帶,是埃安10年煥新的家族 10月17日,埃安轎跑Ray7正式開啟預售,預售價12.88 萬起。新車車長4.9米,軸距2.9米,車頭部分搭配3.25米的超長雙環燈帶,是埃安10年煥新的家族式標識。 新車採用寧德時代電池以及廣汽自研的彈匣電池2.0技術,能夠在充分釋放續航能力的同時,監控電池健康狀態。提供45.58kWh和62.98kWh兩種規格,續航可達702公里,整車風阻係數 Cd 低至 0.22。Ray7搭載華為DriveONE多合一電驅,以及華為DriveONE芯片級驅制融合架構,百公里制動僅為32.8米。底盤方面,Ray7搭載高性能前後穩定杆和後五連桿懸架,過彎極限更高,濾振更乾淨。智能化上, Ray7搭載27顆車規級全視角傳感器,採用文遠知行L4級Robotaxi同源大模型。這幫助新車能夠複用 L4 積累的海量場景經驗,在城區掉頭、繞行等複雜場景中可順利通行。自2025年廣汽推進“番禺行動”以來,昊鉑埃安BU的研發、生產、銷售等環節效率不斷提升,產品迭代和新車投放節奏明顯加快。作為埃安全新Ray車系的首款新車,Ray7是埃安開啟年輕化序列的關鍵落子,也是廣汽切入20萬級市場的重要佈局。這一細分市場競爭並不輕鬆:小鵬P7、極氪007等車型已經提前卡位。Ray7想在年輕人心中佔位,不能只堆參數,更要把智能座艙與輔助駕駛、三電安全、補能效率、用車成本和價格權益上的差異,變成用戶可感、可信、可持續的體驗,這才是埃安年輕化的分水嶺。(雷峰網(公眾號:雷峰網)) 雷峰網原創文章,未經授權禁止轉載。詳情見轉載須知。

1 天前
智東西生成式AI

梁聖又掀桌了!DeepSeek新模型斬殺GPT-6,許願式編程時代降臨

作者 | 楊京麗 編輯 | 李水青 10月17日報道,剛剛,DeepSeek V4.1 Flash更新至V4.1-Flash-1017版本,官方網頁端、App與API已同步更新至新模型,模型權重也已在HuggingFace和ModelScope開放下載。DeepSeek還向公眾開放自研搜索引擎的Search(搜索)與Fetch(抓取)API,兩個接口均定價為5元/千次。 此次更新距離該模型發佈僅過去一個多月。9月10日,DeepSeek正式推出V4.1-Flash,在性能上超越了DeepSeek-V4-Pro。

1 天前