世界模型有觸覺了!50萬小時視頻,訓出首個隱式觸覺世界動作模型

重點摘要
世界模型正式跨入觸覺感知的新紀元。過去這類模型主要依賴視覺與空間訊息來理解環境,但對於觸覺這項人類與物體互動時的關鍵感官,始終難以有效納入。如今,研究團隊成功開發出全球第一個隱式觸覺世界動作模型,讓人工智慧不僅能「看見」,也開始能「感覺」物體受力的細微變化。 這項突破的關鍵來自於規模龐大的訓練資料。
世界模型正式跨入觸覺感知的新紀元。過去這類模型主要依賴視覺與空間訊息來理解環境,但對於觸覺這項人類與物體互動時的關鍵感官,始終難以有效納入。如今,研究團隊成功開發出全球第一個隱式觸覺世界動作模型,讓人工智慧不僅能「看見」,也開始能「感覺」物體受力的細微變化。這項突破的關鍵來自於規模龐大的訓練資料。團隊蒐集了多達五十萬小時的真實影片,內容橫跨日常生活與工業操作,從按壓遙控器按鈕、捏起軟性食材,到操作工具與精密零件組裝,涵蓋各類手部與物體互動的連續畫面。系統從這些影片中,自動學習物體在受力時的形變、滑動、擠壓等細膩動態,並將這些隱含的觸覺訊息內化為動作預測的基礎。
不同於傳統觸覺感測技術需要昂貴且校準複雜的硬體,這套模型採用「隱式學習」策略:不直接模擬物理觸感,而是透過視覺觀察來推論觸覺行為。研究人員指出,當模型看到手指壓下一塊海綿,它並不需知道海綿的彈性係數,而是從影像中凹陷區域的變化,學會預測不同施力下可能出現的反應。這項設計大幅降低了對專用感測器的依賴,也使模型更容易在各種場景中部署。模型的訓練涵蓋超過五十萬小時的多元場景影片,場景之豐富讓系統得以接觸各種材質、形狀與操作情境。無論是輕觸羽毛的細微晃動,還是用力握緊金屬工具的剛性回饋,模型都能在觀看影片的過程中逐步建立動作與觸覺反應之間的關聯。
這種從大量視覺資料中提煉觸覺規則的方法,展現了資料驅動策略在感官理解上的潛力。測試結果顯示,這套隱式觸覺模型在預測任務上表現出色。它能根據視覺輸入,準確判斷不同材質、施力大小與接觸角度下物體的反應。例如,按壓軟墊時預測凹陷深度與回彈時間,或是在抓握玻璃杯時估算滑脫風險。這類精準的預測能力對機器人而言極具價值,能讓機械手臂在執行抓取或組裝任務時更細膩地調整施力,避免損壞物件。這項成果不僅補足了世界模型長期缺乏的觸覺維度,也為人機協作帶來突破性進展。以往機器人若要感知觸覺,往往需要加裝壓力感測器或力矩感測器,不僅成本高,也容易受到環境干擾。
現在透過純視覺的隱式學習,機器人可以在不增加硬體負擔的情況下,獲得接近觸覺的判斷能力,從而更流暢地與人類合作完成複雜作業。虛擬實境與沉浸式體驗同樣可望受益。未來的虛擬互動不再僅依賴手勢辨識或視覺回饋,而能透過模型推算出虛擬物體被觸碰時應有的形變與阻力,讓使用者在操作時感受到更真實的物理反應。這對於遠端操控、教育訓練或數位孿生模擬等應用,將帶來更自然的互動體驗。遠端操控技術也有新想像空間。操作人員在另一端操作機械手臂時,若手臂端能透過視覺即時預測接觸狀態,並將觸覺資訊回傳給操作者,就能大幅提升遠距作業的直覺性與精準度,特別是在危險環境或醫療手術等對觸感要求極高的場合。
研究團隊強調,這套模型目前雖然還無法模擬細緻的溫度或表面紋理,但已經成功證明,隱式學習能讓視覺模型掌握相當豐富的觸覺行為規則。隨著訓練資料的持續擴充與模型架構的改進,未來觸覺世界動作模型將有機會涵蓋更廣泛的感官範疇,成為機器人與虛擬系統理解物理世界的重要基石。這場從視覺到觸覺的跨越,不僅象徵世界模型的能力邊界向外拓展,更預示著人工智慧與實體環境的互動即將邁入更自然、更全面感知的新階段。對於機器人、虛擬實境以及各類自動化系統而言,擁有觸覺理解的模型將不再是遙遠的願景,而是已經到來的現實。
Related
相關文章

天才,對AI發展到底有多重要?
加拿大三位科學家傑弗裡·辛頓、約書亞·本希奧和理查德·薩頓對當代人工智慧發展有重大貢獻,凸顯少數天才就能左右一個國家的技術地位。文章從1956年達特茅斯會議談起,探討人工智慧領域的關鍵爭論與發展脈絡。

微軟 Copilot 新版圖標洩露,趨向扁平化、設計更簡潔
微軟 Copilot 圖標在 Edge Canary 測試版中意外曝光,新設計去除了 3D 陰影,變得更加扁平化。據悉,該圖標還曾短暫出現在新版 Microsoft 365 應用中,但上線時間尚未確定。#微軟Copilot#

Jeff Dean們,趕在貝葉斯AI到來之前跳船
Jeff Dean 離開任職27年的Google,創辦Discovery Loop公司,目標是讓AI進入持續運行的科學發現循環。Google DeepMind論文《LLM can't jump》指出,科學發現需要從經驗事實跳躍到新原則,而當前大型語言模型缺乏這種跳躍能力。研究顯示貝葉斯AI時代即將到來,大廠正積極補足Agent的基礎建設。

谷歌推出 WeatherNext 氣旋模型,AI 高精度預報颶風平均提前 24 小時
首頁 > 智能時代>人工智能 谷歌推出 WeatherNext 氣旋模型,AI 高精度預報颶風平均提前 24 小時 2026/8/7 14:11:01 來源:IT之家 作者:故淵 責編:故淵 評論: IT之家 8 月 7 日消息,谷歌 DeepMind 團隊昨日(8 月 7 日)發佈博文,宣佈推出 WeatherNext Cyclones 天氣預測模型,主要。

Meta重新支稜起來了?純推理拿下五項奧賽金牌,兩項滿分
Meta近期在人工智慧領域展現出驚人實力,其開發的純推理模型在國際數學奧林匹亞競賽中一舉奪下五面金牌,其中兩項更獲得滿分成績。這項成果不僅凸顯了Meta在AI推理能力上的突破,也讓外界重新審視這家科技巨頭在深度學習與邏輯運算方面的技術積累。 根據相關資訊,這款模型並未依賴外部知識庫或預先訓練的數據,而是透過純粹的推理機制來解決複雜數學問題。在競賽中,它成功應對多道高難度題目,涵蓋代數、幾何與數論等領域,最終以五項金牌的成績證明其演算法的有效性。其中兩項滿分表現,更顯示模型在特定題型上的精準度已達到頂尖水準。

智元下架了首席科學家羅劍嵐
智元機器人官網合夥人團隊名單中已移除首席科學家羅劍嵐,其個人社群簡介也不再提及智元職務,疑似離職,但官方尚未證實。羅劍嵐於2025年4月加入智元,任職約1年4個月,期間主導真機強化學習與具身智能研究,此次人事變動發生在公司啟動赴港上市流程之後。