破曉智能聯合天瓏移動發佈 SeePhys Hub,推進全身全模態人類數據採集

2026年10月15日 07:08
站內 AI 整理稿

機器人數據採集正在經歷一條“解綁本體”的演進路線:從遙操作到 UMI再到 Ego,設備越來越輕,採集行為越來越簡單。不過,在不斷簡化設備的過程中,一些關鍵交互信息也隨之流失——Ego 能記錄雙手在做什麼,卻難以完整捕捉全身運動,也感知不到手接觸物體時的壓力變化。而這些被簡化掉的交互信息,往往才是完成任務的核心。10 月 14 日,破曉智能聯合天瓏移動發佈全身全模態數據採集系統 SeePhys Hub。整套系統由一個四目頭環、兩個腕部手環、三個腰腿部動作追蹤器和一副觸覺手套組成,可同步採集第一視角視覺(360°環視覆蓋)、手部全模態數據(手部位姿追蹤、高密度觸覺)與全身運動信息(位姿與受力)。

在保留 Ego 便攜性的同時,補回關鍵的身體與接觸數據。同時,配套的自研數據處理平臺,可將人類數據轉化為面向機器人學習的多模態訓練數據。SeePhys Hub 是團隊沿著 EgoTouch、TouchAnything、TouchWorld 技術路線推出的首款工程化產品,將此前在觸覺數據與模型上的研究積累,轉化為一套融合視覺、雙手觸覺與全身運動信息的可穿戴採集系統。採集方式由繁到簡,關鍵交互信息仍需補齊 具身智能究竟需要多少數據?已有研究者提出一億小時 Ego 數據的估計。當然,擴大采集規模,為覆蓋更多場景與操作提供了可能。

但採集時長並不直接等於學習收益,數據質量、與機器人任務的匹配程度,以及訓練方式,同樣影響最終效果。破曉希望驗證的是:在視覺之外,同步記錄全身運動與觸覺,更完整地呈現身體如何協同、手與物體如何接觸,能否提高每小時數據的學習價值,讓百萬小時量級的全模態數據支撐預期的泛化能力?日常生活中,許多任務都需要身體移動與雙手操作持續配合。以鋪床為例,人需要抓住被角、抬臂展開被子,再沿床邊移動、拉平褶皺。身體位置決定雙手能觸及哪裡,抓握位置與力度則影響布料如何展開。以視覺為主的 Ego 採集能記錄眼前的操作,卻難以完整捕捉視野之外的軀幹、腿部運動,也無法直接測得抓握和牽引時的接觸壓力。

補充全身運動與觸覺,就是為了保留這些關鍵狀態:人如何移動、調整姿態,雙手在哪裡接觸物體、壓力如何變化。與視覺同步採集這些信息,有望讓模型更直接地學習身體運動、手部接觸與環境變化之間的關係。在破曉看來,下一步不是回到繁重的採集方式,而是在兼顧便攜性與活動自由度的同時,補回關鍵的交互信息。衡量數據價值,不能只看採集了多少小時,還要看每小時能讓機器人學到多少。團隊希望通過更完整的操作記錄,提高數據效率,讓機器人用更少的數據學會真實場景中的複雜操作。觸覺研究走向工程產品,為全身移動靈巧操作奠定數據基礎 破曉此前的 Touch 系列,圍繞觸覺數據“怎麼採、怎麼擴展、怎麼用”展開研究。

EgoTouch 同步採集第一視角畫面、雙手姿態與壓力分佈,把人看到的操作和實際發生的接觸對應起來;TouchAnything 則學習從視覺中估計接觸位置與壓力分佈,為擴展觸覺數據提供方法。到了 TouchWorld,觸覺進一步參與機器人的行動:操作前預測接觸目標,執行中根據真實反饋修正動作。觸覺由此從被記錄的信號,逐步成為機器人預測與控制的依據。SeePhys Hub 將這些研究積累,轉化為一套可穿戴的全身採集系統。頭部四目視覺記錄場景,腕部視角捕捉近距離操作細節,腰部與雙小腿的動作追蹤器記錄身體運動,觸覺手套採集雙手的接觸壓力。環境觀察、身體運動與手部交互,被同步納入同一次操作記錄。

採集更多信息,也要兼顧穿戴負擔和連續使用。SeePhys Hub 頭環重量不超過 220 克,單個腕部手環不超過 75 克,兩類設備均支持連續 24 小時不間斷採集。頭環內相機、IMU 與 UWB 的同步誤差不超過 0.5 毫秒,便於對齊同一時刻的視覺與運動信息。硬件記錄之後,還需要把原始數據處理成機器人能用的訓練數據。配套的自研平臺負責數據解析、清洗,將連續操作切分成動作片段並添加語義標註,同時銜接場景重建、全身姿態估計、手部動作追蹤等流程。動作重定向則負責將人的動作映射到機器人本體,為後續策略訓練與本體適配提供支持。

以 SeePhys Hub 為起點,走向更遠的未來 對破曉而言,採集產品並不是終點。團隊更長遠的目標,是構建面向全身移動靈巧操作的世界模型,將身體運動、手部接觸與環境變化放在一起建模。機器人移動到一個新位置、調整身體姿態或改變接觸方式之後,會產生怎樣的結果?破曉希望模型能夠預測這些變化,並結合執行反饋修正判斷,為機器人選擇下一步動作提供依據。瞭解到,破曉智能(PHANES AI)由哈爾濱工業大學(深圳)計算機科學與技術學院長聘教授、博士生導師楊朔創辦,致力於構建面向人形機器人全身移動靈巧操作的世界模型。SeePhys Hub 是破曉邁向這一願景的產品化起點。

成立以來,破曉逐步組建起一支兼具模型研究與工程化經驗的團隊,團隊90%以上核心成員畢業於清華大學、北京大學、香港大學、哈爾濱工業大學等頂尖高校,擁有極高的學術人才密度。成員的研究與實踐覆蓋全模態大模型、世界模型、大規模數據處理與硬件。從觸覺到全身,從交互數據到世界模型,這支團隊希望探索一條具身智能的原生路徑:讓機器人從真實交互中學習,在物理世界中自主行動。SeePhys Hub 的發佈,讓這一探索從研究走向了產品。沿著這條路,破曉正將對機器智能的設想一步步帶入現實,向著具身智能的黎明前行。

Related

相關文章

AI 浪潮下的社區無奈謝幕:知名反編譯追蹤網站decomp.dev宣佈關閉

該網站曾致力於集中展示匹配反編譯的進展,並凝聚志同道合的技術愛好者。然而,隨著近年來人工智能技術的迅猛發展,開源協作生態遭到嚴重破壞,創始人最終決定讓其退居為歷史數據存檔。匹配反編譯長期以來是一項極度耗時且艱難的任務。自2026年初 Opus4.

12 分鐘前

AI 系統 RFdiffusion3 能從原子層面造蛋白:實驗裡真能幹活

更硬核的是,用它全新設計的蛋白質,已在真實化學反應中兌現了預期功能。由美國華盛頓大學、英國牛津大學、英偉達等機構組成的國際團隊搭建了這套系統,可對單個原子建模,專門用於設計蛋白質與核酸,相關成果於當地時間 16 日刊登在國際期刊《科學》上。

12 分鐘前

迪士尼將以2000萬美元收購Character.AI部分資產並接納核心團隊

據彭博社披露的法律文件顯示,迪士尼已同意以2000萬美元收購 Character.AI 的部分資產,並向至少60名員工(佔其員工總數的大多數)提供總額約6000萬美元年薪的就業機會,目前絕大多數受邀員工已接受試探性報價。此次收購與人才吸納,凸顯了傳統娛樂巨頭在人工智能浪潮下對垂直領域技術團隊的深度整合。

42 分鐘前5300

Vercel數據表明決策模型Jev成史上採用最快AI模型

Jev於9月15日限量發佈,通過限制預設輸出數量實現更高速度與更低成本,成為快速分類大量數據的理想選擇,並已促使OpenAI和亞馬遜等公司推出競品。作為早期採用者,Vercel已利用Jev取代GPT-6Luna來識別有害指令。相關數據源自類似OpenRouter的統一 API 服務VercelAI網關,該報告同時指出開源模型已佔據處理代幣的70% 以上及總支出的近25%,而前沿實驗室支出亦實現十倍增長。

42 分鐘前5100