看了20萬小時「人類幹活實錄」,機器人悟了

重點摘要
一項研究讓機器人觀看長達20萬小時的人類操作影片,使其自主學會執行組裝、搬運等任務。這種大規模視覺模仿學習方式,無需預先編寫程式碼,機器人就能從真實動作中歸納操作邏輯,並適應陌生環境與物體。此方法大幅降低機器人部署所需的人工教學成本,為發展更靈活的自主機器人系統開闢新路徑。
一項突破性的機器人訓練研究近日公開,研究團隊讓機器人透過觀看長達二十萬小時的人類操作影片,自行學會執行組裝、搬運、精密操作等多種任務。這些被形容為「人類幹活實錄」的影片內容,涵蓋從工廠產線到居家環境的各式動作場景,機器人不再需要研究人員事先編寫繁複的程式指令,而是直接從大量真實動態中歸納出操作邏輯,進而「領悟」完成工作的步驟與策略。這項研究的核心在於大規模視覺模仿學習。傳統的機器人訓練往往需要工程師針對每一項任務撰寫詳細的動作序列,或者透過遙控操作讓機器人反覆練習同一動作,不僅耗費大量人力與時間,而且當環境或物體稍有變化時,機器人便可能失效。
新的訓練路徑則完全不同:研究團隊收集了二十萬小時的人類第一人稱與第三人稱視角影片,這些影片記錄了人們在各種情境下如何用手進行搬運、旋轉、按壓、組裝等動作。透過深度學習演算法,機器人系統從這些海量影片中提取出動作的關鍵特徵與因果關係。它並不需要逐格複製人類的動作,而是學會理解「當要拿起一個杯子時,手需要先靠近、張開、再收緊」這類抽象步驟。更重要的是,系統能夠歸納出通用的操作原則,例如「若物體表面光滑,施力需更輕柔」或「組裝時需先對齊再下壓」。研究人員表示,機器人經過這套訓練後,不僅能順利完成影片中出現過的示範動作,還能適應從未見過的物體或環境。
例如,當機器人看過人類使用不同形狀的螺絲起子後,它便能自行辨識一根從未見過的起子,並以正確角度與施力方式完成鎖螺絲的動作。這種泛化能力,正是傳統預先編程方法最難達到的境界。在實際測試中,機器人成功執行了數十種任務,涵蓋組裝玩具、整理桌面、搬運箱子,甚至包含需要精細手感的手術縫合模擬場景。研究團隊指出,這些任務的難度與複雜度差異極大,但機器人僅透過觀看影片便學會了對應的操作策略,完全不需要人工逐一指導每一個步驟。這項方法大幅降低了部署機器人時所需的人工教學成本。過去,若要讓機器人在新工廠或新家庭中運作,往往需要專業人員花費數週甚至數月時間進行現場校準與示範。
如今,只要提供足夠多樣的人類操作影片,機器人就能在短時間內掌握核心技能,並隨著觀看更多影片而持續進步。研究團隊將這批二十萬小時的影片形容為「通用動作資料庫」,並計劃未來持續擴充內容以涵蓋更多領域。他們強調,這種訓練方式並不依賴昂貴的專用設備,一般的消費級攝影機所錄製的日常操作影片就能發揮作用,意味著任何人只要願意分享自己的「幹活過程」,都能間接貢獻給機器人學習。這項成果為發展更自主、更靈活的機器人系統開闢了一條全新的訓練路徑。在傳統強化學習中,機器人通常需要透過與環境的大量試錯互動才能學會任務,既耗時又可能損壞設備。
而視覺模仿學習直接從人類經驗中擷取知識,使機器人得以在一開始就避開常見錯誤,學習效率顯著提升。當然,目前這套系統仍有其限制。例如,機器人對於極度動態或需要與人協作的任務仍顯得較為笨拙,且當影片中的操作動作與真實環境差異過大時,機器人可能無法正確適應。不過研究人員認為,隨著資料庫持續擴大與演算法不斷最佳化,這些問題有望逐步獲得解決。業界專家指出,這項研究很可能成為機器人領域的關鍵轉折點。過去機器人訓練的瓶頸往往卡在「如何讓機器理解人類的意圖與動作邏輯」,而大規模視覺模仿學習正好繞過了語義解析的難關,直接從視覺信號中學習行為模式。這使得機器人不再只是精準的執行工具,而是具備觀察與歸納能力的學習者。
展望未來,這項技術若能順利商業化,將對製造業、物流業、醫療輔助甚至家庭服務機器人產生深遠影響。想像一台機器人在進入新環境後,只要連上網路觀看數小時的人類工作影片,便能立即勝任原本需要數月培訓的工作——這樣的場景或許不再遙遠。研究團隊已著手將這套方法整合至新一代機器人系統,並期待更多領域的使用者共同參與資料建置。
Related
相關文章

100微米與10微米之間,眼科手術機器人的“極限運動”
眼科手術機器人旨在協助醫生在100微米至10微米的極細微尺度上進行精準操作,克服人類手部顫抖與反應延遲的生理極限。目前主要發展遠端操控與共操控兩條技術路線,在視網膜下注射、白內障手術等領域展現優勢,但面臨體積大、成本高、學習曲線陡峭等挑戰。隨著人工智慧導入,機器人正從被動輔助邁向主動決策支援,有望成為未來常規眼科手術的關鍵工具。

A股人形機器人第一股來了,宇樹IPO倒計時,誰將成最大贏家?
宇樹科技正式啟動科創板IPO初步詢價,預計8月10日開放申購,計劃募資42.02億元,發行估值約420億元,將成為A股首檔純正人形機器人概念股。這家成立於2016年的公司,從四足機器人跨足人形機器人領域,此次上市不僅為早期投資者帶來可觀回報,也象徵人形機器人賽道在資本市場獲得正式認可。市場關注其上市後能否維持技術優勢並實現商業化量產,股價表現將為整個行業提供重要參考。

王興興:宇樹科技將積極探索人形機器人、機甲等更多產品形態
首頁 > 智能時代>具身智能 王興興:宇樹科技將積極探索人形機器人、機甲等更多產品形態 2026/8/7 14:56:22 來源:IT之家 作者:潞源 責編:潞源 評論: IT之家 8 月 7 日消息,據澎湃新聞消息,宇樹科技董事長、總經理兼首席技術官王興興今天在網上路演時表示,本次登陸資本市場,是宇樹科技全新的起點。

衝刺全球首個100萬小時具身數據!三家國產公司,聯手了
三家國產機器人公司宣布聯手,目標累積全球首個一百萬小時的具身數據,以強化機器人從感知到執行的全鏈路訓練基礎。此次合作整合本體製造、感測器與數據平台等優勢,試圖打通數據獲取到模型訓練的完整閉環,並建立共享數據標準與交換機制。若目標達成,不僅將刷新全球具身數據規模紀錄,也可能為中國在AI競爭中搶下機器人學習基礎設施的定義權。
宇樹科技王興興:將持續攻堅具身智能技術,探索人形機器人等新產品
AI資訊AI新閒資訊正文宇樹科技王興興:將持續攻堅具身智能技術,探索人形機器人等新產品發布於AI新閒資訊時間 :Aug 7, 2026閱讀 :1分鐘8月7日,宇樹科技創始人兼CEO王興興在網上路演中表示,公司登陸資本市場是新的起點,未來將持續深耕通用具身智能機器人核心技術研發與產業應用,推動智能機器人更早進入社會服務場景。
IJCAI 2026 專訪:機器人想學會人類動作,還差一座橋 | GAIR Paper 118
進群傳送門: 掃碼進群或添加微信Qvv0909777,備註:IJCAI + 單位/學校+姓名+方向。搞科研/搞技術,信息差很重要。來,一起快人一步!上車,帶你看遍全球 AI 頂會精華可獨家暢覽:專家演講PPT大會報告全文熱門論文解讀學術新星訪談掃描上方二維碼或點擊「閱讀原文」關注專區。