機器人看視頻學操作，伯克利首次打通互聯網視頻到靈巧手真機部署鏈路

人類學習一項靈巧的操作技能，往往從「觀看」開始——小孩看著大人打蛋、倒水、釘釘子，透過反覆觀察與模仿，逐漸掌握手部動作的細微協調。然而，今天的機器人學習流程卻截然不同：它們更多依賴於「動手實作」，例如成本高昂的遙操作、大量仿真環境中的反覆執行，或在精心佈置的場景中採集真實機器人數據。這種模式不僅效率偏低，更限制了機器人從豐富的視覺素材中汲取知識的可能性。事實上，可供機器人「觀看」的數據早已無處不在。從 YouTube 上的日常操作影片、第一人稱視角數據集，到近期蓬勃發展的生成式影片，這些素材中包含了難以計數的人手與物體互動過程。

真正的瓶頸並不在於數據匱乏，而在於能否完成一道關鍵的轉換關卡：如何將充滿雜訊的單目 RGB 影片，轉化為多指靈巧手能夠實際執行的動作軌跡？為了解決這個問題，加州大學柏克萊分校（UC Berkeley）的研究團隊提出了名為「Do as I Do」的端對端流程，並成功跑通第一條從網路影片直接生成真實靈巧手實機執行軌跡的完整鏈路。這項工作被視為補上類人靈巧操作從影片到機器人數據的關鍵拼圖，相關技術細節與專案頁面也已公開。「Do as I Do」的核心流程可分為兩個主要階段。首先，團隊從真實場景中的單目 RGB 影片中重建出四維（4D）的手－物互動過程。

所謂 4D，指的是三維空間加上時間維度，能夠精確捕捉人手在操作物體時的動態形變與相對位置。這一步驟挑戰極大，因為單目影片缺乏深度資訊，且日常影片常帶有遮擋、光影變化與運動模糊，但團隊透過結合視覺與幾何推理的技術，成功克服了這些雜訊，還原出高品質的互動軌跡。緊接著，第二階段是將這些重建出的互動軌跡，重定向到一款擁有 22 個自由度的 Sharpa Wave 靈巧手上。22 個自由度意味著每根手指都具有多個獨立的關節驅動能力，能夠執行人類手部大部分的精細動作，例如捏握、旋轉、按壓等。

重定向的過程並非簡單的映射，而是需要考慮機器人手的運動學限制、手指長度與關節角度範圍，才能確保軌跡在真實硬體上順暢執行。研究團隊強調，這套流程的關鍵突破在於「端到端」的自動化程度。過去雖然有少數研究嘗試將人類操作影片轉為機器人指令，但大多需要額外的深度感測器、多視角攝影機或人工標註，無法直接利用網路上海量的單目影片。Do as I Do 則僅需一段普通的單目 RGB 影片，就能自動產出可部署的靈巧手軌跡，大幅降低了數據蒐集與預處理的成本。從更宏觀的角度來看，這項工作回應了機器人學習領域長期存在的「數據鴻溝」問題。

人類擁有大量直覺式的操作經驗，卻難以直接編碼成機器人可理解的數學模型；而機器人雖然可以透過遙操作或仿真快速產生數據，但這些數據往往缺乏真實世界操作的豐富性與變異性。Do as I Do 提供了一條從人類自然行為出發、無需額外感測設備的數據橋樑，讓機器人能夠從既有的視覺資料庫中「自學」操作技能。值得注意的是，這項研究目前仍處於早期階段。雖然首次驗證了從網路影片到真實靈巧手執行的可行性，但部分較為複雜或需高精度力控制的任務（例如打結、拆解精密零件）可能仍存在偏差。團隊在專案頁面上公開了程式碼與範例，並期待後續研究能夠進一步提升軌跡重建的穩定性，以及重定向到其他類型靈巧手的泛化能力。

業界觀察人士認為，這條鏈路的打通，對於服務機器人、家庭輔助機器人以及工業精密裝配等場景具有潛在影響。未來若能大規模利用現有的 YouTube 教學影片、直播內容，甚至是擴增實境中的手勢數據，機器人將有機會在無需人工示範的情況下，僅透過觀看就能學會開門、倒水、使用工具等日常技能。這場從「看」到「做」的轉變，可能正是類人靈巧操作走向普及的關鍵一步。不過，也有專家提醒，單目影片中的視角變換、遮擋與光照變化仍是嚴峻挑戰，且目前的重定向流程對硬體參數的依賴度較高。如何讓同一套系統適用於不同尺寸與自由度的靈巧手，將是下一階段的重要課題。

整體而言，Berkeley 團隊此次的成果為機器人學習開闢了一條極具想像空間的新路徑，也讓「機器人看影片學操作」從概念邁向真實落地。