RCIM 2026：西安交大參與發佈Video2Knowledge：一段手機視頻，就能教會機器人新技能

在近期舉行的 RCIM 2026 活動中，西安交通大學團隊與合作夥伴共同發表了一項名為 Video2Knowledge 的創新技術，讓機器人學習新技能的方式出現重大突破。過去要教會機器人執行一項任務，往往需要專業工程師撰寫複雜程式碼，或是準備大量預先標註的訓練數據；如今，只要用手機錄下一段簡單的示範影片，機器人就能自動理解並模仿人類的動作，將日常操作轉化為可重複執行的指令。Video2Knowledge 的核心概念，是將人類的動作示範轉換成機器可讀取的知識。

研究團隊說明，傳統機器人學習流程中，從動作捕捉到語意分析往往需要多個環節的人工干預，而這套新方法讓系統直接從影片解析出關鍵動作序列、物體交互方式以及操作意圖。舉例來說，使用者錄下自己如何拿起杯子、移動到指定位置並放下，系統便能自動拆解出「抓取－移動－釋放」的步驟，並對應到機器人的關節控制指令。這項技術的出現，大幅降低了機器人部署與應用的門檻。過去機器人要在家庭或一般工作場域發揮作用，最大的障礙不在於硬體，而在於如何讓機器人快速適應非結構化的環境與多變的任務。Video2Knowledge 提供一條直觀路徑：任何人只要擁有手機，不需要任何機器人工程背景，就能像教同事一樣「示範」給機器人看。

研究團隊在 RCIM 2026 現場展示的案例包括掃地、收拾物品等常見家務，未來也將拓展到更複雜的操作，例如工具使用或組裝步驟。西安交通大學在此次研發中扮演了關鍵角色。校方團隊主要負責影片理解與知識抽取的演算法設計，確保系統能夠在有限運算資源下即時處理手機拍攝的畫面，同時維持高準確度。合作夥伴則在機器人運動控制與硬體整合上提供支援，讓從影片解析出的指令能夠流暢對應到機械臂、移動底盤等實際動作。相關成果被視為 RCIM 2026 上重要的技術突破之一，吸引不少學術與產業界目光。從技術層面來看，Video2Knowledge 解決了幾個長期困擾機器人學習領域的痛點。

首先是數據獲取成本：為了訓練機器人學會一項新任務，過去需要動輒數百上千筆經過人工標記的影像或感測器數據，不僅耗時也容易出現標註不一致的問題。如今使用者只要錄一段幾十秒的影片，系統就能自動完成動作分割與語意標註，大幅縮短從示範到部署的時間。其次是泛化能力：傳統方法往往只能讓機器人複製固定場景下的動作，一旦環境光照、物體位置或背景改變就可能失效；Video2Knowledge 引入的知識抽取機制能擷取動作的核心邏輯，而非單純記錄像素變化，讓機器人在不同條件下仍能完成類似任務。在應用場景上，這項技術最直接的受益者是家庭用戶與中小型企業。

家庭中常見的清潔、整理、烹飪輔助等任務，過去需要專業人員到府設定機器人，現在使用者只要用手機拍下自己的操作流程，機器人就能在短時間內學會。對於小型倉儲或零售店面，員工可以透過影片教導機器人補貨、搬運或分類，不必依賴外部系統整合商。研究團隊也指出，這項技術能與現有的機器人平台相容，只需在軟體層面加入 Video2Knowledge 模組，不必更換硬體，有助於加速普及。值得一提的是，RCIM 2026 本身即聚焦於機器人與自主系統的先進技術，西安交大團隊的發表正好呼應了今年大會「降低機器人應用門檻」的主題。

多位與會學者認為，Video2Knowledge 代表了一種「零編程示範學習」的新典範，讓機器人可以從人類的自然行為中學習，而非反過來要求人類去適應機器的程式邏輯。這種以人為本的設計思維，可能是未來機器人走入千家萬戶的關鍵一步。當然，技術仍有其限制。目前系統對於連續且長時間的操作影片仍有認識瓶頸，當動作過於細碎或包含多種物體交互時，容易出現步驟分割錯誤。此外，機器人實際執行時的安全驗證仍需人工把關，避免因環境差異導致意外。西安交通大學團隊表示將持續改善演算法，並計劃開源部分核心模型，讓更多研究單位與開發者參與測試與改進。

總體而言，Video2Knowledge 的出現，為機器人學習領域提供了一種直覺、高效的新路徑。它不僅展示了手機影片作為教學媒介的巨大潛力，也再次證明西安交通大學在智慧機器人研究的領先地位。未來，隨著技術成熟與成本下降，我們或許很快就能看到一般消費者拿起手機，錄下一段影片，然後看著機器人立刻學會新技能——從實驗的亮點，變成日常的風景。