讓Skill“有圖可依”：openJiuwen首發多模態Skill範式Skill-Omni

在 AI Agent 領域，讓智慧體不必每次從頭學習任務流程，而是能直接複用過往的成功經驗，一直是提升效率的核心思路。業界普遍透過「Skill（技能）」來封裝這些可重複使用的操作步驟與知識，讓 Agent 在不同場景中快速上手。然而，這個方法長久以來存在一個明顯的痛點：絕大多數的 Skill 都是以純文字撰寫，存在於 Markdown 或 JSON 文件中，但對於那些「看到才懂」的資訊——例如修圖要調到什麼亮度、介面上的按鈕究竟該點哪個位置——純文字描述往往難以精準傳遞。為了突破這個瓶頸，openJiuwen 社區近日正式發表了全新架構：Skill-Omni，號稱業界最早實現工程化落地的多模態 Skill 範式，讓 Agent 的經驗庫從「讀得懂」升級為「看得見」。 這項技術的核心，在於把網頁與影片中蘊含的視覺經驗，真正沉澱為 Agent 可以複用的多模態技能。過去，文字說明書無法承載一張關鍵的螢幕截圖或一組操作前後的狀態變化；現在，Skill-Omni 直接在技能中內嵌視覺資訊，使得 Agent 的任務說明書第一次有了插圖與參考圖。openJiuwen 團隊指出，這不僅是格式上的改變，更代表 Agent 學習與複用經驗的方式進入全新階段：視覺知識不再流失，而是被捕捉、結構化並納入可執行技能之中。 具體操作上，使用者只需提供一個網頁連結，或一個來自 B 站（bilibili）的影片連結，再由 openJiuwen 旗下框架 JiuwenSwarm 中開箱即用的工具「skill-omni-creation」進行自動處理。該工具會自動提取目標內容中的關鍵截圖、介面狀態、操作順序與邏輯脈絡，並將這些多模態資訊整理成 Agent 可以直接讀取與複用的 Skill 格式。如此一來，原本只存在於影片示範或網頁展示中的視覺經驗，便能夠被轉化為結構化的模版，供其他 Agent 在不同情境下重複呼叫。 這個發布並非孤立的技術創新，而是 openJiuwen 在 Skill 工程化方向上長期累積的又一里程碑。該社區先前已陸續推出 SwarmSkill（群體技能封裝）與 SwarmFlow（流程編排引擎），逐步建構出一套完整的技能管理與執行生態。如今 Skill-Omni 的加入，補足了視覺模態的缺口，使整個體系在資訊涵蓋度與實用性上更加完備。openJiuwen 團隊形容，這一系列迭代正是為了讓 Agent 的經驗庫從單純的文字索引，進化成真正能感知介面的智慧資源庫。 為何 Skill 必須走向多模態？原因在於現實中大量的操作任務都帶有強烈的「視覺依賴性」。例如調整圖片色調、辨識軟體中某個動態圖示的狀態、確認網頁表單是否正確載入等，這些動作往往很難用精確的文字描述完整定義。傳統的純文字 Skill 在面對這類工單時，Agent 只能憑藉模糊的文字規則嘗試執行，成功率與精準度都難以保證。而多模態 Skill 直接將「看到的畫面」納入經驗，Agent 可以比對當前狀態與範例截圖，判斷操作是否到位，從而降低出錯率，縮短任務執行時間。 進一步分析，Skill-Omni 的設計不僅是提供靜態圖片，更重視保存「操作脈絡」。當工具從影片中提取資訊時，它會記錄每個步驟的前後畫面變化、滑鼠或游標的行為軌跡，以及按鈕狀態的切換過程。這使得複用技能時，Agent 不僅知道最終目標狀態，也理解中間的過渡路徑。對開發者而言，這種帶有時間序列與狀態轉變的多模態技能，比單純的圖文說明書更具參考價值，幾乎等同於為 Agent 建立了一套「視覺經驗記憶」。 此外，這套方案在工程化的落地程度上也頗受關注。openJiuwen 強調，Skill-Omni 並非仍在實驗室的學術概念，而是可以直接部署於現有 Agent 框架中的實用工具。透過 JiuwenSwarm 的標準化介面，開發者可以輕鬆將新生成的多模態 Skill 註冊到排程系統中，與原有的 SwarmSkill 和 SwarmFlow 組件協同運作。這意味著企業或開發團隊能夠在不需要大幅改造既有架構的前提下，直接導入視覺經驗，快速提升 Agent 在複雜視覺任務中的表現。 隨著多模態大型語言模型的成熟，Agent 對圖像的理解能力已大幅提升，但「如何有效率地取得與組織視覺訓練資料」仍是實務上的關鍵門檻。Skill-Omni 從另一個角度切入：不追求讓 Agent 即時分析所有畫面，而是透過預先萃取高品質的視覺經驗片段，讓 Agent 在執行任務時可以查閱對照。這樣的做法既降低了對即時運算資源的需求，又能確保經驗的準確複用，在某種程度上為 Agent 的規模化應用鋪平了道路。 整體來看，openJiuwen 此次發布的 Skill-Omni 不僅解決了純文字 Skill 長期以來「看不見」的痛點，也為 Agent 之間共享複雜任務經驗提供了更完整的載體。從提供網頁或影片連結，到自動產出多模態技能，再到整合至現有 swarm 生態，這套一氣呵成的流程讓開發者能更快速地建構具備視覺感知能力的智慧體。未來，隨著更多使用者貢獻不同領域的視覺經驗，這套經驗庫的覆蓋範圍可望持續擴展，使 Agent 在圖形介面操作、影像編輯、網頁互動等任務上的自主性與可靠度邁上新的台階。而對於整體 AI Agent 社群而言，讓技能「有圖可依」，很可能會成為下一波自動化效率成長的重要關鍵。