輕量化機器人運行時問世

東南大學 SAIL Lab 的 PhysicalAI System Group 近日發表了一項名為 Embodied.cpp 的輕量化運行時系統，專為異質機器人上的具身 AI 模型設計。這套以 C++ 實作的可攜式推理框架，目的是解決當前視覺語言動作模型（VLA）與世界動作模型（WAM）在實際部署時遇到的嚴重碎片化問題。 研究團隊指出，目前具身 AI 領域的學術界投入大量資源在模型訓練上，但對推理與部署環節的關注仍顯不足。雖然市場上已經出現許多令人振奮的具身模型，卻缺乏一個通用的推理框架來應對閉環控制下的邊緣端運算、異質裝置與硬體後端的支援，以及跨不同模型家族的統一介面。這正是 Embodied.cpp 想要填補的空白。 為了理解 Embodied.cpp 的設計思維，需要先回顧現有部署困境。過去的推理運行時主要針對請求－回應式的伺服器場景開發，例如雲端問答或圖像生成，無法滿足具身部署的特殊「合約」：在閉環控制中必須同時處理多種速率執行（例如何時送影像、何時更新動作指令）；硬體層面強調批次大小為一的延遲優先推理（因為機器人感測器通常一次只處理一筆資料）；此外，還需要能擴充的具身介面，而非僅止於固定的 token 輸入輸出。 Embodied.cpp 從架構分析的角度出發，考察了多個具代表性的 VLA 模型（如 HY-VLA、pi0.5）與 WAM 模型，歸納出一條共同的執行路徑，並將其組織成五個明確的層級：輸入適配器（input adapters）、序列建構器（sequence builders）、骨幹執行層（backbone execution）、頭部外掛（head plugins）以及部署適配器（deployment adapters）。這樣的模組化設計讓開發者可以針對不同機器人平台與模擬器，透過統一的後端抽象層進行部署，大幅降低移植成本。 這套運行時的核心優勢體現在三個技術面向上。第一是模組化多速率執行：不同感測器或決策模組可能各自需要不同的更新頻率，Embodied.cpp 能夠在同一閉環流程中同時排程，不必額外撰寫繁瑣的粘合程式碼。第二是延遲優先的融合推理：在邊緣裝置上，單筆推論的延遲比總吞吐量更重要，因此系統將多個小型運算合併執行，以減少記憶體往返與核心啟動開銷。第三是可擴充的運算子與 I/O 支援：開發者可以自訂新的輸入格式或模型輸出，不需要改動整個框架。 研究團隊在兩款 VLA 模型上進行了閉環任務測試。以 HY-VLA 搭配機器人進行實際操作，任務成功率達到 100.0%；而使用 pi0.5 模型時，成功率也來到 91.0%。這些數字證明 Embodied.cpp 能在真實機器人上穩定執行完整的閉環控制，同時保持高準確度。另外，團隊還以 LingBot-VA Transformer 區塊為基礎，建立了一個初步的 WAM 基準測試，結果顯示該區塊的記憶體使用量從原本的 312.2 MiB 大幅降至 88.1 MiB，降幅超過七成。這對於資源受限的邊緣機器人來說，意義格外重大。 論文共同作者包括 Ling Xu、Chuyu Han、Borui Li、Hao Wu、Shiqi Jiang、Ting Cao、Chuanyou Li、Sheng Zhong 與 Shuai Wang，全部來自東南大學 SAIL Lab 的 PhysicalAI System Group。該團隊在論文中強調，Embodied.cpp 目前只是一個開端，他們計畫持續加入更多具身模型、完善運行時與系統支援，並針對邊緣端與異質裝置開發更進一步的優化方法。 目前此專案已在 GitHub 和 Hugging Face 上開源，論文也同步發表於 arXiv。對於機器人開發者而言，這套輕量化的 C++ 運行時提供了一個統一的部署管道，讓從訓練好的模型到實際的機器人控制器之間的轉換變得更直接、更有效率。隨著具身 AI 逐漸從實驗室走向倉儲、家庭與服務場景，像 Embodied.cpp 這樣專為邊緣閉環推理打造的基礎設施，勢必將扮演關鍵的支撐角色。