RxBrain具身認知大模發佈

近日，一組來自多個機構的研究團隊在 arXiv 上發表了一篇關於具身認知基礎模型的論文，正式推出名為 Hy-Embodied-RxBrain（簡稱 RxBrain）的全新架構。該研究於 7 月 15 日上傳，旨在解決當前人工智慧在具身認知領域的核心挑戰：如何讓智能代理在執行高層任務推理的同時，與真實世界的物理狀態進行有效連結。不同於市面上多數專注於場景理解與文字決策的視覺語言模型，或僅能預測未來視覺狀態的生成式世界模型，RxBrain 嘗試在同一套規劃序列中，同時融入語言推理與視覺想像，讓兩者扮演互補的角色，以此實現更完整的具身規劃能力。 研究團隊指出，傳統的視覺語言模型雖然能理解環境並給出文字指令，但它們缺乏對實際物理變化的掌握；而生成式世界模型雖然能預測畫面變化，卻難以進行抽象的高層任務分解。RxBrain 的設計出發點正是要打破這種壁壙，讓語言與視覺在規劃過程中協同運作。在該架構中，語言負責提供計畫的抽象結構，包括任務如何分解、規劃的基本單元、約束條件、時間順序以及決策邏輯；而視覺想像則將這些抽象結構具體化，透過世界狀態的預測與聯合子目標規劃，讓每一個規劃步驟都能對應到中間狀態與最終物理狀態。 這樣的設計使 RxBrain 能夠在一個統一的規劃序列中，同時進行文字推理與視覺想像，而不是將兩者分離處理。為了實現這種能力，研究團隊設計了一套全新的統一多模態混合專家變壓器（Mixture-of-Transformers）架構，讓同一個模型能夠同時支援語言、圖像與影片的理解與生成。這樣的架構在現有基礎模型中相對少見，因為大多數模型傾向於將語言與視覺模組分開訓練，再透過對齊機制結合，而 RxBrain 則從底層就採用統一的處理方式。 除了架構創新，研究團隊還建立了一套自動化資料建構流程，能夠將現有的具身影片轉換為聯合文字與視覺的規劃監督訊號。這套流程會將影片自動分解成規劃步驟，並將每一步與對應的視覺狀態轉變進行對齊，從而生成高品質的訓練資料。這項設計大幅降低了人工標註的成本，也讓模型能夠從大量真實世界的影片中學習如何將語言推理與視覺預測結合。 為了全面評估模型的表現，團隊同步推出了專屬的評測基準 RxBrain-Bench。這個基準的重點在於測試模型是否能透過聯合的文字與視覺成分來表示具身計畫，而不是像傳統評測那樣分別檢驗理解能力或生成能力。透過這樣的評測方式，研究團隊希望更準確地衡量模型在真實具身任務中的潛力。 實驗結果顯示，RxBrain 不僅保持了優秀的具身理解與生成能力，其生成的計畫能夠同時包含文字推理、世界狀態預測以及聯合子目標規劃，展現出語言與視覺之間的高度耦合。更令人關注的是，研究團隊還將 RxBrain 擴展到連續機器人動作生成任務，結果顯示該模型在真實機器人上表現出相當不錯的控制能力，而且不需要依賴大規模的動作數據預訓練。這項特性對於機器人領域具有實際意義，因為蒐集大量高品質的動作數據往往成本高昂，RxBrain 的出現提供了一條更有效率的途徑。 從整體研究來看，RxBrain 的發表象徵著具身認知基礎模型邁出了重要的一步。這篇論文由 Haotian Liang、Mingkang Chen、Yufei Huang 等多位研究人員共同撰寫，團隊背景涵蓋學術界與產業界。在論文發布後，該研究也在 Hugging Face 社群引起討論，獲得不少關注與推薦。雖然現階段仍屬於初期研究成果，但 RxBrain 提出的一致性語言‑視覺規劃架構、自動化資料生成流程以及專用評測基準，都為後續的具身智能研究提供了新的工具與方向。隨著未來更多團隊投入這個領域，類似的統一多模態方法可望成為實現真正具身認知的重要基礎。