雷峰網生成式AI

GAIR Paper 108 | CVPR 2026 冠軍獎論文:4K 參數撬動 VLA 泛化,空間才是真正的瓶頸!

2026年7月17日 06:22

重點摘要

機器人在新場景下失靈,根源不是不懂物理,而是空間表徵錯了——用極少參數校準這一層,就能打開通往原生世界動作模型的路。 作者丨張 璐 編輯丨齊鋮湧 讓機器人真正理解世界,需要更大的語言模型、更逼真的視頻生成,還是別的什麼?雷峰網小編在中山大學與 X-Era AI Lab 團隊的研究中f x了一個意外的答案:很多時候,機器人在新場景下失靈,不是因為它不懂物理,而是因為它"看到的空間變形了"。

站內 AI 整理稿

機器人在未曾見過的環境中突然失靈,背後原因可能不是它學不會物理規則,而是它「看到的空間」出了問題。中山大學與 X-Era AI Lab 團隊近日發表的研究指出,當前視覺-語言-動作模型(VLA)在面對新視角、光照變化、紋理差異或傳感噪聲時表現脆弱,根源在於空間表徵發生錯位,而非模型缺乏物理推理或動作控制能力。這項成果連同兩篇論文,分別被 CVPR 2026 與 ACM MM 2026 接收,其中一篇更獲得首屆 CVPR Compute Transparency Champion Award 冠軍論文獎。 傳統觀點常將 VLA 視為端到端系統:輸入影像與語言指令,直接輸出機器人動作。但這組論文提出更細緻的拆分,將 VLA 內部功能分為兩個部分。第一部分是空間建模,由視覺編碼器負責,任務是從圖像中恢復物體的位置、朝向、遮擋關係與視角結構,形成後續策略所需的空間表徵。第二部分則是物理建模,由視覺語言模型與動作專家共同承擔,結合任務語意、空間表徵與動作歷史進行高層推理,並產生可執行的動作序列。 研究團隊透過實驗發現,當相機視角改變時,真正受到影響的是空間配置,而非任務語意或執行工作所需的物理規律。這意味著新視角下的效能下降,更可能來自空間表徵與後端策略之間的對齊失靈,而非整個 VLA 的物理推理失效。這個判斷將改善焦點從「堆疊更多數據、擴大模型規模」轉移到一個更具體的問題:模型內部看到的空間,是否足夠真實且穩定。 為了驗證這項假設,論文提出一套 one-shot 穩健適應框架,僅用極少量可學習參數來校正 VLA 的視覺空間表徵,其餘部分完全凍結。其中,Feature Token Modulation(FTM)只引入兩個全域可學習向量,對視覺 token 進行簡單的仿射變換——重新縮放與重新置中特徵分佈。僅需學習約 4K 個參數,便將 LIBERO 新視角任務的成功率從 48.5% 提升至 87.1%。 另一種方法 Feature Linear Adaptation(FLA)則在 ViT 編碼器的線性層中加入低秩更新,動用約 4.7M 個參數完成更深層的特徵對齊。在相同測試中,FLA 達到 90.8% 的成功率,超越強 LoRA 基線的 90.3%,且參數量從 467M 降至 4.7M,減少約 99 倍。在擴展的 LIBERO-V 視覺擾動基準上,FLA 在相機、光照、紋理與噪聲四類擾動條件下取得 94.8% 的平均成功率,而 FTM 以僅 0.004M 參數達到 90.5%。這些數據清楚顯示,對空間表徵進行有針對性的輕量校正,效果不輸全模型微調,空間建模確實是 VLA 泛化鏈條中的真正瓶頸。 這項發現帶來更深層的啟發:空間智能與物理智能是兩個可以分別分析、校正與重組的層面。空間智能對應模型對幾何結構的建模能力,包括三維位置、視角變化、遮擋關係與物體佈局;物理智能則指模型對動作、接觸、約束與因果後果的建模能力。論文提出的「空間與物理可分離」觀點,為所謂的原生世界動作模型(Veridical World Action Model,VWA)鋪平了道路。 在 VWA 框架中,空間不再是視覺語意的附屬品,而是世界動作模型的幾何基礎;物理也不是動作頭之後才訓練出來的表面能力,而是在預訓練階段就必須直接學習的時空演化與因果約束。當前許多具身模型仍遵循「先預訓練視覺語言模型或影片模型,再後訓練成動作模型」的路徑,隱含假設語言或影片中的世界知識最終會自然遷移為動作能力。但真實機器人需要的不是預測下一個詞元,也不是生成未來畫面,而是在物理世界中預測動作及其後果。VWA 的核心主張正是修正這種錯位:如果最終目標是讓模型在物理空間中行動,預訓練階段就應該直接學習真實世界中的狀態、動作與時空變化,包括未來三維位置、運動趨勢、接觸狀態、材質屬性、可操作性與環境約束。機器人動作則可被視為從這個密集物理預測場中讀出的本體軌跡。 值得一提的是,論文「VLA Models Are More Generalizable Than You Think」獲得了 CVPR 2026 Compute Reporting Initiative 的最高認可——Compute Transparency Champion Award。這是 CVPR 首次設立此獎項,旨在表彰在計算資源、實驗方法與可復現細節上達到示範性揭露的研究。這項榮譽與論文主題形成巧妙呼應:具身智慧需要模型理解真實世界,而研究過程本身也需要真實、透明與可復現。論文同時推進了兩個方向的透明化——讓機器人更清楚地理解物理世界,也讓研究社群更清楚地理解智慧模型是如何被訓練、評估與復現的。 在世界模型、空間智能與物理智能快速匯流的當下,這兩篇論文提供了一個簡潔而重要的判斷:對 VLA 的有效改進,不應只是把語言、視覺與動作繼續堆疊,而應重新理解空間與物理的關係,並在此基礎上構建真正原生於物理世界的動作模型。從僅 4K 參數的輕量校正到原生世界動作模型的藍圖,這條路徑或許正是突破當代具身智慧瓶頸的關鍵方向。

Related

相關文章

量子位生成式AI

397B參數追平萬億模型,上海AI Lab發佈科學智能體新基座 | WAIC 2026

上海人工智慧實驗室在WAIC 2026發表書生系列新模型Intern-S2-Preview-397B,以397B參數在分子設計、材料結構等科學任務上追平先前的萬億模型。該模型採用非Transformer架構「Mobius」,實現知識承載與推理分離,並可插拔專業記憶,提升科學任務效率。同時推出「書生·端硯」科學發現平台,將模型能力整合進真實科研全流程,已在生命科學、材料等領域完成端到端驗證。

剛剛
鈦媒體生成式AI

梁文鋒“狙擊”閆俊傑

DeepSeek啟動IPO準備,可能與智譜、MiniMax一同在港上市,引發市場對中國大模型公司估值與商業模式的比對。梁文鋒藉由大幅下調API價格,已對MiniMax形成價格戰壓力,導致其股價劇烈波動。MiniMax雖擁有消費級產品矩陣與全球化收入,但面臨如何將高調用量轉化為持續盈利的挑戰,且需在多重產品線中釐清核心優先級。

剛剛

高價的Kimi K3,缺錢的月之暗面

月之暗面近日高調發表全新旗艦模型 Kimi K3,號稱擁有 2.8 萬億參數、百萬 Token 上下文,並原生支援多模態能力。官方直接將 K3 與 Claude Fable 5、GPT-5.6 Sol、Claude Opus 4.8 等國際頂尖模型並列比較,試圖傳遞「全球前沿」的定位。然而,經歷過多次「榜單狂歡」的用戶,如今早已不買單單純的數字對比。K3 上線後,社群評價迅速走向兩極。 一部分開發者在測試長代碼庫分析與長文檔推理後,直言「國產旗艦終於追上了」,甚至稱 Agent 集群能連續工作四小時不中斷。

剛剛
鈦媒體生成式AI

Token大廠,年虧3億

中國最大獨立AI算力基建商硅基流動(SiliconFlow)年虧3.45億元,毛利率為負24%,陷入「賣越多虧越多」的困境。該公司為了搶佔市場大量發放免費Token,加上上游算力成本剛性、下游價格戰激烈,導致虧損擴大。其上市輸血計畫反映AI基礎設施層正面臨嚴峻的商業化挑戰。

剛剛

WAIC觀察:具身智能的競賽,開始從身體轉向大腦

今年的WAIC展會顯示,具身智能的競賽重點已從強化機器人的「身體能力」轉向提升人機互動效率。強腦科技推出全球首個一體化腦控機器人AI科研平台,讓使用者可直接以腦波意圖操控機械臂,跳過傳統語言或動作指令。這項技術代表具身智能從「會動」邁向「懂人」的關鍵轉折,未來將從實驗室走向工業與日常場景。

剛剛