雷峰網生成式AI

已登ICRA 2026,VLA實用化路線徹底殺瘋了!

2026年6月1日 06:46

重點摘要

原文作者:公眾號“計算機頂會大全”原文鏈接:https://mp.weixin.qq.com/s/SbiHonAq0qYEP-sC-sB-bA近期頂會工作來看,VLA正在進入新階段:不只是能做任務,而是要能穩定、低成本、跨場景地落地到真實機器人系統中。這類研究共同釋放了一個信號:具身智能的競爭點正在從大模型能力展示轉向實用化能力驗證。一方面,研究開始關注多機器人本體、導航與操作統一、仿真到真實遷移等真實部署問題;另一方面,評測標準也不再只看平均成功率,而是更重視空間擾動、物體變化、語言歧義和任務複雜度下的魯棒性退化。同時,力覺、觸覺等非視覺模態也開始被納入VLA框架,用來解決接觸豐富操作中的精細控制難題。本文整理了20篇 VLA實用化相關前沿論文。論文介紹:ICRA 2026| Rethinking the Practicality of Vision-language-action Model: A Comprehensive Benchmark and An Improved Baseline現有VLA真的適合真實機器人部署嗎?論文指出,當前很多VLA模型依賴大參數規模、大規模預訓練和固定機械臂場景,存在訓練成本高、跨本體適配弱、真實部署困難等問題。為此,作者提出面向實用化評測的CEBench基準,覆蓋單臂操作、雙臂操作和真實世界雙臂移動操作,並引入背景變化、物體幹擾、桌面高度變化等領域隨機化設置,專門測試VLA在真實擾動下的穩定性。方法上,論文提出輕量化基線LLaVA-VLA,基於小型視覺語言模型構建,通過多視角圖像輸入、本體狀態標記、動作分塊和兩階段訓練,實現導航與操作統一建模。實驗表明,小模型在CALVIN等任務上接近甚至超過部分大模型;多視角輸入、本體狀態標記和合適動作分塊都能顯著提升性能;在真實雙臂和移動操作任務中,模型也展現出更強魯棒性。這篇工作的價值在於,

站內 AI 整理稿

原文作者:公眾號“計算機頂會大全”原文鏈接:https://mp.weixin.qq.com/s/SbiHonAq0qYEP-sC-sB-bA近期頂會工作來看,VLA正在進入新階段:不只是能做任務,而是要能穩定、低成本、跨場景地落地到真實機器人系統中。這類研究共同釋放了一個信號:具身智能的競爭點正在從大模型能力展示轉向實用化能力驗證。一方面,研究開始關注多機器人本體、導航與操作統一、仿真到真實遷移等真實部署問題;另一方面,評測標準也不再只看平均成功率,而是更重視空間擾動、物體變化、語言歧義和任務複雜度下的魯棒性退化。同時,力覺、觸覺等非視覺模態也開始被納入VLA框架,用來解決接觸豐富操作中的精細控制難題。本文整理了20篇 VLA實用化相關前沿論文。論文介紹:ICRA 2026| Rethinking the Practicality of Vision-language-action Model: A Comprehensive Benchmark and An Improved Baseline現有VLA真的適合真實機器人部署嗎?論文指出,當前很多VLA模型依賴大參數規模、大規模預訓練和固定機械臂場景,存在訓練成本高、跨本體適配弱、真實部署困難等問題。為此,作者提出面向實用化評測的CEBench基準,覆蓋單臂操作、雙臂操作和真實世界雙臂移動操作,並引入背景變化、物體干擾、桌面高度變化等領域隨機化設置,專門測試VLA在真實擾動下的穩定性。方法上,論文提出輕量化基線LLaVA-VLA,基於小型視覺語言模型構建,通過多視角圖像輸入、本體狀態標記、動作分塊和兩階段訓練,實現導航與操作統一建模。實驗表明,小模型在CALVIN等任務上接近甚至超過部分大模型;多視角輸入、本體狀態標記和合適動作分塊都能顯著提升性能;在真實雙臂和移動操作任務中,模型也展現出更強魯棒性。這篇工作的價值在於,它不再單純追求更大的機器人模型,而是強調低成本訓練、跨本體泛化、真實擾動評測和移動操作落地。對具身智能研究來說,這意味著VLA正在從模型炫技走向真實可用。論文介紹: ICRA 2026| FD-VLA: Force-Distilled Vision-Language-Action Model for Contact-Rich Manipulation過去,VLA模型主要依賴視覺和語言來完成機器人操作,但在真實場景中,很多任務並不是看見就能做好。比如插頭插入、按鈕按壓、擦白板等接觸豐富任務,真正影響成功率的是接觸力、阻力變化、摩擦和細微形變。這篇論文關注的正是VLA的力覺短板。論文提出FD-VLA,通過力蒸餾機制,讓模型在訓練階段利用真實力信號學習潛在力表示;在推理階段,則不再依賴實體力傳感器,而是根據視覺觀察和機器人本體狀態預測力標記,並與視覺語言信息共同生成動作。這樣既保留了力覺對接觸操作的幫助,又降低了真實部署時對昂貴、脆弱傳感器的依賴。創新點主要在於三方面:一是把力覺信息以蒸餾方式融入VLA,而不是簡單拼接原始力信號;二是利用視覺和本體狀態預測接觸相關力表示,提升任務相關性和魯棒性;三是在真實機器人平臺上驗證擦白板、按按鈕、插頭插入等典型接觸任務。實驗表明,FD-VLA整體成功率明顯高於無力覺版本和直接輸入原始力信號的方法,說明可學習的力表示比粗暴使用傳感器數據更有效。這篇論文的價值在於,它把VLA從看懂再行動推進到理解接觸再行動。對具身智能研究來說,力覺蒸餾、觸覺增強、狀態建模和接觸豐富操作,正在成為VLA實用化落地的重要發文切口。論文介紹:LIBERO-X: Robustness Litmus for Vision-Language-Action Models過去,很多VLA模型在標準機器人基準上表現不錯,但這並不等於它們真的具備真實部署能力。真實環境中的機器人任務,往往會同時遇到物體位置變化、場景結構變化、未見物體、視覺干擾和語言指令改寫等問題。這篇論文提出LIBERO-X,核心不是再造一個更強模型,而是構建一個更嚴格的VLA魯棒性評測基準,用來檢驗現有視覺語言動作模型到底穩不穩。方法上,LIBERO-X設計了五級遞進式測試協議,從局部空間擾動、大範圍空間擾動,到場景拓撲重構、視覺屬性變化和語義等價指令改寫,逐層增加真實部署難度。同時,它構建了更高多樣性的訓練數據,並通過多標籤診斷分析模型在交互類型、子任務數量、空間關係、物體屬性等維度上的失敗模式。實驗結果顯示,多個代表性VLA模型在LIBERO-X上都會隨難度增加明顯掉點,尤其在拓撲變化、未見物體、語言改寫和多步長程任務中表現不穩定。這說明現有VLA並不是不會完成任務,而是缺少對複雜分佈偏移的穩定泛化能力。這篇工作的價值在於,它把VLA評測從平均成功率推進到魯棒性診斷。對具身智能研究來說,未來不僅要做更大的模型,也要做更真實的基準、更細的失敗分析和更強的空間泛化、語言接地與長程執行能力,這正是VLA實用化落地的重要發文切口。雷峰網

Related

相關文章

鈦媒體生成式AI

Edge AI Daily 早報(6月19日)

AI Engineer World's Fair 2026規模再創新高,標誌AI工程從幕後走向舞臺中央。行業面臨結構性調整:楊立昆警示OpenAI年虧210億美元揭示商業模式脆弱性,Transformer之父轉投OpenAI反映人才爭奪白熱化。Anthropic多線佈局——語音支持七種語言、加入碳清除聯盟、落子首爾辦事處,展現生態擴張野心。監管壓力加劇,意大利依據DMA調查蘋果iCloud,巴西開放iOS側載佣金降至5%,蘋果圍牆花園持續崩塌。

2 小時前
智東西生成式AI

谷歌時隔6年再發智能音箱,Gemini上桌,售價不到700元

智東西 編譯 | 劉煜 編輯 | 陳駿達 智東西6月18日消息,谷歌昨日宣佈,其首款搭載居家版Gemini語音助手的智能音箱(Google Home Speaker)已開啟預售,將於當地時間6月25日正式上市,售價為99.99美元(約合人民幣677.03元)。在此之前,谷歌已有6年沒有推出過獨立智能音箱產品。 谷歌這款智能音箱外觀近似球形,風格類似亞馬遜新一代Echo音箱與蘋果舊款音箱HomePod Mini。 ▲谷歌智能音箱(圖源:谷歌官網) 使用音箱時,用戶只需通過口令“Hey Google”或“OK Google”喚醒Gemini,就可以繼續下達相應指令。這與谷歌舊款音箱、智能顯示屏等喚醒語音助手的方式相同。此外,用戶只要按照日常說話習慣下達命令,Gemini便能理解用戶意圖,相比之前大大提升溝通效率。 一、加強短時對話記憶,會員可與Gemini不限次數對話 谷歌此次推出的全新音箱升級諸多功能。其中,音箱搭載的Gemini語音助手擁有10款全新擬人化語音音色,用戶可以根據喜好自行選擇聲線。音箱還可支持用戶一次性下達多條語音指令,即使指令未能說對、說完整,用戶中途改口Gemini也能識別。 Gemini還具備多鏈路推理能力,落地到實際生活場景中比較實用。例如,用戶問:“我支持的足球隊下場比賽天氣如何?”Gemini收到指令後,會自動查詢賽事時間、舉辦地點,同時匹配相應時段天氣,再給出答覆。 同時,Gemini加強了短時對話記憶,能承接上下文實現連續對話功能。即使用戶連續追問、甚至串聯多項任務、不重複交代前置條件,該語音助手也能實現來回連貫交流。 ▲谷歌Gemini對話場景(圖源:谷歌官網) 不僅如此,Gemini搭配的連續對話功能,能讓應答後的音箱麥克風保持短暫收音,用戶無需重複喊“OK Google”就能繼續提問。該功能現已全面支持所有Gemini原生適配的語言,包括

22 小時前

微軟,考慮接入DeepSeek

這篇消息聚焦「微軟,考慮接入DeepSeek」。原始導語提到:Copilot Cowork轉為按量計費。 從 AI 情報角度來看,這類內容值得關注其背後的技術進展、產品落地、產業競爭與後續市場影響。

23 小時前