何夕2077機器人技術

機器人學會視覺想象

2026年7月12日 00:00

重點摘要

機器人學會視覺想象。 APIVOT面向長程機器人規劃。系統交織語言思考與視覺推演。機器人規劃論文原文展示廚房實驗。模型���提前驗證空間幾何可行性。複雜任務成功率因此獲得提升。

站內 AI 整理稿

機器人不再只是被動接收外界資訊,而是開始學會「想像」未來場景。近期一項名為 APIVOT 的系統正式問世,讓機器人首次具備視覺想像能力,在長程任務規劃領域取得關鍵突破。這套系統的核心創新在於將語言思考與視覺推演深度整合,使機器人不再僅限於處理當下看到的畫面,而是在規劃過程中預先「想像」出未來每一步的空間樣貌,進而實現更全面的任務預判。 過去機器人執行複雜任務時,往往只能根據即時感測資料做出反應,面對多步驟、長時程的作業經常束手無策。例如,要機器人從廚房走到冰箱、拿出食材、放到流理臺、再打開抽屜取出工具,傳統方法容易因為環境變化或順序錯誤而中斷。APIVOT 系統的出現,正好補足了這塊關鍵缺口:它讓機器人在實際行動之前,先透過內部模型模擬每一步的視覺結果,如同人類在動手前先在腦中演練一遍。 這套系統的運作原理,是將自然語言指令轉換成一系列抽象動作規劃,再將每個動作對應的空間幾何關係以視覺想像的方式生成預覽影像。機器人會比對這些想像中的畫面與當前環境的可行性,若發現某個步驟會導致碰撞或無法執行的情況,就會重新調整規劃,直到所有步驟都通過虛擬驗證才開始實際動作。這種「先想後做」的機制,大幅降低了執行過程中的意外與修正成本。 研究團隊選擇在真實廚房環境中進行實驗,測試 APIVOT 模型在烹飪相關任務上的表現。廚房充滿了抽屜、櫥櫃、餐具、食材等各種物體,空間幾何關係複雜,且任務往往需要多個步驟依序完成,是檢驗長程規劃能力的理想場域。實驗結果顯示,APIVOT 能在實際執行動作之前,自主驗證空間幾何的可行性,例如判斷手臂是否能順利伸入抽屜而不撞到旁邊的碗盤、或確認拿取高處物品時不會阻擋後續移動路徑。 透過這項「視覺想像」能力,機器人的任務成功率獲得顯著提升。過去因規劃疏漏而導致的失敗,像是抓取失誤、路徑卡住或步驟順序顛倒等問題,都能在想像階段就被過濾掉。不僅如此,這套系統還能根據想像結果動態調整規劃,例如發現原本計畫的路徑有障礙物,就自動繞道或改變抓取姿勢,展現出更高的適應性。 APIVOT 這項進展為機器人自主決策開闢了全新的路徑,也讓外界看見人工智慧從感知走向推理的具體可能。傳統機器人主要依賴感測器收集數據、進行模式識別,但缺乏對未來狀態的預測能力。如今,透過語言與視覺的雙重表徵,機器人開始擁有類似人類的「心智模擬」機制,能夠在腦中預演多種可能情境,再選擇最穩妥的方案執行。 研究人員指出,這項技術的關鍵在於如何讓機器人同時理解語義指令與空間幾何,並把兩者整合到同一個推理框架中。APIVOT 正是在這個交會點上找到了突破口,讓語言規劃與視覺想像相互驗證、互相補充。當機器人接收到「先拿鍋子再開火」這類指令時,它不僅能分解步驟,還能想像鍋子的位置、爐臺的高度以及手臂移動的軌跡,確保每一步都符合現實環境的限制。 這項成果對未來機器人應用的影響深遠。在家庭服務方面,機器人將能更可靠地完成煮飯、打掃、整理等長流程任務;在工業製造領域,也能支援需要多工協作的組裝作業;甚至在醫療照護、災難救援等動態環境中,具備視覺想像能力的機器人可望大幅提升應變能力與安全性。專家認為,這代表機器人正從單純的「感知行動迴路」進化到「感知-想像-行動」的新階段。 當然,目前 APIVOT 仍處於實驗驗證階段,距離廣泛部署還有不少挑戰需要克服。如何提升視覺想像的精細度、如何處理更複雜的動態環境、如何降低計算資源需求,都是後續研究的方向。不過,這項技術已經證明了「讓機器人學會想像」並非遙不可及的科幻情節,而是正在發生的技術變革。 從被動感知到主動想像,機器人的認知能力正在跨越一道重要的門檻。APIVOT 的成功不僅是一項技術突破,更為人工智慧與機器人領域提供了一個嶄新的思考方向:當機器人能像人類一樣在腦中建構未來場景,它們的決策品質與自主性將迎來質的飛躍。未來,廚房裡幫忙做菜的機器人或許再也不會因為拿錯東西而手忙腳亂,因為它們早在行動之前,就已經在腦海中預演過一遍完美的流程。

Related

相關文章

特斯拉46天拆除 Model S/X 產線,為Optimus人形機器人量產鋪路

拆除這條生產線的主要原因,是為了將寶貴的廠房空間改造成 Optimus 人形機器人生產基地。特斯拉認為,Optimus 將成為一款具有顛覆意義的新產品。隨著弗裡蒙特工廠 Model S 和 Model X 生產線的拆除,一個屬於特斯拉豪華電動車的時代正式落下帷幕,而屬於 Optimus 人形機器人的新時代,則正在快速開啟。

剛剛

京東首個RoboBase項目落地廣州黃埔 總建築面積約19萬平方米

京東首個RoboBase項目同日在廣州黃埔開工。此次開工的RoboBase項目位於廣州黃埔科學城核心片區,是本次戰略合作落地的首個實體標杆,也是京東在先進製造與機器人賽道的核心佈局。京東將整合人工智能、智能物流、全球供應鏈及產業園區運營等全鏈條資源,推動項目高標準建設運營,聯動產業鏈生態夥伴落地黃埔,服務廣東產業智能化轉型升級。

剛剛
何夕2077機器人技術

第一視角訓練機器人

第一視角訓練機器人。 EgoWAM利用人類第一視角數據。模型同步預測動作和場景變化。世界動作模型論文解釋協同訓練。三維運動流���強化空間表徵。機器人泛化表現最高提升四倍。

6 小時前

別問AI像不像人了,先問它在災難裡能不能逃命

近年來,人工智慧的發展熱潮常聚焦於模擬人類對話、情感甚至外型,彷彿「像不像人」是衡量AI進步的唯一標準。然而,這篇來自36氪的評論卻點出一個更根本的命題:在大火、地震或斷網這類真實災難面前,AI能否「逃命」遠比它是否像人更重要。當系統依賴穩定電力和雲端運算,一旦基礎設施癱瘓,最擬人的機器人也可能瞬間變成高級擺設。這提醒我們,比起追求表象的擬真,更應關注AI在極端環境下的自主判斷與生存韌性。

19 小時前

啊?這是機器人的手?

賬號設置我的關注我的收藏申請的報道退出登錄登錄搜索36氪Auto數字時氪未來消費智能湧現未來城市啟動Power on36氪出海36氪研究院潮生TIDE36氪企服點評36氪財經職場bonus36碳後浪研究所暗湧Waves硬氪氪睿研究院媒體品牌企業號企服點評36Kr研究院36Kr創新諮詢企業服務核心服務城市之窗政府服務創投發佈LP源計劃VClubVClub投資機。

1 天前