具身記憶賽道持續升溫,長記憶迎來新 SOTA
IROS 2026 最佳論文啟示錄:沒有長記憶的機器人,終將被淘汰。作者丨鄧哲敏 編輯丨齊鋮湧 本月初在匹茲堡閉幕的 IROS 2026 將最佳論文獎頒給了 LT-Mem,這項研究讓機器人重訪同一空間時,能完整保留每個物體的位置變遷史,而非僅僅記住最新一次看到的樣子。評委會從近兩千篇收錄論文中選中它,想必不僅是認可其紮實的工作,也是代表學界宣告:具身長記憶(long-term embodied memory)已經從一個工程補丁,變成了機器人領域公認的科學問題。從實際角度考慮,通用機器人要規模化落地,需要以小時、天乃至周為單位持續運行,而不只是幾分鐘。
沒有長記憶,每次相遇都是初次見面,機器人只是一個個孤立的單次動作執行器;有了長記憶,它才能從一次性工具變成可以長期上崗的同事。但解決這件事遠不是擴大上下文窗口那麼簡單:持續湧入的多模態數據既無法全部存儲,也無法全部檢索;現實世界還在不斷變化,新的觀察既不能簡單覆蓋舊的,也不能無序堆疊;更棘手的是,一條錯誤的記憶會在之後的決策裡被反覆調用,錯誤由此層層放大。記憶如何寫入、如何留證、如何糾錯,都是需要被正面回答的問題,靠調幾個工程參數解決不了。AI科技評論(公眾號)注意到,在這一方向被頂會加冕的數月前,國內具身初創公司貝塔無限就已坐上牌桌。
今年五月,貝塔的聯合創始人陶帥在採訪中明確表示:長效、多模態、時空記憶的缺失,是他們首先要重點突破的方向。隨後,團隊陸續發佈 BetaMem 全時空多模態記憶架構、世界動作模型 BetaWAM 0.1、首款機器人多米。10 月 20 日,團隊把 BetaMem 的寫入學習、證據管理和自我改進機制寫成了系統的方法與實驗,掛上 arXiv。論文交出的成績單頗為亮眼:BetaMem 採用 9B 開源模型生成記憶,在 M3-Bench-robot、LoCoMo、OpenEQA 和 EgoLifeQA 四項代表性記憶基準的對比評測中均取得 SOTA 成績。
尤其在串聯多次觀察中的線索、回憶長時間跨度的事件、識別個人習慣等任務上,BetaMem 展現出明顯優勢——這些能力,正是機器人進入生活、持續積累對人與環境的瞭解所需要的。LT-Mem 從多會話建圖切入,把問題收窄到乾淨、可評測;BetaMem 則從記憶如何形成、如何驗證、如何從失敗中學習的系統視角,搭建完整的記憶底座。一邊是頂尖學術單點攻堅摘得頂會桂冠,一邊是國內團隊以產業落地為目標搭建完整記憶底座,學術和產業在此交匯,足以證明長記憶是整個領域正在收斂的核心方向判斷。01記憶這道題,學界做到哪一步圍繞機器人長期記憶,學界探索了許多方法。
按年份羅列意義不大,AI科技評論(公眾號)想換個角度,看記憶回答了什麼問題,還剩什麼沒回答。第一類關注空間側的記憶,也就是“這裡有什麼”。Hydra、ConceptGraphs 等三維場景圖把物體、地點、房間組織成可被語言查詢的關係網,Khronos 把時間引入動態環境建圖,DynaMem 讓移動操作機器人在物體被挪動後繼續更新記憶,真機上對非靜止物體的取放成功率平均達 70%,是靜態系統的兩倍以上。這一支空間關係清楚,但記住的主要是當下這一版世界長什麼樣。第二類關注檢測類的記憶,也就是“我見過什麼”。ReMEmbR 把長時導航視頻建成可檢索的時空記憶,供智能體推理。
但檢索按相似度排序,取回的是過去的信息。五分鐘前桌上確實有杯子,現在還在不在呢?檢索不負責回答。第三類關注變化側的記憶,也就是“它變了沒有”。LT-Mem 正是這一思路。論文把現有系統的毛病命名為“時間性失憶”:要麼用新觀測覆蓋舊狀態,要麼存下語義快照卻沒有跨次訪問一致的物體身份。它用一個隨物體習性變化的易變性分數,決定新觀察該覆蓋、保持還是並存。作者也坦承侷限:測試只覆蓋兩個室內加一個室外場景、各 10 次訪問,外觀相似物體的身份關聯依然困難。第四類關注操作側的記憶,也就是“我做到哪了”。
MemoryVLA 指出主流 VLA 普遍忽視時序上下文,補上工作記憶與記憶庫後,長時程任務真實成功率比最強基線高出 26 個百分點;MEM 用視頻承載短時記憶、自然語言承載長時記憶,可跟蹤長達十五分鐘的任務,同時提醒,設計糟糕的記憶會因放大虛假相關而損害性能。四支各答一問,拼在一起,仍然有三道題敞開。其一,空間側與操作側各自生長、很少碰頭,前者可以跨周存在卻不進入手的動作,後者進了動作但壽命以分鐘計。其二,寫什麼、留什麼、何時核對,多靠人工設計,文本 Agent 已用強化學習學會管理記憶,具身記憶還缺同等成熟的做法。其三,記憶能否追溯到證據?
多數系統存的是描述,原始畫面和聲音在摘要之後就找不回來了。一條記錄憑什麼可信、出錯後怎麼複查,家庭場景裡遲早被用戶問到。有意思的是,學界目前分散留下的這三大空白,貝塔無限的 BetaMem 方案給出了一套完整對應的解法。從記住鑰匙的去向到主動尋找並重新確認——BetaMem 將記憶構建、檢索驗證與規則改進串成完整流程02把記憶做成一份有出處、有保質期的判斷BetaMem 的出發點,是把記憶看作機器人對世界的判斷,而不是一份日誌。論文把它落成三個互相關聯的結構:時態狀態圖,記錄現在認為世界是什麼樣;只追加的事件日誌,記錄狀態是怎麼變成這樣的;有限容量的源數據檔案,留存選定的原始圖像與音頻。
三者共用實體、事件和來源標識。檔案容量有限,哪些原始畫面整幀保留,哪些裁剪、降質或刪除,要在存儲與讀取預算下權衡。這樣拆,等於把證據和狀態分開。用法庭作比,證據是案卷,狀態是判決,判決可以改判,案卷不能塗改。只存證據不估狀態,系統知道看過什麼,卻說不清現在是什麼樣;只存狀態不留證據,一次誤判會被固化,出了錯也無從歸因。每條狀態記錄除內容外,還帶著空間上下文(所在地點或容器、座標系、地圖版本)、置信度、來源和版本號,並標明狀態:已觀察、推斷、衝突、過期或未知。時間分成三種:所述事情的有效區間、看到它的時間、寫進記憶的時間。轉變時間不確定就記成區間,超出直接觀察的內容一律標為推斷。
這像一本帶出處和保質期的臺賬,事後糾錯不會丟掉原始拍攝時間。在此之上,記憶分為六層。L0 工作記憶裝當前觀察、任務階段和動作歷史;L1 空間、L2 實體、L3 情景三層互相引用,一次情景中的狀態轉變可以修訂實體狀態,並通過 L1 掛到具體的地點和地圖版本;L4 經驗記憶沉澱規律,L5 程序記憶存放任務前置條件、可調用技能、預期觀察和恢復分支。事件日誌和源檔案貫穿六層,記憶經過整合與修訂,出處也不會丟。以論文裡的鑰匙為例,拿起、交接、放入是三個獨立事件,各自記錄執行人,並鏈接到帶時間戳的畫面和音頻;語音轉寫保留說話人,並鏈回原始音頻。
檢索時,機器人分得清誰拿到了鑰匙、誰把它放好,也分得清說出口的打算、轉述的結果和親眼觀察到的變化。寫入同樣有門檻。每段觀察先登記來源和採集時間,再切成窗口;模型輸出帶來源引用的實體、關係和事件提案,經外觀、位置、時間連續性與已有身份比對,拿不準的就保留多個候選假設。提交前,還要核對來源證據、時效範圍和所用記錄的版本。通過後追加一條事件、更新狀態,舊狀態留在歷史裡。其中最關鍵的一條原則是,歷史記錄只是搜索線索,不是現狀證明。鑰匙最後一次是在抽屜裡被看到的,機器人據此去抽屜查看,拿到新觀察後,才追加新版本的狀態。現在的真,要靠現在的觀察來確認。
這套思路與 LT-Mem 保守更新的邏輯相通,覆蓋面更大,狀態裡不只有物體的位置,還包括任務進度、容器開合和動作結果。陶帥曾公開表示,記憶系統能複用他此前在千人千面推薦系統中積累的經驗。把推薦系統處理不確定性、漂移偏好、過期判斷的成熟範式遷移到機器人時空記憶,是一個很巧妙的跨界遷移,也讓 BetaMem 的底層設計自帶一套經過產業驗證的不確定性治理思路。03讓同一份狀態進到手裡如果狀態只服務規劃器,仍然停在前文說的縫隙裡。貝塔無限的做法,是讓模型、Agent 和動作三層讀取同一份狀態,各取所需的時間尺度。
BetaMem 與世界動作模型 BetaWAM 同在統一大腦 BetaBrain 內,原則是分工保留、狀態共享,否則規劃、控制和預測各緩存一份世界,會越走越偏。動作層需要兩種記憶。一種是短時的動作與感知記憶。機械臂伸過去的一瞬間,目標常被自己的手臂遮住。擰瓶蓋要轉好幾圈,如果只看當前幾幀,機器人將分不清擰到第幾圈。BetaMem 把這次操作到現在發生了什麼,壓成少量持續更新的變量,包括執行到哪個相位、目標最後確認的位姿、近幾次接觸的力反饋。小偏差在這一層消化,超過閾值才寫回任務狀態,觸發重試、換技能或上報。另一種是跨回合的物理經驗。
櫃門要先抬再拉,玻璃杯外壁有水很滑,這類單次交互學到的常識,通常隨回合結束就丟了。BetaMem 把它們寫成對象級、環境級的可複用條目,供動作模型調用,再沉澱進策略。這恰好對上前面說的缺口,讓記憶跨過回合的邊界。動作做完之後是驗證。世界模型先依據記憶中的完整狀態,包括此刻看不見但先前確認過的部分,預測動作後的結果,驗證器再與視覺、力覺、位姿等真實反饋比對。誤差可接受就提交檢查點,局部偏差退回動作循環,假設失效則回到 BetaBrain 重新規劃。多大的誤差算異常,不靠人為設定閾值,而是從該物體、該動作的歷史偏差裡學出來。
04讓記憶越用越好機器人出了錯,可能是動作沒做好,也可能是關鍵線索沒寫進去、召回時機不對、過期狀態沒糾正。只按任務成敗更新動作模型,記憶的毛病會留著。貝塔無限把記憶策略和行為策略放進同一個反饋框架聯合優化,獎勵同時看任務完成、關鍵證據覆蓋、狀態一致性、失敗恢復、用戶滿意度、執行效率、長期收益和安全風險八件事。這套聯合優化框架跳出了只優化動作的常規思路,把記憶本身變成一個持續學習、持續進化的模塊,是極具創新性的一步。新發布的論文展示了 BetaMem 的兩項關鍵設計:讓小模型學會形成可靠記憶,讓記憶策略能夠從任務失敗中持續改進。
在記憶形成上,團隊通過監督微調與 GRPO 強化學習,訓練小模型關聯當前觀察與歷史信息,記錄對象狀態及其變化。獎勵依據來自多次獨立記錄和原始畫面複核:有證據支持卻容易遺漏的線索獲得更高權重,編造、歪曲和錯誤關聯受到懲罰。由此,記憶的完整性、真實性與時序一致性,都成為具體的學習目標。在策略改進上,貝塔無限設計了由失敗反饋驅動的記憶策略遞歸自我改進(RSI)機制。系統追蹤一次失敗涉及的信息保留、檢索和時效判斷等環節,提出針對性的規則修復,再保持基礎模型與機器人控制器不變,通過獨立回放檢驗修復效果。通過驗證的策略用於後續任務,新的失敗再推動下一輪迭代,讓任務經驗逐步沉澱為可複用的記憶管理策略。
BetaMem 根據失敗線索定位問題,提出局部修復,再經獨立回放評估決定是否發佈這套版本化、可回滾、帶灰度測試的記憶主動迭代流程,在具身智能領域非常少見。絕大多數記憶系統規則寫死,一旦上線很難安全迭代,而貝塔無限把軟件工程裡穩定可靠的發佈治理思想引入記憶進化,規避了自我進化容易失控的風險。畢竟,沒有回放門控的自我進化,本質上是用新錯誤替換舊錯誤。成績單如下,以下結果均使用 9B 開源模型 Qwen3.5-9B 生成記憶。該表由AI科技評論製作,數據來源於論文中表3-6分項裡最值得看的,是需要串聯多條記錄的題型。
M3-Bench-robot 上,多細節、多跳和人物理解三類題,分別領先最強參照 15.96、23.51 和 27.93 個百分點。這與它把記憶組織成帶身份、時間和來源的記錄的思路吻合,答對這類題需要的是一條證據鏈,而不是幾張相似的畫面。消融實驗同樣有說服力。去掉與原話關聯的來源證據,M3-Bench-robot 準確率從 48.08% 掉到 38.61%,損失 9.47 個百分點。寫入學習的效果也很具體,生成的寫入動作符合記憶庫規則的比例,從 50.9% 升到 86.2%,超過教師模型的 72.0%,每條入庫動作消耗的輸出 token 從 224 降到 118,減少 47.3%。
論文也坦陳了一些短板,但我們看重的是它的方向。把記憶做成可訓練、可追溯、可回滾的系統,並拿出了可複核的數字,這已足夠亮眼。05走進家庭,想象空間在哪裡結合家庭場景的特徵,我們更能體會到貝塔無限方案的精心設計。第一個特徵,是多變化。家庭不可能像工廠一樣設置嚴格的 SOP,物件不會各歸其位。鑰匙昨天在玄關,今天在抽屜,明天被孩子帶進房間。貝塔無限把證據與狀態拆開,讓機器人記住物品最新的樣子,也記住物品一步步來到此處的過程。第二個特徵,是多主體。工業場景裡,機器人遇到誰都可以做一樣的處理,但在家裡,不同的主人有不同的習慣、偏好、需求,機器人幹活難度自然陡增。
BetaMem 把動作主體和說話人分別歸屬到具體的畫面與語音來源,人物理解題 78.43% 的成績,落到家庭裡就是分得清家裡有幾個人、各自做了什麼。人物溯源能力,是家庭機器人落地非常關鍵的前置能力。如果一個系統分不清你和孩子,記再多內容也無用,反而是添亂。第三個特徵,是長週期。工業任務以分鐘、小時計,家庭相處以周、月、年計。真正有用的家庭機器人,要歸納出主人的習慣,避免主人反覆介紹物品、習慣和要求。同時,不把一次偶然當成偏好也很重要。貝塔無限對此的約束很明確,規律和程序必須經多次獨立經歷印證,單次事件不能固化成規則,這一定程度上能保證機器人行為的穩定性。
讓每一次相處積累的瞭解,成為下一次服務的基礎,這才是長期記憶真正的價值。而決定這套系統能否真正進門的,是第四個特徵——信任。家庭機器人記錄的是人的生活,用戶遲早會問出一句話:“你怎麼知道的?能刪嗎?”這不該是事後補的合規功能,而應當是記憶系統的生死線。貝塔無限的答案是把它做進架構裡:讀取按記錄、按來源逐條檢查權限,永久刪除需授權並讓派生內容與索引一併失效,端側保存近期觀察與本地身份,雲端只接收有界字段和被許可的證據引用,雲端不可用時本地照常工作。貝塔無限的整套設計,是為一個開放、多主體、長週期、且必須被信任的環境而生的,從根源上適配家庭機器人的核心訴求。
06下一站,進入生活當然,這四個特徵並不專屬於家庭。養老院裡,機器人要認得每一位被照護者,記得各自的習慣與禁忌;零售門店,貨架、庫存和客流時刻在變,今天和昨天的情況不是一回事。只要機器人長期和人、和真實世界交互,就繞不開長期記憶的問題。不妨回到論文頁眉那句副標題:Learning What Remains True as the World Changes,世界瞬息萬變,當知曉何為真。這句話妙在,它既是一道技術題,也是一道信任題。技術題是:機器人如何在一個隨時都在變的世界裡,分清曾經的真和現在的真。信任題是:當它給出答案,憑什麼讓人相信。
貝塔無限在具身長記憶的工作,本質上是把這兩道題併成一道來解——證據與狀態分離,讓曾經為真有案可查;狀態進入動作與驗證,讓現在為真有據可依;記憶策略聯合進化,讓將來如何為真有法可循。在一眾聚焦感知、控制、大模型調用的具身團隊裡,像貝塔無限這樣,將具身長記憶作為公司第一主線、投入整套底層體系研發的玩家,其實並不多見。當然,這份答卷仍有兩處空白:讓記憶越用越好的獨立實證,和真實家庭裡的長期數據。前者需要更多實驗,後者需要時間,九月底發佈的首款機器人多米,會是一個觀察的窗口。
Related
相關文章
Anthropic 衝刺"史上最大 IPO":最快週五亮招股書,估值劍指 2 萬億
這家 Claude 開發商的上市備受矚目,預計集資將超過 SpaceX 今年 6 月的 IPO。隨著投資者對 AI 天量支出的疑慮加深,Anthropic 能否順利掛牌,被視為檢驗市場熱度的一次壓力測試。時間線早已鋪好。今年 6 月,Anthropic 已向美國證交會秘密遞交 IPO 申請草案;按規則,走保密申報的企業須在路演開始前至少 15 個自然日把文件攤開。
英偉達投的AI語音獨角獸發兩款新模型,半秒內就能實時響應,附實測
作者 | 孫小雯 編輯 | 程茜 10月22日消息,10月20日,英國AI音頻獨角獸ElevenLabs發佈實時語音系列模型Eleven Realtime,包括面向自然交流的Eleven Realtime v1 Mini,以及面向客服、多步驟任務的Eleven Realtime v1 Max。兩款模型均支持超過90種語言,可使用ElevenLabs聲音庫中超過1.7萬種音色。 此次發佈主打簡化語音智能體的搭建和調試。過去,開發者需要分別選擇語音識別、大語言模型和語音合成等組件,再調整接話、打斷等交互細節。
紅果短劇上線"小果AI":短劇平臺補上對話式交互這一層
紅果短劇是字節跳動旗下采用"免費觀看+廣告分賬"模式的短劇平臺,截至2026年7月日活達1.68億,同比增長107%,超過騰訊視頻、愛奇藝、優酷、芒果 TV 四家平臺日活總和,用戶月人均單日使用時長約125分鐘。此前用戶在平臺上以單向觀看短劇為主,依託小果AI,用戶可與內容產生對話式互動,不再只是被動接收劇情,紅果短劇由內容播放平臺開始向具備對話、共創能力的交互式內容平臺延伸。
谷歌CEO皮查伊:前沿大模型不容退守,雲業務短期利潤可為研發算力讓路
他給出的最硬一句話是:保障前沿大模型研發的算力,是沒有任何商量餘地的第一原則,為此寧可讓谷歌雲業務主動放棄能夠迅速落袋的短期大額訂單。這句話背後,是新一代旗艦模型 Gemini4Argon 剛剛亮劍——它在代碼、數學推理和專業知識任務上的多項測試裡超過了 OpenAI 與 Anthropic 的公開模型,穩穩站在行業第一梯隊。
10-50萬級全覆蓋,千里智駕量產進入放量期
高端驗證、主流複用、規模放量,千里智駕的市場路徑走通了。從50萬元級大型SUV,到30萬至50萬元混動SUV,再到20萬元級旅行車、15萬元級城市小車以及10萬至20萬元主流家用車型,千里智駕正在走完一條“高端起步、主流複用、規模放量”的路徑,不斷挑戰行業的增速記錄。
OpenAI 藉助先進 AI 發現 PHP 嚴重漏洞,啟動全球協同修復機制
這場行動由 OpenAI 發起的"Patch the Planet"(修補整個互聯網)計劃推動,把軟件維護者、安全研究人員、雲服務商與政府網絡安全機構拉到同一條戰線上,目標只有一個——在漏洞被攻擊者盯上之前,先把全球互聯網的風險壓下去。這次 PHP 的兩項嚴重漏洞,是被 AI 主動"嗅"出來的。