清華唐傑團隊揭示大模型記憶全景

賬號設置我的關注我的收藏申請的項目退出登錄登錄搜索36氪Auto數字時氪未來消費智能湧現未來城市啟動Power on36氪出海36氪研究院潮生TIDE36氪企服點評36氪財經職場bonus36碳後浪研究所暗湧Waves硬氪氪睿研究院媒體品牌企業號企服點評36Kr研究院36Kr創新諮詢企業服務核心服務城市之窗政府服務創投發佈LP源計劃VClubVClub投資機構庫投資機構職位推介投資人認證投資人服務項目推薦36氪Pro創投氪堂企業入駐創業者服務創投平臺AI測評網 首頁快訊資訊推薦財經AI項目推薦廣東最新創投汽車科技專精特新直播視頻專題活動搜索項目推薦我要入駐城市合作清華唐傑團隊揭示大模型記憶全景量子位·2026年08月05日 15:35LLM記憶架構全景圖，萬字長文解構大模型記憶機制 近年來，大語言模型（LLMs）的突破很大程度上歸功於Scaling Laws（參數、數據、算力）。 然而，在模型演進的過程中，一個同等重要的維度正變得愈發關鍵——記憶（Memory）。 從Transformer中伴隨計算產生的KV Cache，到線性RNN/SSM的隱式狀態壓縮，再到近期大火的Titans、TTT（Test-Time Training）以及Engram等顯式、可持久化記憶模塊，大模型的底層記憶機制正在經歷一場深刻的範式轉換。 基於此方向，清華大學唐傑教授團隊、新加坡國立大學（NUS）以及Bosch AI聯合發佈了一篇針對大模型記憶架構前沿的詳盡綜述。 文章不僅首次提出了三維記憶分類學（Representation, Update Dynamics, Persistence），還將零散的前沿工作統一到了一個連貫的理論框架下，為下一代更高效、可長效學習的LLM設計指明瞭方向。 這裡需要特別澄清的是，本文探討的“記憶”特指模型架構層面的內部記憶（Architectural-level Memory）——即模型在網絡底層對歷史信息的表徵、壓縮與狀態更新；而非目前同樣火熱的、通過外部Agent框架（如外掛對話日誌、本地文件檢索引擎等）實現的Agent層面記憶。 背景：大模型記憶的範式轉移 傳統意義上，LLM的內部“記憶”往往是隱式的、作為計算的副產品存在的。 Transformer的自注意力機制提供了一個基於內容的瞬時工作記憶（KV Cache），但其計算與存儲開銷隨序列長度呈二次方增長，且嚴重依賴於上下文窗口的限制。 近期的研究趨勢表明，僅僅“拉長”上下文窗口已經不夠了。