NVIDIA AI Releases Gated DeltaNet-2: A Linear Attention Layer That Decouples Erase and Write in the Delta Rule

NVIDIA AI 近期發表了全新線性注意力層 Gated DeltaNet-2，這是一項針對遞迴式記憶壓縮與編輯效率的改良方案。傳統的 softmax 注意力需要維護一個無邊界的 KV 快取，導致記憶體隨序列長度線性成長；而線性注意力則改用固定大小的遞迴狀態，使序列運算時間降為線性、解碼記憶體恆定。然而，真正困難之處不在於「忘記」舊資訊，而在於如何在壓縮的記憶中進行編輯的同時，不破壞既有的關聯。Gated DeltaNet-2 正是為了解決這個瓶頸而生。

過去 delta 規則模型（如 DeltaNet）使用單一標量 βt 控制每次寫入的覆寫比例，而 Mamba-2 則引入資料相關的標量衰減 αt 來實現全局遺忘。後續的 Gated DeltaNet 同時結合了這兩種操作，但兩者仍保持為每個注意力頭的標量。Kimi Delta Attention（KDA）雖將衰減 αt 改為逐通道向量，卻仍保留單一標量 βt 同時控制擦除（key 側）與寫入（value 側）兩項決策。這種設計限制了模型的表達能力，因為擦除與寫入分別作用於狀態的不同軸向，不應被強制綁定。

Gated DeltaNet-2 的核心突破在於提出「Gated Delta Rule-2」，將原先的單一標量閘門拆解為兩個獨立的通道式閘門：擦除閘門 bt ∈ [0,1]^dk 作用於 key 軸，寫入閘門 wt ∈ [0,1]^dv 作用於 value 軸。兩者皆由 token 表示的 sigmoid 投影產生，並在更新公式中分別控制舊內容的清除與新內容的寫入。這個新設計可將先前的 Gated DeltaNet 與 KDA 視為其特例——當兩閘門退化為相同標量且衰減也為標量時，即可還原為舊模型，因此更具一般性。

在實作上，Gated DeltaNet-2 採用了與 KDA 相容的 chunkwise WY 形式，並使用 fused Triton 核心以 chunk size 64 進行訓練。由於寫入側與擦除側的閘門不同，反向傳播時無法直接套用 KDA 的標量 shortcut，論文為此推導了明確的閘門感知向量-雅可比乘積，並在 Hopper GPU 上以兩或四 warp 限制避免 WGMMA layout 斷言錯誤。模型整體採標準 Transformer 區塊設計，查詢與鍵路徑包含線性投影、短因果卷積、SiLU 與 L2 歸一化，數值路徑則另加輸出閘門。混合變體還加入了滑動窗口注意力（SWA），以處理精確的局部交互，同時維持序列線性擴展。

在 1.3B 參數規模、100B FineWeb-Edu token 的訓練設定下，Gated DeltaNet-2 在語言模型與常識推理基準測試中表現優於 Mamba-2、Gated DeltaNet、KDA 與 Mamba-3 等對比模型。它不僅平均分數最佳，在混合變體中也維持領先。這項成果顯示，將擦除與寫入決策解耦確實能更有效地管理壓縮記憶，避免因單一標量閘門造成的訊息衝突。

對讀者而言，Gated DeltaNet-2 的推出意味著線性注意力在長序列任務中的實用性再次提升。未來可關注其是否被整合至 Hugging Face Transformers 或 NVIDIA 的開源工具中，以及能否在更大規模（如 7B 或 13B）參數下維持優勢。此外，論文中的閘門感知反向傳播與 chunkwise 實作也為後續硬體優化提供了參考方向。對於從事長文本生成、對話系統或即時推理的開發者，這項技術可能降低記憶體需求，同時保留高品質的上下文理解能力。