首token延遲砍掉3. 25 倍：小紅書聯手北大、上交提出HYPIC，給混合注意力大模型裝上"位置無關緩存"

隨著大模型服務的應用場景從單輪對話快速擴展至檢索增強問答、多文件摘要與長程代理任務，使用者的單一請求經常需要拼接數十個語義獨立的片段，導致上下文長度動輒達到數萬乃至數十萬個token。在這種超長輸入下，預填充階段的計算量成為服務成本的主要來源，而一旦處理器未命中快取，尾部首個token的延遲可能飆升至數十秒，嚴重影響互動體驗。為了降低成本並改善延遲，業界發展出兩條技術路線：一是位置無關快取，透過放寬嚴格的前綴限制，讓語義獨立的片段只需快取一次即可任意拼接；另一則是混合注意力模型，以線性注意力取代多數全注意力層，將注意力機制的二次複雜度降為線性，並將無限制的歷史壓縮成固定大小的循環狀態。

然而，兩者間存在根本矛盾——位置無關快取操作的是逐token的KV快取，而線性注意力層只暴露每個請求的循環狀態，無法進行傳統的拼接與校正，這使得混合注意力模型長期無法享受片段級快取複用的優勢。針對這一困境，小紅書大模型推理團隊聯合北京大學與上海交通大學提出了HYPIC，這是業界首個能在混合注意力大模型上實現位置無關快取的服務系統。核心概念是對混合模型中的線性層與全注意力層採取分而治之的策略，再以系統層級的並行機制加速冷請求，三個環環相扣的組件共同構成了解決方案。在線性層部分，HYPIC快取的是「轉移算子」，使狀態組合能在常數時間內完成。

樸素的作法直接將兩段片段的零初值末狀態相加，但在具備衰減、門控或delta擦除等機制的進階線性注意力模型下會產生結構性誤差。HYPIC的關鍵在於同時快取一段內所有token轉移矩陣的連乘積（T_C）以及該片段的零初值末狀態（S(C|0)）——兩者皆只由片段內部的token決定，與前綴無關。複用時只需將T_C左乘前一狀態後相加，即可近乎精確還原任意前綴下的末狀態，且適用的模型涵蓋RetNet、Mamba2、GLA、DeltaNet等主流線性注意力家族。實測顯示，在Qwen3.

5-35B-A3B模型上，組合後的狀態與完全重算的差異僅在FP16雜訊範圍內；針對帶因果卷積或旋轉位置編碼的變體，團隊也分別以卷積狀態熱身與狀態重旋轉補丁實現嚴格對齊。對於混合注意力模型中殘留的全注意力層，HYPIC採用「縫合窗口」來修復跨段注意力。以往的全注意力層需要逐token的KV快取才能進行位置無關拼接，但下方的線性層僅保留末狀態，非末尾token無法向上傳遞。團隊觀察到，KV拼接後的誤差高度集中在每個複用片段的開頭，其餘部分幾乎不受影響，此現象在混合注意力模型中同樣成立。

因此，HYPIC為每個內部片段的開頭保留一個小型窗口（預設8個token），這些token不入快取，複用時在完整前綴下重新計算，以極小的計算開銷修復跨段注意力，而片段長度通常超過512個token，重算比重極低。第三個機制是段並行，專門解決快取未命中時的長冷請求問題。即使快取策略完善，語料持續更新或低頻文檔被淘汰仍會導致未命中，而這些長冷請求正是尾延遲的主要來源。過往系統將整條prompt視為整體，在單一實例上序列化處理所有冷片段，延遲隨片段數線性增長；張量並行等方案雖能加速單次前向，但擴展性有限。

HYPIC利用每個片段prefill結果只由內部token決定的特性，將冷片段並行分發給多個scatter worker，再由一個combine worker組裝結果，將冷prefill的計算複雜度從O（n·|C|）降至O（⌈n/m⌉·|C|+c）。為了充分發揮並行效益，系統採用最長處理時間優先的貪婪策略平衡各worker負載，並將計算與傳輸流水線重疊，避免同步傳輸造成瓶頸；此段並行機制可與既有的張量並行、資料並行等正交疊加。HYPIC已在SGLang框架上實作，約14,000行Python與Triton程式碼。

研究團隊在8×H20節點上選用四個生產級混合注意力模型——Ring-mini/flash-linear-2.0、Qwen3.5-35B-A3B與122B-A10B——搭配HotpotQA、TriviaQA、MultiNews、GovReport四個公開資料集以及一條真實的生產RAG軌跡進行評測。在全部快取預熱的狀態下，HYPIC相較於傳統的前綴快取將p50首token延遲平均降低了3.25倍，各模型的降幅落在2.77倍至4.05倍之間；而任務品質幾乎完全保留，16個「模型×資料集」組合的平均分數僅落後完全重算1.71分，在Qwen3.5-35B模型上甚至反超0.47分。

作為對照，未快取轉移算子的樸素相加方案直接損失了66.9%的分數，凸顯了累積轉移算子的必要性。在生產級RAG軌跡上，以1秒首token延遲為服務水準目標，HYPIC將可持續每秒查詢數（QPS）相較於前綴快取提升了1.66倍（範圍1.49至1.85倍），峰值單卡吞吐量亦提升約1.3至1.5倍。針對完全的冷未命中路徑，一條32k token請求的延遲從單worker的2.83秒降至8個worker的0.49秒，加速5.7倍，且幾乎所有收益來自可近線性擴展的scatter階段；當片段長度不均時，最長處理時間優先的排程策略比單純的輪詢分發進一步降低延遲（從1.26秒壓至0.84秒）。

HYPIC本身引入的開銷亦可控：構造轉移算子的計算量在最重的模型上也僅為主前向的5.2%至6.7%，且一次構造可多次複用，成本快速攤薄。HYPIC首次為混合注意力大模型實現了位置無關快取：以快取的片段累積轉移算子達成線性層的常數時間狀態組合，以微小的縫合窗口修復全注意力層的跨段對齊，再以段並行將長冷請求變成可加速的負載。這項設計讓RAG與Agent等長上下文服務在採用高效混合架構的同時，也能享有片段級快取複用的優勢。團隊透露，未來將繼續探索分散式快取管理與調度、多級快取分層等方向，進一步推動大模型推理往更快、更省、更可擴展的方向演進。