字節發現 DeepSeek 隱藏 Bug，加點空格，模型翻車

DeepSeek 的省錢殺手鐧，為何成了致命盲區？作者丨高允毅 編輯丨岑 峰 同一個問題問 DeepSeek 兩次，只是多敲了幾個空格，給出的答案居然一個像“天才”，一個像“智障”。9月底，字節團隊的最新論文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》，直接點名了 DeepSeek V4 系列模型的“神鬼二象性”問題。圖注：論文鏈接 https://arxiv.org/pdf/2609.

36322這本質上是底層算法偷懶導致的“週期性失憶”，分塊 KV Cache 壓縮技術把長上下文切塊壓縮處理，這就帶來一個問題：“位置決定命運”。如果你的核心詞不巧落在了切塊交界的“信息盲區”裡，那模型只能胡言亂語。想象一下，如果讓大模型審閱幾十頁合同，而關鍵條款剛好卡在“信息盲區”，模型直接無視這條信息，給出相反的結論。而這個錯誤可能是你不小心加了點空白字符，模型直接翻了車，你還根本不知道問題出在哪。而這種“神鬼二象性”的先天短板，絕非 DeepSeek 一家獨有。

在當下這個高喊“把長文本成本打下來”的時代，只要採用了這類分塊壓縮或稀疏化技術的模型，或多或少都有類似問題，比如開源的 Llama 3 系列。01字節論文抓住 DeepSeek 小辮子字節最初的發現，源於讓 DeepSeek-V4-Flash-Base 補全一段代碼。任務是補全一段 FP8 量化函數的最後一個 Token。按照代碼邏輯，正確結果應該是8，但因為研究人員在代碼最前面加了一串純裝飾用的等號，模型輸出了32。更奇怪的是，這種錯誤不是隨機的，而是和等號的數量直接掛鉤：當把等號數量除以 4，如果餘數是 0 或 1，模型大概率答錯，錯誤率高達 71.

3%；如果餘數是 2 或 3，模型又能答對了，正確率高達 91.5%。字節團隊順藤摸瓜，發現這是大模型採用分塊 KV Cache 壓縮技術後，留下的一道先天短板。分塊 KV Cache 壓縮技術，是DeepSeek用來解決長上下文顯存壓力問題的殺手鐧，它把連續的 Token 按固定長度切割，每一段裡的Token可以通過一個可學習的門控層，壓縮成“小摘要”，這樣長上下文的顯存壓力一下子就減輕了。這解決了顯存問題，但引入了新問題。標準 Transformer 的注意力只依賴 Token 之間的相對距離，不關心絕對位置。一句話不管放在哪裡，只要詞序不變，意思就不變。

但 DeepSeek 採用分塊 KV Cache 壓縮之後，每個 Token 在壓縮段的位置就變重要了，這個位置叫“相位”。門控層會給不同位置的Token分配不同權重，這個權重叫槽位增益因子。排到強勢槽位的 Token 會被加權保留，模型能精準答對；排到盲點槽位的 Token 幾乎被忽略，模型就答錯。這種對排位敏感的現象，叫相位敏感性。進一步解模型內部，研究人員還發現注意力頭形成了自然分工。有的專門處理段內靠前的位置，有的專門處理靠後的位置。這種相位專門化，讓某些排位成了薄弱環節。為了驗證這不是巧合，字節團隊又做了一個“大海撈針”的測試。

研究人員構造了一段長達 128K Token的上下文，裡面包含約 1.6 萬個鍵值對，每個 Key 都對應一個 Value。在鍵值關係不變，問題不變，上下文總長度也保持一致情況下，如果把其中一個鍵值對放在不同的位置，那模型還能正確回答出對應的 Value 嗎？結果發現，DeepSeek-V4-Flash-Base 在不同位置之間的準確率最大差距達到 40.2 %。換成 DeepSeek-V4-Pro-Base 後，差距達到了 34.8 %，即使通過後訓練優化，問題依然存在，差距有 19.1% 和 14.8%。面對這種週期性盲區問題，DeepSeek 嘗試 DeepSeek-V4.

1-Flash，直接把壓縮步長砍半。壓縮步長設為 4 時，每一輪壓縮會劃分出 4 個槽位。不同槽位分配到的信息權重差距很大，處在邊緣位置的 Token，很容易在連續兩輪窗口壓縮中被丟掉。把步長降到 2 之後，壓縮會變得更精細，每次只合並 2 個 Token。一個壓縮週期內，Token 僅有兩種相對位置。這樣哪怕關鍵信息落在偏弱的奇數位置，因為相鄰位置只差 1 個 Token，上下文也很難被完全丟失。DeepSeek-V4.1-Flash 確實把準確率差距進一步降至 6.1 %，但這個問題並沒有被完全消除。於是，字節團隊用 Qwen3-0.

6B 架構從頭訓練了一批模型，其他所有配置完全一致，只改壓縮機制。結果發現：所有采用分塊壓縮的模型，都出現了週期性準確率波動；沒有壓縮的全注意力基線模型，沒有這種現象；波動週期嚴格等於壓縮步長；去掉 RoPE 位置編碼，波動依然存在，不是位置編碼帶來的偏差；把可學習的門控權重換成最簡單的平均分配，照樣週期波動，不是參數沒調好。圖注：把壓縮步長分別設為 4、6、8、12，準確率波動的週期也是 4、6、8、12。可見，只要按固定長度做分塊壓縮，這個問題就無法避免。這是方案本身的結構缺陷，不是調參、換位置編碼或後訓練能根除的。

有網友指出，如果想要徹底解決這個問題，得讓切塊本身"活"起來，根據內容的重要程度動態決定邊界。當 Token 沒有固定的相位，相位差也就無從談起。這在AI領域確實有相關研究，叫“動態分塊”。02“動態分塊”技術是解藥嗎？動態分塊的核心，是拋棄按固定 Token 數量一刀切的模式，根據語義和重要性靈活調整。這種技術思路對從算法數學、顯存管理到底層硬件的完整技術棧，進行了一次自上而下的重構。▎第一層：重構注意力的數學基礎動態分塊到底該怎麼切？核心是“大小跟著內容走”。信息密度低的廢話，直接大塊合併；遇到關鍵轉折和高密度信息，就拆分得足夠細，精準計算。

這樣一來，無論關鍵信息藏在哪個位置，模型都能敏銳捕捉，這在數學上重構了被固定分塊打破的平移不變性。更進一步，這賦予了模型一種“預判能力”：先掃一眼信息密度，再決定切多大。推理過程不再是一個節奏讀到底，而是該快讀的地方快，該細品的地方慢，在架構底層長出了“快慢思考”的本能。▎第二層：倒逼顯存管理的演進之前為了讓矩陣算得快，KV Cache 都按固定大小的塊來管。這種方法的好處是簡單、規整、好操作，但顯存利用率上不去，算力容易白白浪費。動態分塊之後，底層傳統的“靜態連續矩陣”撐不住了，必然要向“拓撲稀疏矩陣”演進，靠一層動態索引來完成尋址。

更妙的是，研究發現不同 Transformer 層之間的動態分塊邊界高度相似，可以直接複用。這就大幅攤薄了動態尋址的開銷。最終，上層切得聰明，底層存得更省，中間尋址還不慢。▎第三層：破解硬件對齊的難題這也是三層中最難突破的一層。GPU 天然偏好規整、邊長能被 8、16、32 整除的矩陣運算，這也是全行業此前長期堅持固定分塊最現實的硬件原因。如果分塊大小參差不齊，專為矩陣計算打造的加速單元（如 Tensor Core）會大量空轉。針對這一問題，業界已經摸索出了可行的解法。比如，零填充算法既能在物理顯存層面，把長短不一的動態語義塊緊密拼在一起，不浪費空間。還能在邏輯上，保留每個語義塊的邊界。

目前，全球頂級 AI 實驗室正從 “語義連續性” 和 “稀疏計算” 兩個方向推進動態分塊技術，這項技術已經成為新一代長文本大模型提速、提質的核心突破口。其中最具代表性的成果是香港科技大學（廣州）團隊提出的 ChunkKV，它走的是“語義連續性”的路。過往，主流 KV 壓縮方法，無論是 H2O、SnapKV 還是 PyramidKV，核心思路都是給單個 Token 打分，保留重要的、丟棄不重要的。這種篩選很容易把一句完整的主謂賓拆得支離破碎。ChunkKV 的核心思路， 是以連續的語義塊為基本壓縮單位，要麼整塊保留，要麼整塊丟棄。留下來的都是完整的短語和句子。

在最考驗長文本檢索能力的 NIAH（大海撈針）基準測試中，當 KV 緩存大小限制在 128 時，基於 LLaMA-3 的 ChunkKV 準確率達到 73.8%，而傳統方法 SnapKV 只有 58.9%，這項技術直接補齊了大模型在長文本場景下“讀不懂、找不準”的短板，大幅提升了模型的實際可用性。除了 ChunkKV，像Jina AI肖涵博士團隊聚焦檢索場景優化，提出的延遲分塊方案，解決了傳統智能檢索“先切分文本、再解析內容”的致命問題，先讓模型完整讀完整篇文本，吃透全局內容和上下文邏輯，直到最後輸出結果前，再按照語義自然分界切分文本，最大程度保留完整信息。

在 “稀疏計算” 這塊，微軟亞洲研究院研發的 MInference 框架，專門適配百萬字級別的超長文本推理場景。團隊研究發現，大模型讀取長文本時，並不是每一處內容都需要精細計算，注意力矩陣存在可利用的固定稀疏規律。基於這個特點，這套框架會為不同注意力頭匹配最合適的稀疏計算方式。在完全不降低檢索準確率的前提下，百萬字長上下文的 prefill 預填充階段最高實現 10 倍加速。在長上下文上半場，大家為了比“誰能處理更長”，KV 壓縮技術可謂功不可沒。但長上下文的本質，從來不是為了長而長。當用戶開始真正用長上下文處理真實任務的時候，能用、好用、不丟信息就成為了新的 KPI。

參考鏈接：https://arxiv.org/pdf/2609.36322https://www.zhihu.com/question/2091513666864682278上車，帶你看遍全球 AI 頂會精華可獨家暢覽：專家演講PPT大會報告全文熱門論文解讀學術新星訪談掃描上方二維碼或點擊「閱讀原文」關注專區。