華為已為KV Cache單獨做存儲，專用SSD規格卻還沒定下來

推理的KV Cache，已經大到需要單獨管理了。這已經成為行業內越來越明確的共識。近日，華為全聯接大會上推出了華為OceanStor M900，英偉達也已經推出了CMX Context Memory Storage。這類AI記憶存儲產品，會將推理過程中已經產生、可能再次複用的KV Cache進行分層管理和存儲，在後續請求命中時減少相應的重複計算，這將直接節省有關算力開銷。有業者明確表示，即使緩存的命中率越來越高，繼續從90%向95%提升依然很有價值。但是，對於存儲價格“比金子還貴”的當下，單獨存儲一些可能複用的推理緩存，究竟是一筆什麼樣的賬單？

01從DRAM到SSD，換算不是1比1“KV Cache外置的核心邏輯就是‘以存換算’。”長期研究存儲的學者章衡告訴。以存換算，本質上是在計算成本和存儲成本之間找一個平衡點。已經算過的歷史KV，是直接丟掉、下次重新計算，還是保存下來，在後續請求命中時直接複用？現在行業給出的答案，顯然是後者。章衡舉例，假設KV Cache命中率從90%提高到95%，需要重新計算的部分就會從10%降到5%。“相當於重新計算的那部分算力開銷減少了一半。”章衡說。但命中率繼續提高，也意味著需要保存更多歷史KV。尤其到了高命中率區間，為了再覆蓋最後幾個百分點的長尾數據，所需存儲容量可能明顯增加。

要算的第一筆賬，是這些KV Cache值不值得存。在某頭部存儲廠商負責人李輝看來，不同應用的數據生命週期差異很大。有些消費端應用中的KV Cache可能幾分鐘或一兩個小時後就被清理。而部分企業端應用更看重上下文的持續性，KV Cache的數據生命週期也可能更長。對這類業務來說，讓歷史KV跨請求保留更久、供後續複用的價值也更高。第二筆賬則是存在哪裡。李輝認為，如果DRAM足夠便宜、供應也充足，全部放在DRAM裡當然最省事，性能也最好——但現實是DRAM既貴又缺，這給SSD留下了空間。但這種替換不是簡單的把1TB DRAM簡單換成1TB SSD。

一方面，李輝表示，從整體成本來看，DRAM和SSD之間不是1:1的替換，而是“1:N”，在一些方案中甚至可能達到一比五、一比十。另一方面，按相同容量計算，李輝估算DRAM與企業級SSD的成本可以相差數十倍。正是這種價差，讓內存卸載從過去資源不足時的“兜底手段”，逐漸進入新系統的初始設計。（關於DRAM、SSD的實際應用，歡迎添加作者微信 treelog10 分享、交流）企業雖然能用更便宜的SSD替代部分DRAM容量，但需要增加的SSD規模也會更大，最終仍要同時計算容量、性能和採購成本。章衡則告訴，現階段多數推理場景還沒有到必須增加獨立KV存儲設備才能運行的程度。

企業通常會先利用已有的DRAM、內存池和本地SSD，再逐步考慮外部存儲。“肯定是先把服務器內已有的資源用滿。”章衡說。華為M900和英偉達CMX的出現，則說明這種原本更多發生在服務器內部的KV分層，已經開始進一步走向獨立的共享存儲層。02KV需求冒頭，SSD標準卻沒跟上獨立KV存儲設備已經出現，但真正承接這些KV Cache的SSD，還沒有形成一個成熟、統一的產品品類。李輝告訴，現在行業已經開始討論面向AI推理、尤其是KV Cache負載優化的SSD，但真正落到採購端，大多數客戶買的仍然是普通企業級SSD。“現在業內都在聊這個趨勢，但還沒有一個標準化、大規模上量的產品。”李輝說。

目前市場上更多還是三星、閃迪、美光等廠商的傳統企業級SSD。原因並不是SSD本身做不出來，而是KV Cache究竟會給SSD帶來什麼樣的負載，行業還沒有完全摸清楚。李輝舉例，他接觸到的一類相關方案，最初對SSD耐寫能力的要求大約是3 DWPD，後來又提高到9 DWPD。DWPD即Drive Writes Per Day，表示一塊SSD每天能夠承受多少次整盤寫入。“有可能明天變12，後天又變成5。”李輝說。指標之所以會反覆變化，首先取決於KV Cache到底要保存多久。如果一批緩存只保存幾分鐘，數據需要頻繁更新，SSD每天承受的寫入壓力會更高，對耐久度的要求也隨之上升。

但如果數據需要保存幾個星期，寫入頻率下降後，耐寫能力反而不再是主要矛盾，容量需求會更加突出。李輝提到，現在不同業務中的數據生命週期可能從分鐘、小時，一直延伸到天甚至周。在應用形態和數據生命週期還沒有穩定下來的情況下，SSD究竟需要多大的容量、多高的耐久度，以及怎樣的性能指標，也很難提前確定。對於存儲廠商來說，SSD本身是一個高度依賴規模的產品。“如果沒有標準化，這個市場就很難形成規模。”李輝坦言。如果不同客戶根據自己的業務分別定義一套SSD規格，產品就很容易停留在定製化階段，無法形成足夠大的統一市場。李輝舉例，如果頭部互聯網大廠最終需要的產品都不一樣，存儲廠商很難依靠單一規格獲得規模。

所以現在，行業還需要時間在不同方案之間磨合，等實際負載逐漸收斂之後才可能形成更統一的產品標準。按李輝的估算，行業形成較統一的產品共識可能還需要6至12個月；即使標準確定，後續產品開發、驗證和優化還可能再花約1年。李輝還提到，北美市場已經有客戶因為AI推理和KV Cache增加SSD採購；中國市場也開始出現加單，但速度相對更慢，目前國內SSD需求的大頭仍在訓練和常規推理，KV Cache相關需求還在方案階段。（有關SSD的市場採購現狀，歡迎添加作者微信 treelog10 分享、吐槽）“KV Cache未來的確可能成為企業級SSD的重要增量之一，但這塊市場目前仍處於‘百花齊放’的階段。”李輝說。

03存儲壓力下去了，搬運成本還在既然這麼多歷史KV Cache被搬走，HBM和DRAM的工作負載有沒有被緩解呢？目前最直接緩解的，是DRAM的負載壓力。章衡告訴，外置KV緩存的目標之一，是減少服務器對大容量DRAM的依賴。“核心目標其實是換內存，不是要換顯存。現在內存太貴了，那不如少買點內存，多買點SSD。”章衡笑言。在這類方案裡，原本需要長期留在DRAM中的一部分歷史KV，可以繼續下沉到SSD，從而減少內存配置。相比之下，KV Cache外置對HBM的緩解沒有那麼直接。章衡認為，外部存儲更多影響的是首Token延遲。

歷史KV從外部存儲調回來的速度，會影響模型多久開始生成首個Token；而一旦開始生成Token，相關KV已經回到顯存，後續生成速度仍然依賴高速顯存。李輝也提到，隨著不同存儲層級之間的價差和供應差異擴大，分層和卸載正在更早進入推理系統的設計。但把歷史KV放到更大容量的存儲裡，只解決了容量和成本問題。當前推理過程中，模型權重和數據仍然需要不斷搬運。SSD解決的是存得下、存得有性價比，但它解決不了搬得夠不夠快。AI芯片公司創始人顧淮告訴，存算一體（CIM）試圖減少的，正是模型權重和當前數據的搬運開銷。

在傳統推理架構中，模型權重和中間數據需要在存儲單元與計算單元之間頻繁移動；存算一體則希望把部分計算儘量放到數據附近完成，減少反覆搬運帶來的開銷。當前請求為了快速生成Token，相關數據會放在DRAM、或者更靠近計算單元的SRAM中；模型權重和KV等數據如果能夠在靠近計算的位置被重複利用，就可以減少反覆搬運。顧淮認為，這種優勢在Prefill階段尤其明顯，高併發場景下，同一組模型參數可以服務多個請求。顧淮以100路併發舉例，同一組參數可以被多個請求複用，因此不需要為每個請求重複搬運一遍。“併發數越多越好。”顧淮說。

到了Decode階段，不同請求使用的KV緩存並不完全相同，能夠在請求之間重複利用的數據更少。因此，存算一體在這一階段的收益沒有Prefill明顯。在顧淮看來，如果未來存算一體進入服務器，一個直接作用是降低首Token延遲，並支撐更高併發。但是，存算一體並不能替代歷史KV Cache的存儲需求。歷史對話產生的大量KV仍然需要SSD等大容量介質保存，後續請求再次命中時，再把需要的數據調回當前計算路徑中。“歷史對話的KV Cache還是要存在SSD裡，否則存儲量太大。”顧淮說。那麼，再次回到那個問題，存儲那些可能被複用的推理緩存，到底是一筆怎樣的賬單？

它並不是簡單地多花一筆存儲成本，就能等額省下一筆算力成本。KV Cache保存多久、能夠被複用多少次、使用什麼介質，以及調取過程中還要付出多少數據搬運成本，都在影響最終選擇。大模型記住過去，基礎設施也開始為“記憶”買單。（關於單獨管理KV Cache的行業難題、困境，歡迎添加作者微信 treelog10 分享、吐槽）* 文中章衡、李輝、顧淮均為化名。▼推薦閱讀▼獨家解讀丨國產GPU四份半年報出爐，賺錢後才發現二級市場「難哄」2026-09-08新雲廠商發現，最賺錢的可能不是賣GPU2026-08-25