AI SSD：大模型推理的存儲範式轉移

**AI SSD：大模型推理的存儲範式轉移**

過去兩年，AI基礎設施的競爭焦點始終圍繞GPU數量、芯片算力、HBM帶寬與高速網絡展開。然而，隨著大模型進入長上下文、複雜推理與多智能體階段，決定一套系統能產出多少有效Token的因素，已遠不止於計算峰值。GPU依然是算力底座，但其實際利用率越來越取決於模型權重、KV Cache與MoE專家能否在正確的時間抵達正確的計算節點。若KV Cache無法及時複用，系統便需重新執行昂貴的Prefill；若MoE專家權重未在路由發生前進入內存，GPU只能空轉等待；若大量推理狀態長期佔據HBM，又將壓縮併發請求與有效批處理的空間。

AI基礎設施由此正從“堆疊計算資源”邁向“協同計算、網絡、內存與存儲數據路徑”的新階段。這一變化的兩個代表性信號，分別來自月之暗面的Mooncake與NVIDIA推出的CMX。月之暗面從大規模推理軟件架構出發，將分散在集群中的CPU、DRAM、SSD和NIC組織為可調度的KV Cache資源；NVIDIA則進一步在Vera Rubin基礎設施中建立專門的Pod級Flash上下文層。二者尺度和實現方式不同，卻共同指向一個趨勢：推理狀態正在成為AI基礎設施中的一級資源，存儲也開始進入Token生成的實時主鏈路。**Mooncake：把KV Cache變成獨立的基礎設施資源**

Mooncake最重要的產業意義，並不在於為Kimi構建了一套新推理服務系統，而是改變了大模型基礎設施對“數據”的組織方式。傳統推理節點往往把GPU、CPU、DRAM和本地SSD視為一臺服務器內部的固定資源，KV Cache主要跟隨請求和GPU實例存在；一旦緩存被驅逐或請求遷移，已完成的Prefill計算便可能失去複用價值。上下文越長，重複計算和昂貴GPU資源的浪費就越明顯。

Moonshot AI與清華大學發表於USENIX FAST ’25的Mooncake，採用以KV Cache為中心的分離式架構，將Prefill與Decode部署在不同資源池中，並把GPU集群中未被充分利用的CPU、DRAM、SSD和NIC組織成分佈式KV Cache池。位於中心的Conductor不再只根據GPU負載分發請求，而是結合KV Cache分佈、緩存命中、節點負載以及TTFT、TBT等服務目標，決定緩存複用、Prefill執行和Decode調度。

Mooncake的請求流進一步說明了這種變化：可複用的Prefix KV Cache先被送至合適的Prefill實例，新增KV Cache隨模型各層計算持續生成，再與Prefill計算重疊，異步流送到目標Decode節點；緩存到齊後，請求才進入連續批處理。Mooncake Store負責KV塊的放置、複製、淘汰和生命週期管理，Transfer Engine則通過RDMA、多NIC帶寬聚合與拓撲感知路徑選擇連接不同計算和存儲層。Mooncake論文將這一思路概括為“用更多存儲換取更少計算”。

在真實請求軌跡和不同TBT約束下，Mooncake相對於基線系統提高了59%至498%的有效請求承載能力；論文發表時，其生產系統已運行於數千個節點，每日處理超過1000億Token。更值得AI SSD產業關注的是，Mooncake官方文檔已將DRAM與SSD/NVMe明確納入多級緩存，並給出從內存向本地SSD卸載的路徑：從內存淘汰的對象可在後臺進入SSD，內存未命中時再從SSD回讀。上層系統解決“何時遷移、遷到哪裡”，設備側則需解決尾延遲、並行搬運、持續負載、耐久與推理生命週期協同的問題。SSD因此不再只是模型啟動前的文件來源，而成為TTFT、吞吐與服務SLO共同約束的推理數據層。

**CMX：NVIDIA在HBM與共享存儲之間增加G3.5層**

Agent時代進一步改變了AI基礎設施的優化對象。一次複雜請求不再只是一次模型前向，還可能展開為模型調用、工具執行、記憶檢索、數據訪問和多輪推理組成的長鏈路。KV Cache也由GPU內部的臨時狀態，轉變為需要跨節點移動、共享和複用的基礎設施數據。GPU能否持續獲得正確的上下文，開始與GPU本身能算多快同樣重要。在NVIDIA給出的分層體系中：G1是GPU HBM，用於保存參與當前Token生成的熱KV Cache；G2是系統內存，承擔交換和暫存；G3是本地SSD，用於承接短期可能複用的溫數據；G4則是面向持久化數據的共享文件或對象存儲。

隨著智能體上下文延伸至多輪對話、工具調用和跨任務狀態，G1至G3的容量很快受到限制，而G4的訪問時延和通用數據服務開銷又不適合頻繁進入Decode路徑。NVIDIA CMX Context Memory Storage Platform由此在二者之間增加了一個被稱為“G3.5”的層級：通過以太網連接、以Flash為介質、面向KV Cache優化的Pod級上下文內存。它主要承載短暫、派生、可重新計算但延遲敏感的推理上下文，而非取代用於長期知識、日誌和業務記錄的G4持久化存儲。CMX的意義並不只是給GPU Pod外掛一組大容量SSD。

Dynamo的KV block manager與NIXL負責KV塊跨層編排和搬移；DOCA Memos提供面向上下文緩存的通信、元數據、放置與共享能力；BlueField-4把KV I/O、隊列、預取、完整性與加密等操作下沉到靠近網絡和NVMe Flash的位置；Spectrum-X Ethernet則提供RDMA數據通道。當Decode即將使用某組KV塊時，系統可以提前將其從CMX預置到系統內存或GPU HBM，以減少GPU等待和歷史上下文重算。

據NVIDIA披露，CMX可在單個GPU Pod內提供PB級共享上下文容量，面向長上下文和智能體負載的持續Token吞吐與功耗效率最高可達傳統存儲方案的5倍。這一數據屬於廠商發佈口徑，實際收益仍會受到模型、緩存命中率、網絡和調度策略影響，但CMX釋放的產業信號已經十分明確：Flash開始被GPU平臺廠商定義為AI推理內存體系中的正式一層。**AI SSD的兩類分化：強化型與推理參與型**

Mooncake與CMX並非同一種產品，但兩者共同說明，AI Infra正在形成新的系統邊界：計算芯片負責執行算子，網絡連接資源，存儲則需要參與推理狀態的放置、遷移和複用。把SSD納入推理基礎設施，並不意味著任意一塊傳統SSD都能穩定承擔Token生成鏈路中的任務。傳統SSD主要圍繞順序帶寬、隨機IOPS、可靠性和單位容量成本進行設計；LLM推理需要的卻是帶有嚴格時序約束的數據供應。KV Cache在Prefill階段集中生成，並在後續對話或智能體步驟中被再次讀取；MoE模型在每一層只激活部分專家，卻需要保存遠大於當前顯存或內存容量的專家權重。

數據即使最終能從SSD讀出，只要沒有趕上模型的計算窗口，GPU、NPU或CPU仍會進入等待。這種矛盾還會延伸至SSD內部：NAND Flash以頁為單位讀取、以塊為單位擦除，FTL需要執行地址映射、垃圾回收和磨損均衡，持續寫入KV Cache可能帶來寫放大、壽命壓力和難以預測的尾延遲。傳統LBA排布也不理解模型層、KV塊、MoE專家及其執行次序之間的關係；邏輯上相關、即將共同使用的數據，在物理介質中未必形成適合並行讀取的佈局。因此，AI SSD不能只用“更高峰值帶寬”定義。

它至少需要解決兩個層面的問題：一是提供更低延遲、更高耐久性和更穩定尾延遲的介質與I/O能力；二是通過主控、固件、中間件乃至推理運行時的協同，讓SSD參與數據分層、緩存管理和預測式預取。市場上的相關產品也由此逐漸分化為兩類。第一類是AI負載強化型企業級SSD，仍保持標準塊存儲設備形態，但圍繞AI集群的高頻緩存、模型加載和大容量數據調整性能、耐久性與容量指標。英韌科技洞庭-N3X採用低時延、高耐久介質，重點面向KV Cache卸載和高頻臨時數據讀寫；華為OceanDisk LC 560則以超大單盤容量和順序讀取能力承載模型、語料和向量數據。

第二類“推理參與型AI SSD”則更進一步：它們試圖讓SSD從被動響應塊設備命令，走向參與模型權重、KV Cache和MoE專家的運行時管理。群聯、江波龍以及寅譜—聯芸，是當前較有代表性的三條路線。**三條推理參與型路線：節點緩存、存儲側智能與跨層協同**

群聯aiDAPTIV的核心產品形態，是專用緩存SSD、內存管理中間件和工具鏈的組合。其目標不是單獨提供一塊高性能存儲盤，而是把SSD組織成GPU顯存之外的高容量緩存層。當模型權重超過VRAM容量時，系統把權重切分為數據塊，根據執行進度在SSD與VRAM之間流式搬運，使當前需要計算的部分留在GPU附近，暫時不活躍的數據下沉至Flash。SSD還可以保存被顯存驅逐的KV Cache，後續出現相同上下文時再將其取回，減少重新執行Prefill的成本。

從AI Infra角度看，群聯路線的特點在於產品邊界清晰：專用高耐久緩存盤負責容量和持續寫入，中間件負責數據交換，經過驗證的工作站或服務器配置負責部署交付。群聯官方資料給出的專用緩存SSD耐久性最高達到100 DWPD，把雲側常見的“以存儲擴展計算內存”思路壓縮到單機和小型集群中，形成較直接的部署路徑。江波龍的路線更強調SSD主控自身的處理能力。其架構以SPU作為硬件執行層，以iSA作為軟件決策層：iSA感知推理負載並制定數據分層與預取策略，SPU負責存儲控制、硬件壓縮、高速緩存和具體的數據搬運。

根據江波龍公開材料，其WM8500 SPU採用5nm工藝，並引入存內無損壓縮、HLC高級緩存和混合NAND調度。HLC用於讓SSD承接原本保存在DRAM中的溫冷數據，混合NAND則按照冷熱程度在高速緩存區和大容量介質區之間分配數據。這一方案體現的是“存儲側智能化”：控制器不再只執行主機發出的標準讀寫請求，也開始承擔壓縮、冷熱識別、緩存劃分和調度執行，重點面向AI PC、工作站和端側智能設備。寅譜與聯芸則構成了另一種組合。聯芸提供NAND Flash、SSD主控、固件及產品適配基礎；寅譜則從大模型推理芯片、近存計算、操作系統和主板級協同控制出發，將計算側的數據分層與調度技術延伸到SSD。

在本文討論的三條路線中，寅譜是唯一一家以AI Native身份而非SSD Native身份進入AI SSD的企業。它並非從傳統SSD、NAND模組或存儲主控業務向AI延伸，而是以AI推理、計算芯片和系統協同為起點。這種背景使其對AI Infra的理解首先來自模型執行、數據流和調度，而不是從單盤容量或峰值IOPS出發。寅譜推行的software-defined chip和近存計算，並不是單純依靠軟件代替芯片，而是讓芯片能力通過主控、固件、運行時和系統軟件之間的協同持續被定義。

在AI推理中，數據是否需要駐留、何時預取、放在哪一級介質，以及如何與模型執行順序匹配，往往無法只由一顆傳統SSD主控獨立決定。寅譜-聯芸方案因此嘗試貫通計算側緩存體系、middleware、firmware、controller和NAND介質管理。該方案圍繞MoE專家、KV Cache和數值精度三個維度進行數據切分、冷熱分層、並行搬運和預測式預取：一方面根據模型執行過程調度專家權重與KV Cache，另一方面將模型數據中的不同精度部分按照訪問熱度進行特殊存放和讀寫。其設計目標還包括減少對模型文件和主流推理框架的侵入，並適配不同CPU、GPU、NPU及SSD模組形態。

這條路線的AI Infra屬性相對突出：它不把AI SSD理解為孤立設備，而是把SSD視為雲側、邊緣側和端側推理數據路徑中的可調度層級。相應地，它需要同時處理模型、運行時、操作系統、固件、主控和NAND之間的接口，軟硬件協同範圍更廣，研發與驗證成本也更高。聯芸已公開提出，AI推理正在推動SSD主控從傳統“數據通道”走向面向Token成本的智能調度；其消費級與工業級主控產品基礎，以及向AI推理主控方向的延展，也為相關技術進入不同模組和整機形態提供了產業化條件。**AI SSD競爭，最終會成為完整數據路徑的競爭**

群聯、江波龍和寅譜—聯芸並不只是採用了三種不同的SSD技術，它們也代表三種不同的AI基礎設施切入方式。群聯從專用緩存盤和中間件切入，強調可部署的顯存與內存擴展；江波龍從SPU和iSA切入，把更多調度與壓縮能力放入存儲側；寅譜—聯芸則從計算與存儲協同切入，試圖讓SSD的數據組織方式更直接地匹配模型執行過程。三者並非簡單的替代關係，也可能分別適用於工作站、AI PC、邊緣設備、企業節點和雲側基礎設施中的不同位置。從更長的產業週期看，AI SSD的門檻不會只體現在某個主控規格或某項峰值性能。

真正決定產品能否進入推理主鏈路的，是企業能否建立從NAND介質、FTL、固件、驅動、中間件到推理框架和整機驗證的完整協作體系。模型兼容性、緩存命中率、尾延遲、預取準確率、寫入壽命和跨平臺適配數據，都需要通過長期工程實踐積累。Mooncake和CMX已經在集群與Pod層面說明，推理狀態值得被單獨組織和調度；AI SSD則把這一變化進一步帶到節點和設備內部。它不會取代HBM、VRAM或DRAM，而是推動一套更細緻的存儲層級形成：最熱的數據留在計算芯片附近，溫數據進入DRAM或高性能Flash，冷數據下沉至容量更大、成本更低的層級，並由軟件和硬件共同決定數據遷移時機。

當AI產業從模型能力競賽走向大規模應用，基礎設施最終需要回答的不只是擁有多少FLOPS，還包括每瓦電力能夠生成多少有效Token、每張GPU有多少時間真正參與計算，以及一段已經計算過的上下文能否低成本複用。沿著這一方向，算力、網絡、內存和存儲之間的邊界將繼續模糊，AI SSD也有機會從外圍設備進入AI Infra的核心數據路徑。