把512 GiB閃存搬到xPU旁邊，HBF能打破推理內存牆？

HBM的發展歷程已經證明，透過堆疊與共封裝技術將儲存介質遷移至GPU附近，確實能有效緩解AI運算中長期存在的資料搬運瓶頸。如今，這套思維正式被延伸到NAND快閃記憶體領域。SK海力士與閃迪聯手，提出名為High Bandwidth Flash（HBF）的新方案，目標是將大容量閃存直接放到包括GPU在內的各類xPU旁，試圖從根本解決AI推理階段日益嚴峻的記憶體牆問題。雙方近日透過開放運算計畫（OCP）發布了《High Bandwidth Flash（HBF）High-Level Base Die Specification, Version 0》規範文件。

值得注意的是，谷歌與Tenstorrent也在致謝名單中，被列為此規範的重要反饋與建議提供方，顯示這項技術標準的制定已獲得產業界多方關注與參與。這份長達約130頁的規範文件，首次明確界定了HBF在系統中的位置、邊界與必須付出的代價。從技術定位來看，HBF恰好落在HBM與SSD之間，屬於緊鄰xPU、由Base Die與主機軟體共同管理的大容量閃存架構。它並非取代現有儲存層級，而是填補了高效能運算中，介於極高速但容量有限的HBM，與容量大但延遲高的SSD之間的空白地帶。

HBF的應用範圍也從最初設想的靜態模型權重，進一步延伸至更廣泛的推理場景，包括KV Cache、多模型並存、混合專家模型（MoE）以及AI Agent工作負載。這意味著HBF的設計目標不只是單純存放大型語言模型的參數，更希望成為AI推理過程中，各類動態資料與中間結果的高速暫存平台，讓xPU在處理複雜任務時，不必頻繁向遠端的SSD或記憶體請求資料。然而，NAND閃存本身的物理特性並未因為HBF的出現而消失。寫入延遲、耐久度限制以及區塊管理上的複雜度，這些先天約束依然存在。

HBF架構的關鍵在於，它並未試圖消除這些限制，而是將這些複雜性轉移到Base Die與加速器的軟體棧上，透過底層硬體與上層軟體的協同設計，讓xPU得以在享受大容量快閃記憶體帶來的頻寬優勢之際，同時避開NAND管理上的繁瑣細節。從系統角度來看，HBF的出現反映了AI推理工作負載的深刻變化。過去，模型權重被視為靜態資料，可以預先載入記憶體；但如今，隨著上下文長度不斷擴展、多模型並行以及Agent式互動的興起，推理過程中的資料流動變得更加動態且不可預測。傳統的記憶體階層設計，在面對這類工作負載時，往往會因為資料搬運的延遲而成為整體效能的瓶頸。HBF的設計初衷，正是為了應對這種動態需求。

透過將大容量NAND閃存以高頻寬方式直接連接至xPU，HBF能讓加速器在處理推理任務時，更快速地取得所需的權重與中間資料，減少等待時間。這對於需要頻繁切換模型或處理長序列的應用場景，尤其具有實際意義。不過，HBF的實現並非沒有挑戰。NAND的寫入速度與耐久性遠不如DRAM，這意味著HBF在讀取密集的推理場景中能發揮優勢，但在需要頻繁寫入的訓練或更新場景中，則可能受限。因此，規範中將HBF定位為介於HBM與SSD之間的補充層級，而非替代方案，這也反映了設計者對NAND物理特性的務實考量。軟體棧的設計將是HBF能否成功的關鍵之一。

由於NAND的管理複雜性被轉移至Base Die與主機軟體，如何設計一套高效、低延遲的資料管理機制，讓xPU能無縫地使用這塊大容量閃存，將是工程上必須克服的難題。這也解釋了為何谷歌與Tenstorrent等具備深厚軟體與加速器設計經驗的廠商，會被納入規範的制定過程。整體而言，HBF的發布標誌著AI儲存架構的一個重要演進方向。它不再將記憶體與儲存視為兩個截然不同的層級，而是試圖透過共封裝與高速介面，打造一個更連續、更靈活的資料存取環境。這項技術能否在實際系統中發揮預期效益，仍需視後續硬體實作與軟體生態的成熟度而定，但其提出的思路，確實為AI推理的記憶體瓶頸提供了一條新的解決路徑。