存力接棒算力，HBM為什麼“脫穎而出”？

隨著AI模型規模持續擴大，運算需求早已不僅僅仰賴GPU的算力提升，記憶體頻寬與容量逐漸成為決定系統效能的關鍵瓶頸。業界開始喊出「存力接棒算力」的口號，而高頻寬記憶體（HBM）正是在這個轉折點上站上舞台中央，成為各大半導體巨頭爭相布局的焦點。過去幾年，AI訓練與推理任務對算力的追求近乎瘋狂，但硬體工程師很快發現，單純增加運算核心數量並不能線性提高實際效能。當資料在GPU與記憶體之間來回搬運時，傳輸路徑的窄化與延遲會形成嚴重制約，也就是所謂的「記憶體牆」。

傳統的DDR或GDDR記憶體在頻寬與功耗效率上逐漸跟不上AI晶片的胃口，而HBM透過矽穿孔與堆疊技術，將多層DRAM晶片垂直疊合，並以寬度極大的內部匯流排與處理器相連，從根本上解決了頻寬不足的問題。HBM的誕生其實最早是為了因應高階繪圖與高效能運算場景，但真正讓它從備選技術變成必備方案的，是生成式AI的爆發。大型語言模型在推論時需要載入數百億甚至數千億個參數，這些參數必須存放在離運算單元盡可能近的記憶體中。如果記憶體頻寬不夠，GPU就會長時間處於閒置等待狀態，運算效率大幅下降。HBM不僅能提供每秒數TB的頻寬，還能以相對低的功耗完成大量資料傳輸，這使得它成為AI加速卡上不可或缺的一環。

目前市場上的主流AI晶片，包括NVIDIA的H100、B200系列，以及AMD的MI300系列，都全面採用HBM作為輔助記憶體。NVIDIA在最新的Blackwell架構中更進一步引入HBM3e，將單一GPU的記憶體頻寬推向前所未有的水準。AMD也不甘落後，在MI300X上採用HBM3，並透過自訂封裝技術將記憶體容量拉高到192GB，試圖在推理場景中與對手一較高下。這場晶片大戰背後，HBM的供應穩定性與技術迭代速度已經成為左右戰局的關鍵變數。從記憶體製造商的視角來看，HBM的崛起也意味著全新的賽道與利潤結構。

三星、SK海力士與美光三大龍頭近年大力擴產HBM產能，並投入巨資研發下一代HBM4技術。SK海力士更是率先量產HBM3e，搶下NVIDIA的大筆訂單，讓其在記憶體市場的毛利率顯著提升。分析指出，HBM的單價遠高於傳統DRAM，而且技術門檻極高，能夠有效拉開競爭對手的差距，因此各家無不傾全力押注。不過HBM並非沒有挑戰。封裝良率一直是量產的痛點，因為多層晶片堆疊需要極高的精度與散熱設計。此外，HBM的記憶體容量雖然已經達到GB等級，但對於未來千億參數規模的模型來說，依然可能成為新的瓶頸。業界正在探索將運算與記憶體更深度整合的架構，例如運算近記憶體或記憶體內運算，試圖從根本上減少資料移動的開銷。

但在此之前，HBM仍然是平衡算力與存力最成熟的解決方案。值得注意的是，HBM的應用範圍也正在從AI加速器向外擴散。高效能運算、高階網路交換器、甚至部分先進汽車電子系統都開始評估導入HBM的可能性。過去因為成本過高而僅限於少數旗艦產品，如今隨著量產規模擴大與製程成熟，HBM的價格正在逐步下降，未來可能滲透到更多對頻寬有極高要求的場景中。回到「存力接棒算力」這個命題，背後反映的是整個AI基礎設施架構的思維轉變。過去大家總想著把計算做得更快，現在則意識到記憶體與儲存層級的設計同樣決定著系統的實際表現。HBM之所以能脫穎而出，正是因為它精準抓住了這個從純算力競賽轉向算存平衡的歷史機遇。

隨著更多晶片廠商與雲端業者開始客製化記憶體方案，HBM的技術演進與商業前景才剛剛揭開序幕。