為什麼手機內存進入英偉達機櫃後,貴過HBM?

2026年8月24日 08:41
站內 AI 整理稿

過去長期由HBM主導的AI服務器內存賬單,正在被“手機內存”改寫。8月11日,外媒Wccftech援引美國銀行(BofA)測算稱,英偉達面向Vera Rubin Ultra NVL144的Kyber機櫃將配置124.4TB HBM4E,成本約為250萬美元;同櫃216TB LPDDR5X雖然單價更低,但總成本趨近280萬美元,超出前者約12%。LPDDR5X原本主要用於手機等移動設備,例如iPhone 17 Pro搭載12GB LPDDR5X內存。如果做一個換算,Kyber單櫃所使用的相當於約1.8萬部手機的運行內存總量。這並不是LPDDR第一次走進數據中心。

早在Grace CPU時代,英偉達就已經開始用LPDDR5X代替傳統服務器使用的DDR。三年後,新一代Vera CPU內存不僅形式發生改變——SOCAMM2(Small Outline Compression Attached Memory Module 2,小型壓接式內存模塊)將原本固定式設計升級為可拆卸、可維護的服務器內存模塊,單顆CPU的LPDDR5X容量也從GB級別提升至TB級別(1TB=1000GB)。這個原本為手機等端側設備而設計的兼顧帶寬、容量和功耗的產品,正在迎來和HBM相似的境遇——越來越貴的同時,也越來越稀缺。01為何曾經的手機內存能跑進AI服務器?

答案在於CPU的核心數持續增加,以及智算、超算等工作負載的數據量不斷攀升。這些壓力傳導到內存端,轉化為對更大容量和更高帶寬的明確需求。然而,傳統服務器主內存所採用的DDR5 RDIMM(寄存式雙列直插內存模塊),很難在控制功耗的同時,滿足CPU對極致內存吞吐能力的追求。圖源ServeTheHome YouTube頻道於是,英偉達開始另闢蹊徑,瞄準LPDDR這類低功耗手機內存。首款數據中心CPU Grace首次應用的LPDDR5X,圍繞CPU佈置了多個內存通道,提供遠高於手機場景的總帶寬。

按照官方2023年披露的數據,相比當時典型的服務器DDR5內存方案,Grace的LPDDR5X在成本相近的情況下,帶寬最高可提升53%;提供同樣1GB/s帶寬,所需的功耗也只有前者的約八分之一。美光與Meta最新的聯合測試更直觀地展示了瓶頸如何被LPDDR5X解決:一項AI數據整理任務的吞吐量,在內存速度提升後增加了11%;當容量翻倍、避免中間數據頻繁寫入SSD後,大數據分析任務速度甚至提高到原來的2至3倍;在其中一項AI任務中,LPDDR5X本身只佔整機功耗的6.8%。當手機內存被搬進服務器,性能與功耗之間的平衡得以被維持。

但下一個問題隨之而來:傳統移動設備的安裝方式,未必適配服務器的工作節奏。為了縮短信號路徑、降低傳輸損耗,Grace將LPDDR5X固定在CPU計算模塊上。這種設計往往意味著LPDDR5X一經損壞,就需要更換承載內存的整塊計算板,並不符合服務器需要連續運行多年、故障部件必須能在現場快速替換的特性。除此之外,供應端的靈活性也被削弱。在整機廠必須提前鎖定內存容量和顆粒規格的情況下,已交付的服務器難以完成後續的迭代升級。一旦某種顆粒供應緊張,廠商也很難像更換RDIMM那樣自如調整配置。於是,將LPDDR5X模塊化的SOCAMM應運而生。

但它沒有繼承DDR5 RDIMM的佈局思路,而是借鑑了輕薄本內存的CAMM(壓接式內存模塊)設計:傳統RDIMM採用豎向插槽,雖然拆換方便,但由於內存條較高,會佔用CPU周圍的立體空間;平鋪加壓接的方案,不僅保留了可拆換性,還大大降低模塊高度,為CPU周圍的散熱部件和更多LPDDR5X模塊留出空間。圖源Micron官網據美光測算,同等容量下,首代SOCAMM可提供RDIMM 2.5倍以上的帶寬,佔用面積約為後者的三分之一;其後續SOCAMM2的功耗也約為等容量RDIMM的三分之一。在機架總能耗的約束下,SOCAMM的低功耗優勢還在被放大。

英偉達官方數據披露,一個GB200計算節點中的4個GPU模塊(含計算及其配套HBM)最大功耗合計5.6kW,約佔該節點6.7kW最大功耗預算的84%。當GPU模塊已佔據AI機架的大部分用電預算,CPU內存的擴展不得不精打細算,而SOCAMM恰好擊中痛點。因此,也不難理解為何英偉達會連續押注從LPDDR到SOCAMM的CPU內存賽道。不過高帶寬、低功耗、大容量的性能優勢只說明瞭這條路線的可行性,卻解釋不了它正在發生的另一面——當AI系統動輒消耗TB級別的LPDDR用量、更多廠商陸續下場押注,過去主要由手機週期主導價格和庫存的邏輯,開始發生改變。

02當只有六成需求被滿足,英偉達或將減配CPU側LPDDR的擴張,已經直接寫進了英偉達新一代產品規格。3年前開始商用的Grace CPU,單顆最高配置480GB LPDDR5X;到了Vera,這一數字提高到1.5TB,是前者的3倍多。放到整套系統裡,Vera Rubin NVL72的36顆Vera CPU合計配置54TB LPDDR5X,而美國銀行對下一代Kyber機櫃的測算進一步來到216TB。容量一路向上,並不只是為了堆參數,而是為了匹配計算系統日益繁重的工作量。Agent興起後,CPU要承擔的工具調用、代碼運行和數據庫訪問不再是一次性動作,而是在單次任務中反覆發生,並行任務也隨之增加。

CPU需要處理和搬運的數據更多,對內存容量和帶寬的要求自然提高。CPU與GPU之間的內存分工也同步在施壓。通過一致性互連,一部分原本集中在GPU側的容量壓力被轉移到CPU側,有限且昂貴的HBM空間則留給對帶寬更敏感的數據。當兩股需求最終都指向更大的內存容量和更高的傳輸帶寬,存儲廠也在順著這一趨勢繼續提高SOCAMM容量。目前三大DRAM原廠均已進入SOCAMM2量產階段,美光還採用單顆32Gb(約4GB)的LPDDR5X裸片,將單模塊SOCAMM2容量進一步提高到256GB,目前處於客戶送樣階段。英偉達也不是唯一開始在服務器CPU上擴大LPDDR使用範圍的芯片廠商。

今年4月,AMD表示計劃在2027年推出支持LPDDR5X SOCAMM2的CPU,並將其作為未來Instinct GPU的配套主機。TrendForce同時稱,英偉達之外的ASIC開發商也已經開始評估低功耗DRAM。其預計,到2028年至2030年,AI服務器生態甚至可能超過智能手機,成為全球最大的LPDRAM(所有低功耗的內存產品的統稱,包含LPSDRAM、LPDDR4、LPDDR5、LPDDR5X等)單一終端市場。SOCAMM本身也在從英偉達率先採用的方案走向更廣泛的行業標準。今年6月,全球內存與固態技術標準的制定機構JEDEC正式規定SOCAMM2的電氣與機械要求。

這意味著更多廠商可以按照統一規範開發模塊和平臺。但在新買家尚未大規模入場的當下,SOCAMM所依賴的LPDDR5X供應已經趨緊。TrendForce今年1月指出,DRAM原廠正把先進製程和新增產能更多轉向服務器內存(主要指傳統DDR5路線)與HBM,留給LPDDR等其他產品的供給空間隨之收窄。除此之外,即便手機市場處在傳統淡季,LPDDR5X依然供不應求,價格繼續上漲。這意味著同源的SOCAMM也很難倖免。而SemiAnalysis還指出,做成服務器模塊的LPDDR5X,還要再疊加更復雜的產品開發和更長的導入週期。

基於此,根據其Memory Model的進一步估算,英偉達2026年第一季度採購SOCAMM的合同價格約為8美元/GB,較2025年第四季度明顯上漲,也高於同期約6至7美元/GB的移動端LPDDR5X。SemiAnalysis同時預計,到2026年末SOCAMM的價格可能超過13美元/GB。價格上漲還只是第一層影響。當有限的LPDDR5X不足以填滿所有Vera CPU,供應挑戰將進一步演變為分配難題。面對緊張的供應問題,連英偉達都不得不考慮將SOCAMM減半。

最早SemiAnalysis6月4日稱,多數Vera Rubin系統可能採用96GB而非192GB SOCAMM2,單顆Vera CPU的內存將由最高1.5TB降至768GB。一天後,黃仁勳被問及此事,只承認內存供應受限,並表示英偉達需要在不同系統之間更加合理地分配內存。6月10日,TrendForce進一步量化了這道缺口。按照三星、SK海力士和美光的2027年初步供貨分配,英偉達能夠獲得的LPDRAM只能滿足預計需求的約60%。據其調查,為讓有限的LPDDR5X支撐更多Vera CPU系統出貨,英偉達選擇將Vera Rubin機櫃所配的SOCAMM容量減半。

兩個月後,TrendForce又在另一份報告中重申了這一判斷,並稱LPDDR5X供應緊張可能持續到2027年。當前,英偉達尚未公開回應,但圍繞Vera配置的多輪消息已經釋放出一個信號——過去主要由GPU側HBM引發的內存討論,正延伸到CPU側,並開始影響整套AI系統最終以什麼配置交付。內存還在約束AI計算系統的擴張。

Related

相關文章

躺著睡覺也能賣算力?英偉達聯合地產商,要把25萬美元GPU掛在房子外牆

輝達(NVIDIA)日前拋出一個顛覆傳統資料中心思維的大膽構想:聯手房地產開發商,將單價高達二十五萬美元的頂級 GPU 直接安裝在住宅或商業大樓的外牆上,讓建築物本身成為一座運算節點。這項「房子外牆也能賣算力」的點子,乍看像是都市傳說,卻精準點出現階段 AI 產業發展的核心矛盾——算力需求暴增,但能容納伺服器的土地與電力卻越來越難取得。 長期以來,GPU 被視為 AI 訓練與推論的靈魂,頂級企業級顯示卡往往一台就要價數十萬美元;過去這些昂貴的晶片多半被鎖進恆溫恆濕的機房裡,由專人維護,與一般人的生活距離遙遠。

剛剛

拿下86億元,今年華為系創業者攻佔了具身智能融資榜

今年具身智能領域成為科技投資焦點,華為系創業者強勢主導融資榜,十二家公司共完成二十四筆融資,累計募資達86億元。資本市場對華為系團隊持續加碼,平均每家企業年內獲得兩輪資金挹注,穩定的資金支持有助於技術研發與產品化進程,進一步鞏固其賽道競爭優勢。

剛剛

榮耀太想進步了

榮耀在獨立運營的第三年,正以一種近乎急迫的姿態推動自身變革。從產品節奏到品牌定位,從技術研發到渠道布局,這家曾經的華為子品牌,如今顯然不滿足於僅僅活下來,而是渴望在高端市場中佔據更顯眼的位置。業內人士分析,榮耀近期的動作頻率與力度,都透露出一種「太想進步了」的信號。 過去一年,榮耀明顯加快了旗艦機型的更新迭代。不同於以往穩紮穩打的策略,現在榮耀選擇在每年上半年與下半年各推出一款頂級旗艦,並且在影像、螢幕、電池等核心環節上,幾乎都採用了當下最前沿的技術方案。

剛剛