16張B200才能跑的Kimi K3，8張AMD就裝下了

AI部署方案商Wafer AI近日完成一項備受關注的實測，成功在8張AMD MI355X加速卡上運行擁有2.8萬億參數的Kimi K3模型。這款由月之暗面開發的超大規模語言模型，過去需要16張NVIDIA B200 GPU、橫跨兩台伺服器才能順利運作，如今卻能在一台搭載8張AMD MI355X的伺服器內完整載入並執行，凸顯出AMD硬體在超大模型推理領域的潛力，也讓「顯存容量比算力更重要」的觀點再次成為業界討論焦點。Kimi K3模型的權重超過1TB，參數量高達2.

8萬億，這意味著要將整個模型載入顯存進行推理，傳統上必須仰賴NVIDIA的旗艦級B200 GPU，且需要16張卡、兩台8卡伺服器才能完成部署。然而，Wafer AI僅用一台伺服器、8張AMD MI355X，就將模型完整裝下並順利運作，大幅簡化了部署架構，也降低了跨伺服器通信帶來的延遲與複雜度。在實際性能測試中，Wafer AI設定輸入1024個Token、輸出400個Token的典型場景。結果顯示，8張MI355X的總吞吐量達到每秒952個Token，單用戶生成速度為每秒118個Token。若以單節點（一台伺服器）計算，這套AMD方案的吞吐量約為16卡B200方案的3.8倍。

更令人矚目的是，Wafer AI進一步指出，MI355X方案在性價比上也超越了NVIDIA的B200與後續的B300，顯示AMD在超大規模模型推理領域已具備不容忽視的競爭力。最讓開發者感到意外的，或許是AMD軟體生態ROCm的表現。過去AMD在AI部署上常因驅動與軟體工具鏈不夠成熟而受到詬病，但這次Wafer AI團隊表示，在MI355X上部署Kimi K3的過程中，「ROCm居然沒有特別折騰」。這意味著AMD近年來在軟體層面的持續投入開始顯現成果，讓開發者能夠更順暢地將超大模型遷移到其硬體平台上。Kimi K3之所以需要如此龐大的顯存，關鍵在於其2.8萬億的參數量。

僅模型權重一項就超過1TB，這還不包括推理過程中所需的KV Cache等暫存空間。在傳統GPU上，模型參數必須全部載入顯存才能進行推理，因此顯存容量直接決定了能否部署單個巨型模型，或是能否在單節點內完成部署。過去，即便NVIDIA B200擁有192GB的HBM3e顯存，但要容納Kimi K3仍需要16張卡，且必須跨伺服器連接，增加了通信延遲與部署複雜度。AMD MI355X的顯存規格雖然尚未完全公開，但從8張卡即可裝下Kimi K3來看，其單卡顯存容量可能遠超B200，或者採用更高效的記憶體壓縮技術。

Wafer AI的測試結果也顯示，在超大模型場景下，顯存容量已成為比算力（FLOPs）更關鍵的瓶頸——只要有足夠的顯存，就能在單節點內減少跨節點通信，從而獲得更高的有效吞吐量。這項實測對AI基礎設施的採購決策可能產生深遠影響。過去，企業在選擇AI伺服器時，往往優先考慮NVIDIA的CUDA生態與峰值算力。但隨著模型參數規模持續膨脹，尤其是像Kimi K3這類接近3萬億參數的模型，顯存容量與單節點部署能力開始成為更實際的衡量標準。AMD MI355X方案能以更少的卡數、更低的伺服器數量完成同等規模的推理任務，並且在吞吐量與性價比上雙雙勝出，可能吸引更多AI公司重新評估AMD硬體。

值得注意的是，Wafer AI的測試場景僅限於特定輸入輸出長度，實際生產環境中的性能表現可能因模型架構、批次大小、並行策略等因素而有所差異。但無論如何，這次實測打破了「只有NVIDIA能跑超大模型」的既有印象，也為AMD在AI加速器市場的後續發展注入一劑強心針。業界分析認為，隨著AI模型持續邁向萬億參數級別，分散式推理的通信開銷將愈發可觀，單節點內能容納更多參數的硬體方案將具備明顯優勢。AMD若能在後續的MI400系列中進一步提升顯存容量與頻寬，同時繼續優化ROCm工具鏈，有望在超大規模模型推理領域與NVIDIA形成更直接的競爭態勢。

而Wafer AI這項部署案例，無疑為AMD的技術路線提供了有力的實戰背書。