Agent要數量也要腦子！浪潮信息一邊單櫃養4萬Agent，一邊讓大模型組隊答題

AI基礎設施的任務正在發生根本性轉變，從過去單純支撐大模型推理，轉向承載海量智能體的規模化運行與高品質Token的持續產出。根據IDC數據，2025年中國AI Agent企業級市場規模約達190億元，2025至2028年的複合年增長率預估超過110%。Gartner的預測更為直接：2026年將有40%的企業應用會整合任務型AI Agent。 在大模型推理階段，基礎設施只需處理一次輸入、一次輸出；但進入Agent階段，基礎設施必須應對任務拆解、工具調用、多輪協作與持續運行，這對算力提出了截然不同的要求。背後其實存在兩個方向的能力缺口：一是海量Agent能否穩定、大規模地運行，二是多個模型能否協同工作，讓Agent變得更聰明。針對這兩個缺口，浪潮信息在2026開放計算大會上分別推出了新的產品方案。 ### Agent對基礎設施提出新要求

過去企業部署AI，多半是接入一兩個模型，處理相對獨立的任務，調用一次、返回一次就結束了。Agent則不同：一個Agent應用需要先將任務拆開，再一步步調用工具、來回協作，背後同時運轉的可能是一整群子Agent。部署到企業後，Agent的數量更可能高達成千上萬。如何讓這麼大規模的Agent群體穩定協同地運作，成了必須面對的新課題。 除了Agent數量增加，單一模型本身的壓力也在提高。有些模型擅長邏輯推理，有些擅長文字生成，這種能力偏科無法靠堆疊參數量解決，但實際任務又變得越來越複雜，很難指望一個模型什麼都會。因此，如何讓多個模型分工協作、互相補位，成為另一個必須解決的關鍵問題。這兩件事要真正落地，都必須仰賴底層算力基礎設施的支撐。 新需求出現後，基礎設施的第一個變化是CPU的角色變得更重要。在傳統問答模式下，大模型推理是一次輸入、一次輸出，更多仰賴GPU運算。但Agent需要進行任務拆解、工具調用、多輪協作與結果彙總，這些整型運算與邏輯推理主要由CPU承擔。而且Agent並非跑一次就結束，許多Agent必須常年在線，運行時間大幅拉長。因此，AI基礎設施的算力配比正從過去以GPU為中心，轉向多元算力系統協同。 CPU重要性提升後，緊接而來的是功率密度問題。浪潮信息副總經理趙帥指出，國內的AI機櫃功率今年內將衝上300千瓦，全球部分機櫃甚至已進入兆瓦級。如果CPU側仍停留在單櫃幾千瓦的密度，根本無法匹配數據中心全新的電力基礎設施。隨著機櫃功率不斷攀升，散熱成為一大挑戰，傳統風冷單機櫃40到50千瓦的散熱上限早已撐不住，液冷方案成為必選。 ### 單櫃運行4萬+Agent

為了實現Agent的規模化運行，浪潮信息發布了業界首款CPU原生液冷整機櫃伺服器。該伺服器單櫃最大可支援384顆基於開放OCM（開放計算模組）架構的CPU處理器，兼容x86與ARM，能支撐4萬個以上的Agent協同運行。這個規模是浪潮信息今年4月發布的「企千蝦」方案的40倍——當時企千蝦是用單台2U伺服器部署1000個OpenClaw，如今浪潮信息直接把Agent塞滿了一整個機櫃。 該機櫃採用的OCM架構能夠兼容不同代際、不同架構的處理器，不必為每一代新晶片重新設計整套系統，研發週期因此大幅壓縮。要在一個機櫃裡塞進384顆CPU，散熱是無法迴避的關卡。浪潮信息提出了一種全新的散熱理念：原生液冷。這個想法完全顛覆傳統風液混合的散熱邏輯。過去的冷板液冷伺服器設計是為計算部件貼上散熱冷板，但記憶體、網卡、硬碟等其他元件仍需透過風扇散熱。這次的思維完全翻轉，將計算與散熱協同設計，突破傳統液冷僅覆蓋CPU的限制，將記憶體、網卡、光模組、SSD等所有發熱元件一併納入液冷散熱體系，重構整個算力系統。 具體做法是將算力單元做成2U超薄形態，一個節點塞進16顆CPU，同時將記憶體、網卡、光模組這些原本靠風扇和線纜維持散熱與連接的元件，直接平鋪在主機板上，用一整塊冷板統一承接散熱，連伺服器托架也省去了。這樣一來，原本被風扇、冷管、線纜占據的空間都騰出來給計算與I/O資源，整機櫃因此做到無線纜設計，支援熱維護，確保業務零中斷，運維效率提升100%以上。 ### 多個大模型協同完成一次任務

為了讓Agent變得更聰明，浪潮信息還在元腦企智EPAI平台上線了多模融合API，並同步發布元腦SD200超節點AI伺服器企業版。多模融合的做法是將同一個任務同時交給多個候選模型，讓它們各自獨立生成答案，再由一個評審融合模型出面，比較這些答案中的共識、分歧、遺漏與獨特觀點，最終拼出一個統一的輸出。 這套流程並非所有任務都要走一遍；簡單問答、工具調用、格式轉換這類短任務，系統會直接路由給更輕量的單模型處理。只有複雜的長鏈路任務，系統才會調度多個候選模型協同處理，避免小題大作。這套機制在DRACO測試裡取得了53.9%的成績，高於同一測試候選池中任何一個單模型的表現。目前這項能力可以多模融合API的形式對外開放，既可像普通模型服務一樣直接接入應用，也可配置到智能體與開發框架中，沿用原有的對話、推理與工具調用流程。 不過，多個大模型同時參與一次任務，對底層算力提出了更高要求，既要一次裝得下多個萬億參數模型，又不能犧牲輸出速度。這正是元腦SD200超節點要承擔的部分。去年發布時，元腦SD200已能同時部署4個萬億參數大模型，token生成時間做到8.9毫秒，是國內首個突破10毫秒大關的產品。今年這個數字進一步壓到4.77毫秒，成為國內首個跑進5毫秒的方案，首Token延遲也降低了35%。這些提升來自多Token預測、W4A8精度方案與JIT即時編譯等軟硬協同優化。多Token預測讓解碼階段一次生成多個候選token再校驗，減少逐字生成的輪次；W4A8將萬億參數模型中MoE模組的計算精度從BF16降到INT8，降低訪存帶寬壓力；JIT則在運行時根據張量形狀動態生成專用GPU內核，讓算力更貼近硬體特性。 目前，元腦SD200超節點已完成對Kimi K2.6、DeepSeek V4、GLM 5.2、MiniMax M3等主流開源模型的適配。不過，這套架構的門檻對不少中小企業依然偏高。為此，浪潮信息推出了元腦SD200超節點企業版，可視為縮小版的元腦SD200。它將Scale Up計算域從64卡減少到16卡，萬億參數模型的首Token延遲降低40%以上，提供更低遷移與適配成本的選擇。如此一來，原本只能部署千億模型做輔助的企業，現在也能將萬億模型真正用進生產環境。 ### Agent基礎設施，競爭已經生變

如今，CPU、GPU與軟體平台這三者的分工正變得更加緊密。軟體平台負責模型接入、任務編排、資源調度、權限治理與結果融合；CPU承載Agent實例、工具調用、沙箱運行與業務系統交互；GPU負責模型推理與Token生成。三者協同，才能支撐海量Agent穩定運行與複雜任務高效執行。這條鏈路中任何一環掉隊，整個Agent應用都無法順暢運作。 這也讓Agent時代基礎設施的競爭重點發生變化。過去比的是對單一模型的支持能力，現在比的是誰的系統級協同能力做得更好。單點強已經不夠，整條鏈路是否順暢、是否協同才是關鍵。浪潮信息這次在Agent基礎設施上推出的方案，正是試圖給出這個問題的答案。