智東西生成式AI

WAIC重磅發佈!雲天勵飛亮出芯片、萬卡集群、軟件棧完整算力版圖

2026年7月19日 16:19
WAIC重磅發佈!雲天勵飛亮出芯片、萬卡集群、軟件棧完整算力版圖

重點摘要

雲天勵飛在上海世界人工智能大會發布AI推理基礎設施路線圖,推出三款雲端推理芯片、萬卡異構集群及IFWA軟件棧,並提出「百億token一分錢」的長期成本目標。該方案針對推理不同階段進行專用優化,目標提升單位token生成效率,降低運算成本。

站內 AI 整理稿

雲天勵飛於上海世界人工智能大會(WAIC 2026)上,正式發布AI推理基礎設施路線圖,揭示其從單一AI推理芯片供應商,轉變為系統級AI推理基礎設施建設者的策略轉型。此舉標誌著國產推理算力競爭正式進入以系統能力為核心的時代。該路線圖涵蓋三款雲端大算力推理芯片——DeepVerse100P、DeepVerse100D與DeepVerse100L,以及基於這三款芯片打造的面向萬卡異構集群的分離式AI推理基礎設施,並搭配貫穿全鏈路的IFWA軟件棧,形成軟硬體協同的完整算力體系。

本次WAIC大會充分反映出AI產業落地的主要趨勢:AI不再只是通用對話工具,能自主執行多任務的智能體已成為企業數位化轉型的標準配備;端雲協同與本地端側大模型正快速規模化落地;算力競爭的重心也從單一芯片峰值算力,轉向芯片、集群、軟體協同的整體系統能力。在應用端多重變化的驅動下,業界對AI算力的token生成效率與單位token成本這兩項關鍵指標的關注持續升溫。雲天勵飛在發布新路線圖的同時,喊出「百億token一分錢」的長期目標,呼應當前AI算力產業的普遍共識。大模型進入規模化落地階段,行業競爭從單芯片的峰值算力,轉向集群端到端的推理效能。

雲天勵飛最新的佈局清晰展現了這套競爭邏輯的轉變,也為國產AI芯片的突圍路徑提供了新方向。在底層芯片方面,雲天勵飛針對未來兩年的AI推理需求,規劃了三款雲端大算力推理芯片,分別因應不同推理場景的負載特性。隨著百萬上下文大模型落地,長文檔解析、企業RAG、AI智能體、代碼倉庫檢索等應用普及,大模型推理過程中的Prefill(預填充)與Decode(解碼)階段資源矛盾日益凸顯,兩者共享算力與頻寬時容易發生資源搶佔。

為解決此問題,DeepVerse100P專為百萬級上下文的Prefill場景設計,針對傳統混部架構中長上下文Prefill與Decode共享算力、頻寬所造成的資源搶佔問題進行優化,降低對Decode生成吞吐的影響。DeepVerse100D則聚焦於Decode環節,重點提升記憶體頻寬與互聯效率,減少多節點通信阻塞與尾延遲。DeepVerse100L瞄準Decode階段計算密集的FFN環節,採用3D Memory架構,相較主流HBM提升記憶體頻寬,並透過低延遲芯片互聯與激活數據快速傳輸,提高計算與通信的並行效率。芯片只是第一步,下一步是推理基礎設施。

單顆芯片能解決單節點、單硬體層面的性能瓶頸,但在萬卡規模的集群中,系統性工程挑戰更加複雜。當集群規模持續擴張,跨節點通信堵塞、異構算力資源相互等待、推理尾延遲持續上升等問題會被放大。雲天勵飛計劃透過上述三款芯片,構建面向萬卡異構集群的分離式AI推理基礎設施,依照大模型推理不同階段的負載特性,配置對應芯片與資源池,並透過高速互聯實現協同運行,優化邊界從單顆芯片延伸至計算、訪存、互聯、集群調度與推理軟體棧等全系統環節。在芯片與系統之外,雲天勵飛持續優化軟體棧,其打造的IFWA軟體棧涵蓋模型開發、程式設計及系統等不同層級,能為模型適配、算子優化、編譯部署與軟硬體協同提供支援。

從芯片到萬卡異構集群,再到軟體棧,雲天勵飛的AI推理基礎設施藍圖已然成形。針對大模型真實推理場景,持續穩定的能效輸出已成為商業化落地的核心標尺。隨著各類AI應用規模化,不同硬體方案間的token生成成本差距持續拉大,壓降海量token生成成本、拉升token吞吐效率成為行業核心競爭命題。參考NVIDIA創辦人黃仁勳在GTC大會上的說法,NVIDIA基於極致協同設計的下一代Rubin+LPX方案,在每兆瓦的tokens吞吐上相比Blackwell提升2倍以上,尤其在高價值的低延遲場景,提升幅度高達35倍。

相比之下,雲天勵飛DeepVerse100整套方案受限於芯片製程代差,在免費token生成場景的每兆瓦tokens吞吐略低於Blackwell,但在生產力級別的token生成場景,特別是低延遲高價值場景,其每兆瓦吞吐表現已逼近Rubin+LPX,整體token成本競爭力超越Blackwell架構,與Rubin+LPX的差距持續收窄。雲天勵飛的AI推理算力布局,面對的是推理賽道的終極考題:在多元的交互負載場景中,提供穩定且高效的規模化token生成方案。

當前推理算力需求快速成長,AI應用從基礎問答延伸至深度邏輯推理、程式設計、智能體自主執行乃至多智能體協同作業,上下文視窗長度、單次生成token總量、用戶即時交互併發頻率同步攀升。Prefill與Decode兩個階段的資源消耗邏輯不同:Prefill屬於算力密集型負載,需集中處理輸入上下文;Decode為訪存密集型負載,以逐token方式生成內容。單純堆疊峰值算力的硬體方案,在真實業務中會產生大量算力閒置,資源利用率極低。

因此,一套全新的算力評價標準正在取代單一峰值性能指標,算力價值不再只看峰值有多高,而是每一度電、每一塊芯片能產出多少有效token,計算能力、記憶體頻寬、芯片互聯、集群調度、軟體適配與資源利用率都會影響最終表現。雲天勵飛此次發布的AI推理路線圖,核心邏輯就是圍繞token生成的完整過程,對芯片、互聯、軟體與系統進行協同設計,透過更精細的資源配置,提升推理系統的整體效率。而面對產業持續降本的剛需,雲天勵飛也提出了長期落地方案,將「百億token一分錢」作為目標,持續壓縮單token運營開銷,趨近算力成本的最優極限。

但單一企業難以獨力持續壓低成本,必須拉動全產業鏈協同優化,才能找到兼顧效率與成本的最佳方案。隨著AI在千行百業大規模落地,模型廠商、芯片企業、AI應用端之間的界線加速模糊,模算協同、軟硬共生已成為常態。產業上下游若在研發過程中各自為政,模型開發不考量芯片儲存頻寬、芯片設計不貼合真實推理負載、技術研發脫離線下業務場景,最終會導致硬體利用率不足、落地成本居高不下,大量算力資源被浪費。因此,脫離硬體適配的模型是空談,缺少模型調校的芯片難以發揮實力,沒有真實場景持續反饋的技術難以走通商業閉環,上下游綁定共生已是必然選擇。

為回應產業協同需求與token降本的長期目標,雲天勵飛同步發起「1001計劃」,聯合芯片設計、IP與EDA、封裝測試、伺服器與互聯、軟體棧、算力平台、模型、應用及科研機構等全鏈條主體,希望透過此計劃建立長期生態合作機制,推動產業鏈各方圍繞共同技術標準、軟體適配、場景驗證與產業應用形成更緊密的協作。AI產業競爭的核心與整條產業鏈的協同效率息息相關。在國產AI晶片重要性持續提升的背景下,AI產業上下游的晶片、軟體、模型、應用業者正加速協同形成正向循環,最終目標是實現AI算力普惠,加速AI規模化落地。

雲天勵飛的整套AI推理基礎設施,旨在破解算力資源錯配、有效算力利用率不足等行業痛點,透過軟硬體協同持續優化單位token成本。當通用算力難以適應碎片化推理負載,分層晶片、異構集群、原生軟體棧組成的全棧方案,或許正是穿越產業週期的解題方向。

Related

相關文章

MarkTechPost AI生成式AI

NVIDIA AI 推出 NOOA:將 AI 代理轉化為單一 Python 類別的物件導向框架

NVIDIA 實驗室開源了 NOOA(NVIDIA 物件導向代理),這是一個與模型無關的 Python 框架,用於建構 AI 代理。傳統的代理開發分散在提示模板、工具架構、回呼程式碼和工作流程圖中,而 NOOA 將所有這些整合到一個 Python 類別中:方法代表模型可採取的動作,欄位代表代理狀態,文件字串作為提示,型別註解則是執行時期強制執行的合約。主體為「...」的方法由 LLM 驅動的迴圈在執行時期完成,而具有正常主體的方法則保持確定性的 Python 程式碼。開發者與模型因此共享同一介面,使代理行為能像一般軟體一樣進行測試、追蹤、重構和版本控制。NVIDIA 報告在 SWE-bench Verified 上達到 82.2%,在 CyberGym L1 上達到 86.8%,平均 RHAE 為 85.1%。

38 分鐘前

六巨頭定AI插件新標準,撞臉Claude,Anthropic沒上桌

六大科技巨頭(AWS、Anysphere、GitHub、微軟、OpenAI、Vercel)聯合發布AI智能體插件統一開放規範Agent Plugins 1.0.0,旨在統一插件打包格式,減少開發者重複勞動。該規範的結構與Anthropic的Claude Code插件系統高度相似,但Anthropic並未參與制定,而是繼續經營自己的封閉生態。

2 小時前
鈦媒體生成式AI

DeepSeek重啟融資,三年市值對齊騰訊?

DeepSeek重啟第二輪融資,以5000億元人民幣估值尋求籌集80億美元,但網傳一份由小型醫藥私募發起的專項基金募資材料引發網友質疑,後經DeepSeek員工證實部分數據屬實。該公司近期宣布API大幅漲價,可能打破其以低價換規模的估值邏輯,面臨客戶流失風險。市場關注其能否從「價格屠夫」轉型為價值提供商,以及三年內市值能否對齊騰訊等巨頭。

3 小時前

可靈AI核心技術骨幹王鑫濤被曝離職

快手可靈AI核心技術骨幹王鑫濤被曝離職,去向未知,快手官方與本人均未回應。王鑫濤是圖像與視頻生成領域知名開源項目主要作者,被視為可靈從0到1的關鍵推手。其離職發生在可靈完成獨立融資、估值180億美元的關鍵階段,可能影響研發進度與競爭優勢。

3 小時前