算力缺的不是“卡”，而是Token丨ToB產業觀察

Leo張ToB雜談2026.09.14 16:59 · 來自北京全文4774字00:00 / 13:12Token工廠的終極目標是做算力的“自來水系統”一箇中小企業的技術負責人最近遇到了一個頭疼的問題。他們採購了一批國產GPU卡，打算在自有環境裡部署一個開源大模型，用於內部知識庫問答。硬件到貨之後，團隊花了整整兩週時間，模型還是跑不起來。問題不在於卡本身——單看標稱算力，這批國產卡能達到國際主流產品的七八成，但模型在上面運行的輸出速度，只有理論值的一成左右。這個場景正在無數中國企業中重複上演。而它所暴露的問題，恰恰指向了當下AI產業最核心的一個轉變。

Token成本是AI產業新的“遊戲規則”國家數據局公佈中國日均AI詞元（Token）調用量從2024年初的約1000億飆升到2026年3月的超過140萬億，而另一面，中國信通院等機構的調研顯示，國內智算中心GPU平均利用率不足30%。一邊是Token需求呈指數級暴漲，一邊是昂貴的加速卡在機房裡“空轉”。Token正在成為 AI 世界的“硬通貨”。然而硬幣的另一面是：越來越多企業發現，讓這套系統真正跑起來，遠沒有買卡時想象得那麼輕鬆。現實給所有應用算力的企業，以及算力服務商提出了一個難題：算力買回來了，為什麼用不起來？這道題的答案，正在塑造中國AI基礎設施的下一個五年。故事要從兩年前說起。

彼時國內AI行業瀰漫著一種樸素的信仰：手裡有卡，心裡不慌。地方政府大力建設數據中心，企業紛紛採購顯卡，大家相信握住算力就握住了未來。GPUStack CEO秦小康在與我們的交流中回憶，那個階段GPU卡資源極度緊缺，“拿到卡才有想象空間”是普遍心態。但真正把系統搭起來之後，很多人才發現自己買回來的只是一堆昂貴的“鐵”。模型部署的複雜度，遠超想象。具體到場景中，最典型的故障有兩類，這兩類幾乎覆蓋了企業踩坑的大半。其一，模型根本跑不起來。很多大模型並不是在這款國產顯卡上訓練的，強行遷移過來，第一步就報錯；其二，模型跑通了，性能卻慘不忍睹。

秦小康給出一個驚人的對比：國產GPU芯片標稱性能可以達到英偉達的70%~80%，但實際跑模型時，Token輸出能力可能只有理論值的10%。問題不在芯片本身，而在上下層軟件沒有匹配好，需要大量調優。這兩類問題，按他自己的話說，覆蓋了八成以上的故障場景。一個常被忽略的細節是：模型本質上是一堆參數文件，它本身是無狀態的，不能像程序一樣拿到就運行。想讓模型工作，必須配套運行環境，推理後端就是環境中最核心的組件，且不止一種，英偉達有自研的，華為昇騰有自研的，開源社區還有vLLM、SGLang這樣的通用方案。模型、後端、硬件三者組合，才是企業真正面對的“黑盒”。

秦小康給出了一個直觀的對比：市面上主流顯卡型號有幾十種，Hugging Face上的公開模型超過3600個，中間還要對接十幾種推理後端，每種後端又各有十餘種優化方案。幾十種硬件對上數千個模型，再乘以多套軟件棧，“這是一個多維度組合匹配的問題，複雜度近乎呈階乘級膨脹。”秦小康如是說。換句話說，買卡是一道加法題，把卡用好卻是一道乘法題。這樣的行業現狀也體現在了行業調研數據上。IDC的調研顯示，近半數企業的智算資源利用率處於51%~70%區間，還有6.7%的企業僅為31%~50%；不少自建智算項目存在“重硬輕軟”的問題，服務器和GPU上架了，卻缺乏統一算力調度平臺、資源池化管理和動態分配機制。

與此同時，中科曙光高速網絡互聯產品部總工程師萬偉也給出了一個判斷：決定Token生成效率的，不只是加速卡的算力，更是算力、網絡和存儲三者之間的數據流轉效率。他用一個簡單的邏輯來解釋：模型規模越來越大，單塊GPU已經裝不下完整模型，必須通過分佈式架構把模型拆到多個節點上。一旦數據要在節點之間來回跑，通信就變成了“並行計算邏輯的一部分”，任何一處時延增加，整個集群的效率都會被拖下水。而隨著推理需求爆發，這個缺口還在放大：IDC預測，到2027年中國智能算力規模中推理佔比將提高到72.

6%；TrendForce的數據同樣顯示，北美五大雲服務商2026年的推理算力增速（預計122%）將超過訓練算力增速（56%）的兩倍以上。訓練是階段性的、可以提前排期的，推理卻是全天候、貼著用戶跑的——這意味著未來絕大多數GPU資源都要用來幹“推理”這件精細活，而恰恰是這件精細活，最考驗軟件功夫。Token工廠是算力的“自來水系統”痛點的背後，藏著一次定位的轉變。秦小康表示，GPUStack過去強調的是GPU管理，如今把“Token工廠”作為核心概念，“過去大家追求的是獲取硬件資源，現在用戶需要的是把資源之上的模型真正跑好。”秦小康指出。

如今，用戶與服務商之間不再只是“你需要卡，我就給你卡”的粗放調度，而是要提供從硬件管理到模型一鍵部署的一體化方案，最終對外穩定輸出Token。行業內常說算力要像水電一樣隨取隨用，如果順著這個比喻往下延伸：有人修建水塔、鋪設水管，對應底層的GPU硬件和驅動基礎設施；而在秦小康看來，Token工廠的角色更像是自來水公司，負責完成Token的生產與供給，屏蔽底層資源的所有波動，讓終端用戶擰開“水龍頭”就能用。至於Token之上跑的智能體、對話應用、代碼助手，那是Token的消費者，屬於另一層生態的生意。秦小康對於Token工廠的邊界劃分得相當清晰——生產Token，不碰消費Token。

順著一條Token的生產流程看，它要經過訓練、推理、存儲三個環節，每一環都有暗礁。首當其衝的就是模型與硬件之間的“驅動”鴻溝。GPUStack聯合創始人、CTO梁勝梁勝比喻道：GPU相當於顯卡，模型相當於遊戲，推理後端就是顯卡驅動，而管理這一切的平臺，相當於操作系統。梁勝表示，現在整個行業還處於上世紀90年代Windows的狀態——驅動要不停調試、優化，各種不兼容層出不窮。一個新模型發佈，想跑在華為昇騰卡上，推理後端必須同時適配上層模型和下層硬件；如果推理後端不做適配，模型和硬件就無法協同工作。

這也解釋了為什麼英偉達的TensorRT-LLM、華為的MindIE等廠商自研工具，如今都把重心轉向vLLM、SGLang等開源生態，因為單靠一家廠商，已經很難覆蓋層出不窮的模型組合。其次是算力之間的通信。訓練階段GPU集群要通過All-Reduce、All-to-All等集合通信方式同步梯度，異常時延會直接拉低模型計算利用率；推理階段，流行的PD分離架構要把KV Cache從Prefill節點搬運到Decode節點，上下文越長，KV Cache 體積越大，行業數據顯示，長上下文場景下 KV Cache 可達幾十GB。

這些數據要在GPU、網絡和遠端存儲之間反覆流轉，據其測算，萬卡級分佈式訓練中，網絡通信耗時已佔整體任務時間的30%到50%。萬偉的判斷是：模型越來越大，單卡甚至八卡都裝不下完整模型，分佈式是唯一齣路，而分佈式的代價，就是數據必須在節點之間高頻流動。通信優化的難點還在於頻繁地傳輸小數據。當前主流大模型普遍採用MoE架構，專家之間要頻繁傳遞大量併發的小數據包，這類通信恰恰是CPU最不擅長的：處理小包指令的時間，往往遠超數據傳輸本身。針對此，中科曙光前不久發佈了IBGDA技術，通過該技術能讓GPU內核直接驅動網卡發起通信，把“發號施令”的權力從CPU移交到GPU，相當於在高速公路入口取消了一個堵點。

第三個“卡”點就是當前行業熱議的存儲。目前行業比較可行的“以存代算”方式，通過將生成號的KV Cache保存下來供後續複用，用存儲換算力。但傳統路徑下，GPU訪問遠端存儲，數據要先從顯存搬到CPU內存，再經網絡送到存儲，多一次拷貝就多一層延遲。訓練數據的加載、Checkpoint的寫入、KV Cache的卸載，每一筆都是存儲訪問，而分佈式存儲集群本身就是網絡流量的製造者。曙光把存儲通道拆成了三件事：NFS over RDMA處理訓練數據和Checkpoint 這類文件訪問，NVMe over RDMA處理KV Cache這類塊數據緩存，XDS則讓加速卡繞過CPU直接訪問遠端存儲。

據萬偉介紹，存儲訪問延遲可因此降低80%以上。三個“卡”點結合在一起，Token工廠要做算力的“自來水系統”的難點就躍然紙上——Token工廠難建，難的不是某一個單點，而是算力、網絡、存儲三者之間的數據流轉效率。秦小康將這套邏輯概括為“硬件之上還有一套軟件棧”，曙光則表示，數據流轉效率是影響Token生成效率的關鍵因素。多路徑嘗試解決Token效率難題面對同一道難題，GPUStack與中科曙光在產業中定位、解題思路不同，但最終的目的殊途同歸。GPUStack的選擇是要做Token的操作系統。秦小康介紹，GPUStack把推理後端做成可插拔的插件，類似早年PC的即插即用。

新模型帶著特殊推理後端，可以直接導入平臺運行，上層業務代碼幾乎無需改動。在GPUStack的體系裡，底層是管理GPU硬件、負責多租戶與計費的“操作系統”，之上才是面向用戶的Token工廠，以及對外提供Token服務的應用。這種“開箱即用”的能力背後，是GPUStack多年來堅持開源策略的底氣，據秦小康介紹，目前GPUStack已有11萬部署實例，用戶從8萬增長到11萬隻靠社區傳播，年底目標15萬；國內一家頭部芯片企業甚至把小規模集群業務全部遷移上來，90%的業務跑在這個開源平臺上。如果說Linux 是開源操作系統的事實標準，梁勝則希望GPUStack成為算力中心的“操作系統”。

中科曙光的思路則是把“路”修好。scaleFabric網絡從設計之初就是為了面向AI集群，這次與萬偉的溝通，他重點介紹了兩件事。一是通信加速。在GPUDirect RDMA基礎上，規模化落地IBGDA技術，讓GPU內核直接驅動網卡，把通信任務的下發也交給GPU。二是存儲加速。通過NFS over RDMA、NVMe over RDMA、XDS 三項技術組合，把“以存代算”的短板補上。

GPUStack解決的是“軟件棧”的標準化問題，曙光解決的是“數據通道”的物理問題，而它們的共同指向，是中國算力產業的一個現實困境：國產加速卡與國外頂級產品在製程和封裝上仍有差距，單卡性能存在客觀差異，出路只能靠系統級創新，比如用集群規模和多卡通信效率，去彌補單卡的不足。而這個判斷也被產業驗證：DeepSeek曾公開說明，其模型訓練同時跑在英偉達和華為硬件上，這是頂級模型首次公開的跨硬件訓練；上千卡規模的國產GPU集群已落地，萬卡集群開始建設。硬件供給充足之後，配套的軟件與管理體系將成為決定算力“好不好用”的關鍵。（文｜Leo張ToB雜談，作者｜張申宇，編輯丨楊林）