量子位生成式AI

清華系團隊發佈國產Token優化工廠:兼容10餘種國產芯片,日吞吐千億Token

2026年7月18日 11:43
清華系團隊發佈國產Token優化工廠:兼容10餘種國產芯片,日吞吐千億Token

重點摘要

在 WAIC 2026 上海會場上,各大智算企業競相展示芯片規格與模型參數,但來自清華系團隊的是石科技卻選擇了一條截然不同的路線——不談硬體帳面數字,而是聚焦算力效率。該公司創始人兼董事長閆博文在發佈會上直言,中國目前擁有超過 50 個智算中心,智能算力總規模已突破 1000 EFLOPS,但實際平均利用效率遠未跑滿,大量算力正在被浪費,尤其體現在長上下文多模態任務的響應衰退上,成為許多企業部署 AI 時的普遍痛點。

站內 AI 整理稿

在 WAIC 2026 上海會場上,各大智算企業競相展示芯片規格與模型參數,但來自清華系團隊的是石科技卻選擇了一條截然不同的路線——不談硬體帳面數字,而是聚焦算力效率。該公司創始人兼董事長閆博文在發佈會上直言,中國目前擁有超過 50 個智算中心,智能算力總規模已突破 1000 EFLOPS,但實際平均利用效率遠未跑滿,大量算力正在被浪費,尤其體現在長上下文多模態任務的響應衰退上,成為許多企業部署 AI 時的普遍痛點。為此,是石科技正式推出名為「拓元(Vectron)」的國產 Token 優化工廠,企圖從系統層面重新定義 AI 基礎設施的競爭規則。

閆博文指出,過往 AI 基礎設施競賽聚焦於「誰擁有的顯卡多」,但下半場真正的勝負關鍵在於「誰能把卡用好」。根據預測,「十五五」期間中國算力產業總投資將達約 7 兆元,若能將算力利用效率提升十到二十個百分點,便能釋放出兆元級的價值空間,讓各行各業以更低成本進入 AI 應用,並激發更多需求。這樣的背景促使是石科技將研發重心擺在效率優化,而非單純追趕參數規模。拓元的核心定位是一套完整的 AI Infra 優化體系,涵蓋任務自適應調度、硬體專屬算子庫、模型與推理框架優化,以及異構集群統一管理。

在任務層面,系統會根據請求畫像自動匹配最適合的計算鏈路,做到按需分配算力;在算子層面,透過硬體專屬的算子融合編譯,充分釋放每顆國產芯片的極限性能。更重要的是,拓元全面相容超過 10 種國產晶片,包括昇騰、崑崙芯、天數智芯、太初、瀚博半導體、摩爾線程、沐曦、燧原等,並已適配超過 20 個主流大模型,實現異構算力池的統一調度與推理加速,每日 Token 吞吐量達到千億級別。針對企業實際應用中常見的痛點,是石科技在發佈會上介紹了多項核心技術突破。首先是 KV Cache 壓縮技術,傳統方法多依賴輸入階段判斷信息價值,但在真實業務中模型關注的重點會動態變化。

拓元的結果感知驅動壓縮技術能在不犧牲效果的前提下大幅降低顯存壓力,讓長文本應用的運行成本顯著下降。其次,在全模態推理方面,拓元提出基於模態自適應的免訓練 Token 壓縮方法,針對文字、影片、語音等不同輸入精準篩選關鍵 Token,減少無效計算,為多模態時代做好準備。在長上下文場景中,企業知識庫、智能助手等應用要求模型具備百萬級的超長記憶能力。拓元透過混合位置索引合成的長上下文偏好訓練方法,搭配記憶引導的重讀機制,僅用遠少於同類方法的訓練數據量便達成顯著效果提升。

此外,為了讓 AI 能夠自我優化,拓元導入基於元獎勵的可擴展獎勵建模方法,使得部署後的系統能持續根據企業標準修正輸出,大幅降低人工反饋的需求。針對智能體在執行長程任務時容易出現資訊判斷失誤的問題,拓元也開發了目標導向的記憶策略,突破稀疏信息監測與長程建模的資源限制。閆博文總結,這些技術的累積讓模型得以實現更低的訓練成本、更高的上下文理解能力以及更強的複雜推理能力。是石科技成立於 2021 年,創始團隊源自清華大學計算機系,閆博文本人擁有清華大學航院博士與計算機系博士後背景,核心成員包括高性能計算、人工智慧領域的資深專家,以及來自清華、北大、北京航空航天大學等高校的學者。

經過數年快速發展,公司已服務超過 200 家重點客戶,涵蓋互聯網大廠、頭部大模型公司、航空航天、生物製藥與新能源等行業,在並行優化與算力調度上累積了深厚壁壘。拓元的發布意味著是石科技已將過往的技術能力轉化為可商業化、標準化的產品,正式駛入規模化發展的快車道。閆博文強調,技術創新的最終目的不在實驗室,而在產業價值的創造;同時,拓元也明確了是石科技在國產算力生態中的獨特賽道——作為中間件統一管理異構資源、屏蔽底層差異,幫助中國 AI 產業從「算力服務」走向「Token 服務」,讓原本昂貴且難以充分利用的國產算力,真正變成穩定、高效的生產力。

Related

相關文章

六巨頭定AI插件新標準,撞臉Claude,Anthropic沒上桌

六大科技巨頭(AWS、Anysphere、GitHub、微軟、OpenAI、Vercel)聯合發布AI智能體插件統一開放規範Agent Plugins 1.0.0,旨在統一插件打包格式,減少開發者重複勞動。該規範的結構與Anthropic的Claude Code插件系統高度相似,但Anthropic並未參與制定,而是繼續經營自己的封閉生態。

1 小時前
鈦媒體生成式AI

DeepSeek重啟融資,三年市值對齊騰訊?

DeepSeek重啟第二輪融資,以5000億元人民幣估值尋求籌集80億美元,但網傳一份由小型醫藥私募發起的專項基金募資材料引發網友質疑,後經DeepSeek員工證實部分數據屬實。該公司近期宣布API大幅漲價,可能打破其以低價換規模的估值邏輯,面臨客戶流失風險。市場關注其能否從「價格屠夫」轉型為價值提供商,以及三年內市值能否對齊騰訊等巨頭。

2 小時前

可靈AI核心技術骨幹王鑫濤被曝離職

快手可靈AI核心技術骨幹王鑫濤被曝離職,去向未知,快手官方與本人均未回應。王鑫濤是圖像與視頻生成領域知名開源項目主要作者,被視為可靈從0到1的關鍵推手。其離職發生在可靈完成獨立融資、估值180億美元的關鍵階段,可能影響研發進度與競爭優勢。

2 小時前

AI短劇、漫劇、戀綜、電影、藝人都有了,AI觀眾也不遠了

2026年AI影視內容全面爆發,從短劇、長劇到電影、綜藝,AI製作的作品大量湧現,衛視也開始播出AI短劇。AI演員如方桃子迅速走紅,商業變現能力驚人,廣告報價甚至超過許多真人網紅。AI短劇市場規模已突破220億元,用戶超過6億,但同時也引發了對真人演員就業和內容品質的擔憂。

2 小時前