量子位生成式AI

清華系團隊發佈國產Token優化工廠:兼容10餘種國產芯片,日吞吐千億Token

2026年7月18日 11:43
清華系團隊發佈國產Token優化工廠:兼容10餘種國產芯片,日吞吐千億Token

重點摘要

在 WAIC 2026 上海會場上,各大智算企業競相展示芯片規格與模型參數,但來自清華系團隊的是石科技卻選擇了一條截然不同的路線——不談硬體帳面數字,而是聚焦算力效率。該公司創始人兼董事長閆博文在發佈會上直言,中國目前擁有超過 50 個智算中心,智能算力總規模已突破 1000 EFLOPS,但實際平均利用效率遠未跑滿,大量算力正在被浪費,尤其體現在長上下文多模態任務的響應衰退上,成為許多企業部署 AI 時的普遍痛點。

站內 AI 整理稿

在 WAIC 2026 上海會場上,各大智算企業競相展示芯片規格與模型參數,但來自清華系團隊的是石科技卻選擇了一條截然不同的路線——不談硬體帳面數字,而是聚焦算力效率。該公司創始人兼董事長閆博文在發佈會上直言,中國目前擁有超過 50 個智算中心,智能算力總規模已突破 1000 EFLOPS,但實際平均利用效率遠未跑滿,大量算力正在被浪費,尤其體現在長上下文多模態任務的響應衰退上,成為許多企業部署 AI 時的普遍痛點。為此,是石科技正式推出名為「拓元(Vectron)」的國產 Token 優化工廠,企圖從系統層面重新定義 AI 基礎設施的競爭規則。 閆博文指出,過往 AI 基礎設施競賽聚焦於「誰擁有的顯卡多」,但下半場真正的勝負關鍵在於「誰能把卡用好」。根據預測,「十五五」期間中國算力產業總投資將達約 7 兆元,若能將算力利用效率提升十到二十個百分點,便能釋放出兆元級的價值空間,讓各行各業以更低成本進入 AI 應用,並激發更多需求。這樣的背景促使是石科技將研發重心擺在效率優化,而非單純追趕參數規模。 拓元的核心定位是一套完整的 AI Infra 優化體系,涵蓋任務自適應調度、硬體專屬算子庫、模型與推理框架優化,以及異構集群統一管理。在任務層面,系統會根據請求畫像自動匹配最適合的計算鏈路,做到按需分配算力;在算子層面,透過硬體專屬的算子融合編譯,充分釋放每顆國產芯片的極限性能。更重要的是,拓元全面相容超過 10 種國產晶片,包括昇騰、崑崙芯、天數智芯、太初、瀚博半導體、摩爾線程、沐曦、燧原等,並已適配超過 20 個主流大模型,實現異構算力池的統一調度與推理加速,每日 Token 吞吐量達到千億級別。 針對企業實際應用中常見的痛點,是石科技在發佈會上介紹了多項核心技術突破。首先是 KV Cache 壓縮技術,傳統方法多依賴輸入階段判斷信息價值,但在真實業務中模型關注的重點會動態變化。拓元的結果感知驅動壓縮技術能在不犧牲效果的前提下大幅降低顯存壓力,讓長文本應用的運行成本顯著下降。其次,在全模態推理方面,拓元提出基於模態自適應的免訓練 Token 壓縮方法,針對文字、影片、語音等不同輸入精準篩選關鍵 Token,減少無效計算,為多模態時代做好準備。 在長上下文場景中,企業知識庫、智能助手等應用要求模型具備百萬級的超長記憶能力。拓元透過混合位置索引合成的長上下文偏好訓練方法,搭配記憶引導的重讀機制,僅用遠少於同類方法的訓練數據量便達成顯著效果提升。此外,為了讓 AI 能夠自我優化,拓元導入基於元獎勵的可擴展獎勵建模方法,使得部署後的系統能持續根據企業標準修正輸出,大幅降低人工反饋的需求。針對智能體在執行長程任務時容易出現資訊判斷失誤的問題,拓元也開發了目標導向的記憶策略,突破稀疏信息監測與長程建模的資源限制。閆博文總結,這些技術的累積讓模型得以實現更低的訓練成本、更高的上下文理解能力以及更強的複雜推理能力。 是石科技成立於 2021 年,創始團隊源自清華大學計算機系,閆博文本人擁有清華大學航院博士與計算機系博士後背景,核心成員包括高性能計算、人工智慧領域的資深專家,以及來自清華、北大、北京航空航天大學等高校的學者。經過數年快速發展,公司已服務超過 200 家重點客戶,涵蓋互聯網大廠、頭部大模型公司、航空航天、生物製藥與新能源等行業,在並行優化與算力調度上累積了深厚壁壘。 拓元的發布意味著是石科技已將過往的技術能力轉化為可商業化、標準化的產品,正式駛入規模化發展的快車道。閆博文強調,技術創新的最終目的不在實驗室,而在產業價值的創造;同時,拓元也明確了是石科技在國產算力生態中的獨特賽道——作為中間件統一管理異構資源、屏蔽底層差異,幫助中國 AI 產業從「算力服務」走向「Token 服務」,讓原本昂貴且難以充分利用的國產算力,真正變成穩定、高效的生產力。

Related

相關文章

IT之家生成式AI

華為 MateBook Pro 獲國家級人工智能認證 L3 級首證

首頁 > 鴻蒙之家>鴻蒙新聞 華為 MateBook Pro 獲國家級人工智能認證 L3 級首證 2026/7/18 12:30:18 來源:IT之家 作者:馬卡 責編:馬卡 評論: IT之家 7 月 18 日消息,近日,華為 MateBook Pro 獲得國家級人工智能終端智能化分級 L3 等級首證,成為首批通過該國家級人工智能分級標準認證的終端產品。

剛剛
IT之家生成式AI

首款專為智能眼鏡打造的原生 AI 系統:樂奇 YodaOS 亮相 WAIC 2026

首頁 > 智能時代>智能穿戴 首款專為智能眼鏡打造的原生 AI 系統:樂奇 YodaOS 亮相 WAIC 2026 2026/7/18 11:51:02 來源:IT之家 作者:潞源 責編:潞源 評論: IT之家 7 月 18 日消息,2026 世界人工智能大會今天在上海舉行,據《科創板日報》今天報道,樂奇 Rokid 已在現場推出全球首款專為智能眼鏡打造的原生 AI 操作系統 YodaOS。

剛剛
量子位生成式AI

WAIC信息爆炸!大佬們都在說什麼,筆記看這裡

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> WAIC信息爆炸!大佬們都在說什麼,筆記看這裡 聞樂 2026-07-18 11:39:51 來源:量子位 圖靈獎得主、兩院院士……精彩、太精彩 魚羊 文婷 發自 凹非寺 量子位 | 公眾號 QbitAI WAIC(世界人工智能大會)第一天,信息量已經爆炸。 Kimi K3在模型側攪動風雲,而更多來自行業更深處的思考,也在一場場論壇和交流中刷新大傢伙的認知。 從AI時代國家和企業的核心競爭力,到大模型邁向物理世界、邁向AGI所面臨的挑戰,再到Coding之後新的AI產品趨勢……圍繞從技術到產業的方方面面,圖靈獎得主、兩院院士、AI TOP研究者和企業、企業家們共聚一堂,精彩發聲不斷: “AI時代,大學最根本的使命是培養下一代人才,而不是做研究。” “靜態數據標註已達天花板,下一代AI核心路線是經驗驅動。” “AI產業下一輪爆發將來自智能體模型與下一代終端產品的結合。” …… △到處下餃子 重點有點多,腦袋有點過載。 沒關係,量子位已經第一時間做好筆記,一起來看。 AI新競爭 John Hopcroft:人才是AI時代的核心競爭力 圖靈獎得主、美國康奈爾大學榮休教授、中國科學院外籍院士John E. Hopcroft認為,信息革命將產生極其深遠的影響,各國都應針對這種變革制定應對戰略。 其中的一大難點是,AI可能還會持續發生重大變化。Hopcroft教授提出,因此,一項好的戰略必須具備適應變化的韌性。而最能適應變化的戰略,就是培養能夠探索並且應對全新發展方向的人才。 核心觀點: 在未來,人才才是核心競爭力,致力於培養人才的國家將成為世界領先的強國。

剛剛
IT之家生成式AI

國家能源局:將加快構建新型能源體系,賦能 AI 發展

2026 年世界人工智能大會於 7 月 17 日在上海正式開幕,會中一場聚焦「人工智能與能源雙向賦能」的分論壇,成為各界關注的焦點。國家能源局負責人在該場論壇上對外披露,中國將加速推動新型能源體系的建設,為蓬勃發展的人工智能產業提供綠色電力支撐,讓 AI 的成長路徑與低碳轉型緊密結合。 國家能源局局長王宏志在論壇發言中指出,目前全社會用電量中,每十度電就有將近四度來自於綠電。

剛剛
鈦媒體生成式AI

WAIC,我們看到這六個趨勢

WAIC,我們看到這六個趨勢定焦One2026.07.18 10:22 · 來自福建全文6102字00:00 / 18:18大模型不再比誰大,機器人忙著打工。文 | 定焦One(dingjiaoone),作者 | 陳丹,編輯 | 魏佳這幾天,比上海高溫更火熱的,是2026世界人工智能大會(以下簡稱“WAIC”)現場。

剛剛