供需失衡的窗口期裡,商湯大裝置把國產算力做成了正毛利生意

2026年7月19日 15:05
供需失衡的窗口期裡,商湯大裝置把國產算力做成了正毛利生意

重點摘要

商湯大裝置將國產算力相關業務的毛利率做到正數,打破過去國產芯片難以盈利的既有印象。透過異構混合推理等系統優化,商湯讓高端資源帶動國產芯片協作,預計年底日均Token處理量將達年初的25倍。在當前算力供需失衡的窗口期,商湯憑藉端到端整合與跨場景複用的操作方法論,成功承接市場溢出的算力需求。

站內 AI 整理稿

上海商湯科技在人工智慧基礎設施領域再次交出最新成績單。在剛剛落幕的世界人工智慧大會(WAIC)期間,商湯大裝置對外揭露了國產算力業務的關鍵數據——毛利率正式轉正,從過去「誰買國產芯片誰認虧」的業界共識,逆轉為具備自我造血能力的生意。這項成果背後,是商湯在系統層面所建構的一套完整操作方法論。根據商湯大裝置的數據,預計到今年7月底,其日均Token處理量將從年初的4000億大幅攀升至2.42萬億,年底更有望衝刺10萬億,相當於年初水準的25倍。而在客戶端,國內多家頭部模型廠商的名單,也已陸續納入商湯的服務清單中。

商湯大裝置負責人楊帆直言,過去算力圈廣為流傳的「誰買國產芯片誰認虧」這句話,已經被這組數字直接推翻。撐起這套反轉的關鍵,在於商湯大裝置沒有等待晶片廠商自行填補國產晶片與國際主流高端晶片之間的技術鴻溝,而是率先從系統層面提出一套組合方案。目前,國產大模型本身與世界主流水準已無明顯代際差距,但搭載模型的國產晶片在性能上仍落後國際主流約一個世代。商湯透過異構混合推理技術,把這種硬體落差在實際應用中盡可能地消弭。具體來說,異構混合推理的做法是將模型推論的Prefill(預填充)與Decode(解碼)兩個階段分離。

Decode階段需要一個字一個字輸出,對顯存頻寬要求極高,因此交由性能更強的高端資源承擔;而Prefill階段是一次性處理整個輸入,對算力堆疊的吞吐量需求較大,則交由數量更多的國產晶片負責。透過這種分工,約一塊高端晶片就能拉動約30塊國產晶片協同運作,整體效果與單獨使用高端資源相去不遠。這套組合術並非針對特定晶片量身訂做。商湯大裝置前前後後適配了超過20款不同廠商的國產晶片,目前已有六至七款能穩定實現商業化盈利。而在系統層面,從底層編譯器適配、算子重寫,到上層框架對接與調度策略調整,每一個環節都需要逐一攻克。

商湯在算子層面進行了針對性的重寫與調優,並調整資源分配與調度策略,成功將主流國產晶片的模型算力利用率(MFU)提升了85%至152%。換算成商業指標,單位成本的Token產出因此提升了2.5倍。具體到實際場景,在AI for Science(科學計算)的長序列蛋白質預測任務中,透過融合算子優化,整體預測耗時減少75%;在AIGC視頻生成場景中,國產晶片運行DiT模型時,多卡並行的視頻生成加速比達到93%。這套能力最終被封裝為「Token工廠」的商業模式,任何需要批量處理Token的客戶都能直接向商湯訂購服務。能夠跑通這套混合推理方案,光靠技術優化遠遠不夠。

業界並非沒有人想到類似思路,但商湯大裝置的獨特優勢在於將整條鏈條都掌握在自己手中,因而能夠實現端到端的聯合優化。在行業常規分工中,機房、硬體、批發分銷、零售往往分屬不同公司,層層轉手之間產生大量損耗與摩擦;商湯則選擇自己建機房、採購與運營硬體、開發調度系統,最終直接對接客戶。這種全包打法,最早是從2018年開始適配國產晶片時逐步磨練出來的。商湯大裝置的研發團隊長期與晶片原廠、高校科研機構保持松耦合與緊耦合並存協作模式,平時各自運作,遇到硬骨頭就集中攻克。這套體系今年再添新招——利用AI自動生成算子適配程式碼,將過去工程師手動進行的大量適配工作交給AI處理,大幅壓縮跟上模型迭代所需的人力與時間。

目前這套做法已在商湯的生產環境中大規模運行。算力之外,商湯也將電力一併握在手中,推出「算電協同Agent」。該Agent先用模型預測算力任務的耗電特徵,再與電力調度系統連通,配合峰谷電價與儲能設施調節用電節奏。由此衍生出一個新指標TPW(Tokens per Watt),衡量單位電量的Token產出;實施此方法後,單位電力成本的Token產出提升了約80%。

在生態合作方面,商湯大裝置聯合近20家生態夥伴,包括寒武紀、沐曦股份、中科海光、華為昇騰、摩爾線程、曦望Sunrise、壁仞科技等頭部國產晶片廠商,以及曦智科技這類核心零組件夥伴,還有硅基流動、趨境科技等基礎設施廠商,共同發起國產AI基礎設施生態共建計劃。未來商湯將依託「銀河計劃」,與生態夥伴共建1個Token營運中心、5個萬卡級國產智算集群,圍繞10個核心技術方向進行聯合創新,並賦能200家AI初創組織。科研機構也是商湯布局的重要一環。

WAIC期間,商湯大裝置聯合上海人工智慧實驗室、北京中關村學院、深圳河套學院、上海算法創新研究院、上海交通大學人工智慧學院,啟動科學發現平台戰略合作,涵蓋聯合實驗室建設、重大科研項目協同攻關、科研算力底座、科學智能平台研發、複合型人才培養及科研成果轉化,面向生命科學、新材料、智能製造等重點領域提供AI科研支撐。這套方法論甚至延伸至太空。商湯大裝置與國星宇航簽約,共同探索從地面萬卡集群到在軌多星協同的太空算力合作。

預計2026年,「商湯號」系列算力衛星將完成首發並組網,驗證星地協同計算能力;至2030年,建成天地一體化AI算力星座,形成覆蓋全球的空間智能計算網絡,鎖定應急救災、遠洋船舶、野外機器人等弱網路環境下的即時AI推理場景。商湯當前的高毛利與高成長,同時也得益於特殊的市場節點。今年Agent類應用全面崛起,導致算力需求結構劇變——單次任務處理的上下文長度大幅拉長,整體算力需求較去年成長5到10倍,主流算力供給卻幾乎沒有增加。大廠忙於優先保障內部核心業務,無暇承接第三方客戶的溢出需求,商湯正是在此供需失衡的窗口期中,把這些訂單攬了過來。不過,楊帆也坦言,供給端一旦追上,這輪紅利勢必收窄。

然而,商湯大裝置九年來在AI基礎設施領域所沉澱的,是一套端到端整合、能跨場景複用的操作方法論。從混合推理到算電協同,再到區域布局與太空算力,背後是同一套邏輯在不同場景的應用。隨著具身智能、世界模型、科學計算等新方向不斷湧現,不同場景對算力的要求差異持續加大,單一晶片難以滿足所有需求,這為擅長「組合調度」的商湯留下了長期的發展空間。人工智慧基礎設施這場競賽,最終的決勝關鍵並非晶片本身有多先進,而是能否把手上的資源拼成最優組合——這正是商湯大裝置賭上的核心命題。

Related

相關文章

天才,對AI發展到底有多重要?

加拿大三位科學家傑弗裡·辛頓、約書亞·本希奧和理查德·薩頓對當代人工智慧發展有重大貢獻,凸顯少數天才就能左右一個國家的技術地位。文章從1956年達特茅斯會議談起,探討人工智慧領域的關鍵爭論與發展脈絡。

剛剛

Jeff Dean們,趕在貝葉斯AI到來之前跳船

Jeff Dean 離開任職27年的Google,創辦Discovery Loop公司,目標是讓AI進入持續運行的科學發現循環。Google DeepMind論文《LLM can't jump》指出,科學發現需要從經驗事實跳躍到新原則,而當前大型語言模型缺乏這種跳躍能力。研究顯示貝葉斯AI時代即將到來,大廠正積極補足Agent的基礎建設。

5 小時前

Meta重新支稜起來了?純推理拿下五項奧賽金牌,兩項滿分

Meta近期在人工智慧領域展現出驚人實力,其開發的純推理模型在國際數學奧林匹亞競賽中一舉奪下五面金牌,其中兩項更獲得滿分成績。這項成果不僅凸顯了Meta在AI推理能力上的突破,也讓外界重新審視這家科技巨頭在深度學習與邏輯運算方面的技術積累。 根據相關資訊,這款模型並未依賴外部知識庫或預先訓練的數據,而是透過純粹的推理機制來解決複雜數學問題。在競賽中,它成功應對多道高難度題目,涵蓋代數、幾何與數論等領域,最終以五項金牌的成績證明其演算法的有效性。其中兩項滿分表現,更顯示模型在特定題型上的精準度已達到頂尖水準。

8 小時前

智元下架了首席科學家羅劍嵐

智元機器人官網合夥人團隊名單中已移除首席科學家羅劍嵐,其個人社群簡介也不再提及智元職務,疑似離職,但官方尚未證實。羅劍嵐於2025年4月加入智元,任職約1年4個月,期間主導真機強化學習與具身智能研究,此次人事變動發生在公司啟動赴港上市流程之後。

11 小時前