天數智芯天垓300實測對標H200，國產GPU接下來拼什麼？

在實測場景中達到H200的性能水平後，國產GPU的競爭，開始進一步轉向系統效率、軟件適配與實際交付。本週的天數智芯媒體開放日上，最新一代天垓300與H200的實機對比，是最直觀的性能展示。讓GPU與專用芯片組成異構系統，是對推理效率的新探索。軟件棧引入Agent與Skills，則試圖解決客戶部署、適配和優化的工程難題。天數智芯表示，今年完成的一組第三方測試中，在典型PD分離部署下，天垓300折算單卡端到端吞吐達到H200的1.05倍。這表明國產通用GPU在特定高端推理負載中，已經擁有與H200直接競爭的性能基礎。但從性能接近到客戶採購，再到持續擴容，中間仍隔著系統效率、軟件適配和穩定交付。

當硬件具備競爭力，國產GPU怎樣把這種能力轉化為客戶持續使用的理由？當推理催生更多專用芯片，通用GPU的獨特價值是什麼？從雲端天垓300到端側彤央系列，天數智芯也在拓展產品佈局，將競爭延伸到不同形態的算力需求中。天垓300對比H200實測，性能小幅領先過去很長一段時間，峰值算力是國產AI芯片受到關注的重要指標。但對最終用戶而言，設備每秒真正產出多少有效Token，比參數表上的理論算力更接近採購決策。天數智芯披露的第三方測試覆蓋四大主流模型、三類場景。其中，1.05倍指典型PD分離部署下，折算單卡的整體端到端吞吐，反映的是特定模型與部署條件下的系統表現。

另外，根據天數智芯性能實驗室的數據，在GLM-5.3的64K長上下文場景下，保障同等用戶體驗時，天垓300的MoE吞吐達到H200的1.15倍。在8K至128K長上下文的Agent場景中，首字延遲較H200降低約10%至30%。前者關係到系統能夠承接多少請求，後者關係到用戶發出請求後需要等待多久，它們對應不同工作負載與性能指標。天垓300能夠在這些場景中取得性能領先，一個關鍵是針對實際負載進行了架構優化。基於天樞架構的天垓300，單卡顯存容量達到144GB，並圍繞Attention、MoE等計算環節進行優化。長上下文需要容納更多狀態，也增加了Attention計算壓力。

MoE雖然通過激活部分專家控制計算量，卻帶來了小規模矩陣計算、專家分配和數據交換等新問題。為此，天垓300讓Tensor Core與Vector Core並行處理Attention中的矩陣運算和Softmax等向量操作，同時針對MoE中的小規模矩陣、低精度計算與通信協同進行優化。這些針對性設計，有助於減少不同計算環節之間的等待，把更多硬件資源轉化為實際產出。此次披露的測試與現場演示，展現了天垓300進入高端推理實際競爭區間的能力。對客戶而言，下一步要比較的，是在同樣的響應要求下，系統能承接多少請求、持續運行表現如何，以及需要付出多少設備、電力和運維成本。

推理需求催生專用芯片，GPU的價值會被削弱嗎？隨著推理需求快速增加，以LPU為代表的專用推理芯片備受關注，不同計算環節對硬件的要求也進一步分化。Prefill處理輸入，通常更偏向計算密集型任務；Decode逐步生成Token，更容易受到訪存、任務啟動和同步開銷的影響。進一步拆開，Attention與FFN對計算、帶寬和存儲的需求也不相同。當某類任務足夠穩定、規模足夠大，專用芯片就有機會通過針對性設計，獲得更好的性能或能效。讓一種通用GPU處理所有環節，未必始終對應最低的成本。天數智芯展示的AFD分離方案，就是對這種分工的回應。

它在Prefill與Decode分離的基礎上，繼續拆分Decode階段的Attention與FFN：天垓300承擔Prefill全流程計算，以及Decode中的Attention；合作廠商的XPU承擔FFN專家網絡計算。運行過程中，GPU把中間激活數據發送給XPU，XPU完成計算後返回結果，繼續推進模型生成。天數智芯給出的對比結果顯示，在所展示的方案中，Decode推理延遲降低60%。天數智芯AI與加速計算負責人單天逸表示：“未來的AI算力系統，不一定由一種芯片包打天下。關鍵是如何把它們高效組織起來，讓整個系統發揮更大的價值。

”異構分工為不同芯片提供了合作空間，GPU的通用性則關係到系統能否持續適應模型變化。天數智芯副總裁鄒翾對表示，專用硬件可以在固定工作負載中實現較大的性能提升，但模型與算法仍在快速迭代，公司堅持以通用框架為基礎，結合專用加速能力。客戶採購設備後，需要持續使用，模型結構、算子和精度需求卻可能不斷變化。GPGPU平臺的通用性提供了繼續適配的空間，減少設備與單一計算路徑綁定的風險。強化學習、科學計算和物理仿真，也讓計算需求超出了單一推理任務。天數智芯此次展示這些應用，同樣體現了GPGPU通用架構更廣的使用範圍。推理時代，專用芯片可能分走GPU的部分計算任務，GPU仍能憑藉通用性參與更廣泛的計算。

對國產GPU而言，找到高效分工的位置，通過互聯、調度和軟件鞏固這種價值，成為持續吸引客戶的關鍵。從性能展示走向商業化，借AI降低軟件門檻異構分工越細，軟件需要承擔的工作就越多。硬件提供了選擇，軟件決定這些選擇能否變成可交付的服務。據天數智芯介紹，其已服務380多個客戶、覆蓋30多個行業。按照積累的項目經驗，客戶應用遷移通常在小時以內，性能優化則可能需要數天至一週。模型跟進與遷移效率，也是影響客戶復購的重要條件。為此，天數智芯的軟件棧引入了Agent與Skills，降低部署和優化過程中的工程成本。

Skills把經過驗證的步驟、判斷方法和驗收要求組織起來，Agent調用已有工具，讀取執行反饋，再推進下一步。原本依賴工程師查文檔、配環境、讀日誌和反覆試錯的工作，有機會部分轉化為可複用的流程。PD分離部署是一個具體例子。它需要分別配置Prefill和Decode實例，傳遞KV Cache，並打通請求路由與調度。單個組件運行正常，並不意味著整條服務鏈路已經可用。按照現場介紹，在所展示的完整模型服務部署案例中，從環境準備到模型正常提供服務，用時由約一小時縮短至約20分鐘，人工操作減少為兩次目標輸入。

進一步，Agent可以結合性能工具提供的軌跡與指標，協助判斷瓶頸來自計算、訪存、同步還是調度，再選擇優化動作。需要修改Kernel時，則通過與FlyDSL協同，生成候選實現，完成編譯、正確性檢查和目標硬件上的性能測試。在軟件棧中引入AI的重要意義，是讓原廠專家的經驗能夠服務更多開發者。客戶規模擴大之後，如果每個項目都依賴專家逐一處理，交付和支持能力就容易成為增長瓶頸。天數智芯副總裁石加聖強調：“編譯器、運行時、算法庫和性能工具仍然是技術底座。”Agent讓這些積累更容易調用，也需要依靠它們提供真實反饋。

對國產GPU而言，軟件研發方式的變化，有機會縮短新模型適配與性能優化的週期，並將這些能力更快交到客戶手中。端側600T算力的下一代產品已在路上雲端之外，天數智芯此次也展示了彤央端側產品，並將英偉達Thor T5000作為現場實測對比對象。天數智芯展示的測試結果顯示，在Qwen3.8-27B、Qwen3.6-35B-A3B等大語言模型中，彤央TY1200的性能達到Thor T5000的1.2倍。在英偉達開源的世界基礎模型Cosmos-R2-8B測試中，其性能達到Thor T5000的1.8倍。彤央TY1200提供300 TOPS的INT8稠密算力。

與雲端產品類似，端側競爭也在從標稱算力，轉向具體模型的運行表現，以及設備能否滿足現場業務需求。現場，TY1200展示了離線視頻生成、合同審核和物理仿真等應用。其中，在1056×608分辨率下，生成一段5秒視頻用時約6分鐘，全程在本地完成。圍繞MicroDuck機器鴨的演示，則展示了在本地終端上進行物理仿真、策略訓練與動作驗證的能力。這些應用對應著不同的部署訴求，企業合同和科研資料需要留在本地，機器人需要在現場完成感知與決策，部分模型任務也開始具備端側運行的條件。天數智芯彤央產品市場負責人宋遠盈表示：“雲端GPU廠商做端側，不是把芯片做小，而是把能力下沉。

”雲端積累的模型壓縮、量化和軟硬件協同能力，以及編譯器、算子庫和性能工具，成為其拓展端側市場的基礎。目前，彤央系列通過算力模組與算力終端兩種形態，分別面向自主集成和成品部署需求。天數智芯還預告了下一代端側產品彤央TY2000，稠密算力將達到600T，進一步擴展端側產品的性能空間。從雲端天垓300，到天數智算軟件棧，再到端側彤央系列，天數智芯已經形成從雲到端的產品佈局。雲端承載大規模訓練與推理，端側貼近數據和業務現場，軟件則將模型適配與優化能力延伸到不同產品形態。天垓300與H200的對比，展現了國產GPU在部分高端負載中的競爭能力。彤央與Thor的對比，則將這種競爭延伸到了端側。

更完整的產品佈局，為天數智芯打開了更多應用入口。能否把性能、軟件和交付能力持續轉化為客戶的實際產出，將決定這套從雲到端的佈局能夠走多遠。