全球首發 | SLAI基於國產算力集群完成DeepSeek-V4-Pro全參數後訓練

在小說閱讀器讀本章去閱讀在小說閱讀器中沉浸閱讀當今人工智能時代，基於國產算力的大模型高效訓練和推理是國家發展戰略的大問題。DeepSeek-V4-Pro在效率和性能方面是業界大模型的傑出代表。DeepSeek-V4-Pro已經成功完成在國產算力上推理部署，但訓練還未完全實現國產算力化。在此背景下，深圳河套學院Al訓練平臺項目團隊，聯合哈爾濱工業大學(深圳)、深圳市大數據研究院、華為GTS(全球技術服務)、計算產品線、2012實驗室，協同深智城AI算力平臺，面向國產算力大模型訓練開展聯合攻關。目前，僅用1個月時間，項目已基於昇騰910C國產算力集群實現DeepSeek-V4-Pro全參數續訓練/SFT穩定運行，完成長穩訓練1500+步，訓練MFU超30%，關鍵訓練算子效率提升14%。據公開資料檢索，本工作是公開可查範圍內，業界首個由第三方機構基於國產算力集群完成的DeepSeek-V4-Pro全參數後訓練工程實踐，標誌著國產AI基礎設施正在從推理部署和輕量化微調邁向超大模型全參數後訓練。 01為什麼萬億級模型的“全參數後訓練”是一塊硬骨頭？DeepSeek-V4-Pro，一款1.6萬億參數級MoE開源旗艦模型，採用了CSA+HCA混合稀疏注意力、mHC連接等新機制。相比於上一代DeepSeek-V3/R1，它對國產訓練框架提出了全方位的“極限挑戰”。稀疏MoE結構：專家路由帶來的跨節點通信，是傳統密集模型的數十倍；混合稀疏注意力：注意力模式的動態切換，對算子效率和顯存管理極為敏感；萬億參數級狀態：權重、梯度、激活、優化器狀態——僅單副本就需數TB顯存。 02核心進展：千卡集群上，1500+步穩定奔跑經過聯合攻關，項目已基於千卡級昇騰 910C 國產算力集群，成功實現DeepSeek-V4-Pro在國產算力集群上的全參數後訓練穩定運行。長穩SFT訓練：完成1500+步迭代，skipped iterations = 0，NaN iterations = 0；訓練效率：MFU（模型算力利用率）達到約30%，關鍵訓練算子計算效率較初始版本提升約14%；最終表現：在昇騰超節點上，MFU穩定在34.9%。與此同時，DeepSeek-V4-Flash的全參數續訓練與SFT鏈路也已同步打通。DeepSeek-V4-Pro@昇騰超節點訓練，MFU最終穩定在34.9% 一組數據足以說明差距：在同等參數量下，業界公開的國產算力全參數後訓練案例幾乎為零。而我們將一個1.6T MoE模型，在千卡集群上以27秒/步的穩定節奏，連續奔跑1500餘步——這不是實驗室的“單次演示”，而是可復現、可工程化交付的穩定能力。更重要的是，該平臺已快速驗證了垂直領域價值。團隊圍繞工業級自動化運籌建模場景，在數週內完成了從數據生產、樣本篩選、訓練鏈路打通到效果評測的閉環驗證。這意味著：國產算力平臺不僅能夠“訓大模型”，更能“訓好行業模型”——以短週期、低成本構建面向專業任務的增強能力。 03三大關鍵技術突破：從“能跑”到“能訓、訓穩、訓優”本次攻關面向DeepSeek-V4-Pro全參數後訓練，而非LoRA等少量參數微調。聯合團隊在以下三個層面實現了系統性突破：1. 分佈式承載：1.6T參數的“顯存拼圖”洞察： 萬億參數不能只靠顯存大，更要靠“放得巧”。項目成功構建了權重、梯度、激活、優化器狀態的分佈式承載方案，使得數據並行、張量並行、流水並行與專家並行四者協同工作。每一張卡上，該放什麼、怎麼放、如何動態調度——這套“顯存拼圖”是穩定訓練的地基。2. 稀疏與通信：讓專家不“吵架”，讓注意力不“堵車”洞察： MoE模型訓練最怕“專家負載失衡”和“跨節點通信風暴”。團隊針對混合稀疏注意力、MoE路由、歸一化、矩陣計算等關鍵訓練算子進行了深度適配與優化，算子效率較初始版本提升14%。同時建立了專家負載的實時監控與均衡機制，避免部分專家過載而部分專家閒置。3. 長穩監控：當訓練跑上幾天幾夜，誰來守夜？洞察： 全參數後訓練最可怕的不是慢，而是“跑著跑著就崩了”。聯合團隊搭建了一套完整的監控體系：Loss曲線、梯度範數、專家負載、顯存佔用、異常自動恢復……所有指標均可視、可告警、可自愈。在1500+步的訓練中，未出現一次Loss失控或NaN值——這是“長穩能力”最直接的證明。 04實戰驗證：數學建模能力在後訓練中顯著躍升為了檢驗DeepSeek-V4在昇騰集群上進行全參數後訓練的真實價值，項目設計了一項“硬核”實驗：增強大模型的數學建模能力。團隊搭建了一條SFT建模數據生產workflow，產出3000條高質量數學建模任務SFT樣本，覆蓋4類目標任務和3種問題形態。隨後，對DeepSeek-V4進行後訓練。優化建模SFT數據飛輪流程訓練曲線給出了清晰的信號：LM loss從高位快速下降，最終收斂至0.2056；MTP-1 loss收斂至0.2538；梯度範數平穩下降，未出現震盪或發散；單步耗時穩定在27秒左右。3K SFT訓練過程概覽更直觀的結果來自Benchmark對比：四項關鍵指標均顯著超越原模型，其中ORGEval WL提升超過5個百分點。這意味著：在國產算力上完成的全參數後訓練，不僅能“跑穩”，更能“訓強”——模型在複雜推理任務上的能力得到了真實增益。05以戰育才：在真實攻關中培養“能訓大模型”的人本次攻關的另一個獨特價值，在於它是一次人才培養模式的範式實驗。深圳河套學院將萬億級模型訓練攻關作為“練兵場”，把學生直接嵌入國產算力真實訓練場景。截至目前，項目已培養學生42名，形成了由青年教師指導、博士生核心攻堅、工程團隊支撐的協同培養機制。在這一過程中，同學們不只是參與項目進展，更是承擔具體任務的“戰鬥員”：有的負責訓練數據構造與樣本質量分析，有的負責分佈式並行策略驗證，有的跟進長穩監控與異常恢復，有的撰寫技術報告與工程文檔。一次訓練啟動、一次報錯定位、一次參數調整、一次結果覆盤——在這些真實而瑣碎的工程實踐中，學生們從“會調用大模型”真正走向了“理解並參與訓練大模型”。能力提升體現在三個方面：建立了對國產算力大模型訓練全鏈路的系統性認識；掌握了從領域數據到模型能力增強的全過程實操能力；在真實項目中形成了問題拆解、實驗設計、訓練覆盤與團隊協作的工程素養。後續，這些真實任務將沉澱為課程案例、實訓資源和學生科研項目，將持續支撐深圳河套學院培養“懂模型、懂系統、能工程、敢攻關”的高水平復合型AI人才。項目團隊開展技術覆盤與學生實戰培養06未來展望：從“全參數後訓練”走向“Agentic RL + 超長上下文”下一階段，深圳河套學院將繼續聯合哈爾濱工業大學（深圳）、深圳市大數據研究院、華為GTS(全球技術服務)、計算產品線、2012實驗室、深智城等合作伙伴，在現有全參數續訓練/SFT鏈路基礎上，重點推進三項任務：1. 訓練效率再突破持續優化訓練框架與關鍵算子，進一步提升訓練效率（MFU），降低萬億模型訓練的算力成本。2. 超長上下文訓練支撐512K至1M超長上下文訓練，提升複雜專業任務中的長文檔理解與長鏈路推理能力；3. 強化學習後訓練閉環突破DeepSeek-V4-Pro強化學習後訓練技術，圍繞數學建模優化、代碼Agent、長上下文推理等任務，構建rollout生成 → 工具執行 → reward/verifier → 策略更新 → 評測反饋的完整Agentic RL鏈路。同時，項目將堅定推進技術開源與人才培養沉澱：分階段開放訓練配置、評測腳本、合成數據、技術報告及相關模型與框架能力；將真實訓練任務、數據構造方法、故障排查案例和評測流程轉化為課程案例與實訓任務；持續完善“國產算力支撐、真實任務牽引、學生團隊實戰、工程能力沉澱”的培養路徑。在此基礎上，項目還將依託這一訓練場，開展新一代通用人工智能的基礎理論、新範式和新架構的研究——包括符號、連接與行為主義有機融合，從單一智能體到群體智能再到人機融合的建模探索。結語DeepSeek-V4-Pro在國產算力上的全參數後訓練，不是一次孤立的工程突破。它驗證了一條道路：國產開源旗艦模型 + 國產AI算力 + 高水平訓練團隊 + 國產廠商技術支持——這個四角閉環，是可持續的、可複製的、可信任的。它發出了一聲宣告：國產AI基礎設施，從今天起，不再只是“能推理”，而是真正“能訓練、能訓穩、能訓優”。更重要的是，它點燃了一個希望：在下一代通用人工智能的征途上，中國的高校、科研機構和年輕學子，可以站在自己的算力土壤上，開展人工智能的研究，親手訓練屬於自己的萬億模型。這不是終點，而是發令槍。?項目後續將逐步開源技術報告、訓練配置與評測腳本，敬請關注深圳河套學院官方發佈。