開發者要基座模型，螞蟻真給了！6大訓練關鍵節點同步開源

作者 | 楊京麗 編輯 | 李水青 8月20日報道，今日，螞蟻百靈開源Ling-3.0-tiny-base和Ling-3.0-flash-base。除最終Base模型權重外，團隊還同步開放了兩款模型的預訓練和中期訓練權重，共計6個checkpoints。此前，Ling-3.0-flash於7月24日發佈，8月7日開源；輕量級模型Ling-3.0-tiny則於8月11日開源。距離Tiny開源僅9天，螞蟻百靈又進一步開放了兩款模型未經後訓練的Base版本。Ling-3.0-tiny-base總參數量為7.9B、激活參數量為1.

3B，適合代碼領域訓練、預算敏感的強化學習研究及模型行為研究等；Ling-3.0-flash-base總參數量為124B、激活參數量為5.1B，可用於代碼、複雜推理、長上下文及專業領域模型的繼續訓練。此次開放覆蓋預訓練、中期訓練和WSM合併三個階段，開發者可根據自身數據、任務和研究目標，選擇不同的訓練起點。WSM（Warmup-Stable and Merge）是一種面向大模型預訓練的學習率方案，它以多個checkpoints加權合併，代替傳統的學習率衰減，使模型更適合持續預訓練和動態擴展數據。由於兩款模型採用統一訓練方案，開發者可以先在Ling-3.

0-tiny-base上低成本驗證訓練策略，再將有效方法擴展至Ling-3.0-flash-base。Ling-3.0-tiny-base開源地址： Hugging Face： https://huggingface.co/inclusionAI/Ling-3.0-tiny-base https://huggingface.co/inclusionAI/Ling-3.0-tiny-base-30T https://huggingface.co/inclusionAI/Ling-3.0-tiny-base-midtrain ModelScope： https://www.modelscope.

cn/models/inclusionAI/Ling-3.0-tiny-base https://www.modelscope.cn/models/inclusionAI/Ling-3.0-tiny-base-30T https://www.modelscope.cn/models/inclusionAI/Ling-3.0-tiny-base-midtrain Ling-3.0-flash-base開源地址： Hugging Face： https://huggingface.co/inclusionAI/Ling-3.0-flash-base https://huggingface.

co/inclusionAI/Ling-3.0-flash-base-30T https://huggingface.co/inclusionAI/Ling-3.0-flash-base-midtrain ModelScope： https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-base https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-base-30T https://www.modelscope.

cn/models/inclusionAI/Ling-3.0-flash-base-midtrain 一、開放6個checkpoints，可自行選擇訓練起點 8月以來，Ling-3.0-flash和Ling-3.0-tiny陸續開源。此後，有開發者在Ling-3.0-tiny的Hugging Face社區中提出，希望團隊進一步開放Base模型。他認為，Tiny的模型規模和稀疏架構對預算有限的研究者很有吸引力，適合開展強化學習rollout和麵向具體場景的後訓練；相比已經完成後訓練的模型，社區更需要一個能夠繼續塑造的Base Model。

▲開發者希望開源Base模型（圖源：Hugging Face） 於是，百靈今天開源Ling-3.0-tiny-base和Ling-3.0-flash-base。此次開放的6個checkpoints覆蓋三個階段：預訓練checkpoint已完成大規模預訓練，尚未進行中期訓練、WSM合併和後訓練；中期訓練checkpoint已完成中期訓練，尚未進行WSM合併和後訓練；最終Base checkpoint則已基於中期訓練checkpoint完成WSM合併，尚未進行後訓練。

▲本次開源的6個checkpoints（圖源：百靈大模型） 這些checkpoints可用於持續預訓練、領域監督微調、偏好優化、強化學習後訓練、模型蒸餾，以及長上下文和MoE系統研究。Ling-3.0系列在中期訓練結束後，採用WSM方法，以checkpoint加權合併替代傳統的學習率衰減。由於不再設置固定的學習率衰減階段，模型更適合持續預訓練和動態擴展數據。研究者還可以在訓練結束後，離線探索不同的學習率“衰減曲線”。Ling-3.0-tiny-base與Ling-3.0-flash-base採用統一的訓練方案。開發者可以先在Ling-3.

0-tiny-base上低成本驗證訓練策略，再將有效方法擴展到規模更大的Ling-3.0-flash-base。二、Tiny主打低成本後訓練，Flash強化代碼和長上下文 Ling-3.0-tiny-base總參數量為7.9B，激活參數1.3B。其總參數量約為前代Ling-2.5-mini-base的一半，但在多數評測中取得了更高成績，代碼能力尤為突出。▲Ling-3.

0-tiny-base評測對比（圖源：百靈大模型） 該模型適合開展代碼領域的持續預訓練、監督微調和後訓練，用於預算敏感的強化學習Rollout與後訓練研究，也可以用於高校教學、模型行為研究、MoE消融實驗，還可針對具體行業和任務驗證領域適配路線。Ling-3.0-flash-base總參數量為124B，激活參數量為5.1B，具備更充足的參數容量與稀疏激活設計。模型在代碼、複雜推理和長上下文方向表現突出。與總參數量約為其2至3倍的部分Base模型相比，其整體成績仍具競爭力。▲Ling-3.

0-flash-base評測對比（圖源：百靈大模型） 該模型可以作為大型代碼庫、專業推理和長流程Agent的訓練底座，也適合金融、醫療、科研和工業等領域的持續預訓練與後訓練。不過百靈提醒，Base Model並非已經完成指令對齊的聊天模型，不建議未經後訓練便直接將其部署為面向終端用戶的聊天服務，也不建議未經額外對齊和評估便用於安全關鍵型應用。用於生產環境前，還需要完成針對具體任務的後訓練、評估和驗證。結語：從開放模型權重，到開放訓練關鍵節點 相比只開放完成後訓練的模型，此次螞蟻百靈進一步開放了預訓練、中期訓練和WSM合併三個階段的checkpoints，為開發者提供了多個可繼續訓練的起點。

Tiny和Flash模型採用統一訓練方案，也為模型訓練提供了一條從小規模驗證到大規模擴展的路徑。未來，這些基座模型能否在代碼、專業領域及強化學習研究中衍生出更多模型，將成為此次開源價值的重要檢驗，也期待後續有更多大模型廠商開放基座模型，為開發者提供更具可塑性的訓練底座。