開發者要基座模型，螞蟻真給了！6大訓練關鍵節點同步開源
作者 | 楊京麗 編輯 | 李水青 8月20日報道，今日，螞蟻百靈開源Ling-3.0-tiny-base和Ling-3.0-flash-base。除最終Base模型權重外，團隊還同步開放了兩款模型的預訓練和中期訓練權重，共計6個checkpoints。此前，Ling-3.0-flash於7月24日發佈，8月7日開源；輕量級模型Ling-3.0-tiny則於8月11日開源。距離Tiny開源僅9天，螞蟻百靈又進一步開放了兩款模型未經後訓練的Base版本。Ling-3.0-tiny-base總參數量為7.9B、激活參數量為1.
3B，適合代碼領域訓練、預算敏感的強化學習研究及模型行為研究等；Ling-3.0-flash-base總參數量為124B、激活參數量為5.1B，可用於代碼、複雜推理、長上下文及專業領域模型的繼續訓練。此次開放覆蓋預訓練、中期訓練和WSM合併三個階段，開發者可根據自身數據、任務和研究目標，選擇不同的訓練起點。WSM（Warmup-Stable and Merge）是一種面向大模型預訓練的學習率方案，它以多個checkpoints加權合併，代替傳統的學習率衰減，使模型更適合持續預訓練和動態擴展數據。由於兩款模型採用統一訓練方案，開發者可以先在Ling-3.
0-tiny-base上低成本驗證訓練策略，再將有效方法擴展至Ling-3.0-flash-base。Ling-3.0-tiny-base開源地址： Hugging Face： https://huggingface.co/inclusionAI/Ling-3.0-tiny-base https://huggingface.co/inclusionAI/Ling-3.0-tiny-base-30T https://huggingface.co/inclusionAI/Ling-3.0-tiny-base-midtrain ModelScope： https://www.modelscope.
cn/models/inclusionAI/Ling-3.0-tiny-base https://www.modelscope.cn/models/inclusionAI/Ling-3.0-tiny-base-30T https://www.modelscope.cn/models/inclusionAI/Ling-3.0-tiny-base-midtrain Ling-3.0-flash-base開源地址： Hugging Face： https://huggingface.co/inclusionAI/Ling-3.0-flash-base https://huggingface.
co/inclusionAI/Ling-3.0-flash-base-30T https://huggingface.co/inclusionAI/Ling-3.0-flash-base-midtrain ModelScope： https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-base https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-base-30T https://www.modelscope.
cn/models/inclusionAI/Ling-3.0-flash-base-midtrain 一、開放6個checkpoints，可自行選擇訓練起點 8月以來，Ling-3.0-flash和Ling-3.0-tiny陸續開源。此後，有開發者在Ling-3.0-tiny的Hugging Face社區中提出，希望團隊進一步開放Base模型。他認為，Tiny的模型規模和稀疏架構對預算有限的研究者很有吸引力，適合開展強化學習rollout和麵向具體場景的後訓練；相比已經完成後訓練的模型，社區更需要一個能夠繼續塑造的Base Model。
▲開發者希望開源Base模型（圖源：Hugging Face） 於是，百靈今天開源Ling-3.0-tiny-base和Ling-3.0-flash-base。此次開放的6個checkpoints覆蓋三個階段：預訓練checkpoint已完成大規模預訓練，尚未進行中期訓練、WSM合併和後訓練；中期訓練checkpoint已完成中期訓練，尚未進行WSM合併和後訓練；最終Base checkpoint則已基於中期訓練checkpoint完成WSM合併，尚未進行後訓練。
▲本次開源的6個checkpoints（圖源：百靈大模型） 這些checkpoints可用於持續預訓練、領域監督微調、偏好優化、強化學習後訓練、模型蒸餾，以及長上下文和MoE系統研究。Ling-3.0系列在中期訓練結束後，採用WSM方法，以checkpoint加權合併替代傳統的學習率衰減。由於不再設置固定的學習率衰減階段，模型更適合持續預訓練和動態擴展數據。研究者還可以在訓練結束後，離線探索不同的學習率“衰減曲線”。Ling-3.0-tiny-base與Ling-3.0-flash-base採用統一的訓練方案。開發者可以先在Ling-3.
0-tiny-base上低成本驗證訓練策略，再將有效方法擴展到規模更大的Ling-3.0-flash-base。二、Tiny主打低成本後訓練，Flash強化代碼和長上下文 Ling-3.0-tiny-base總參數量為7.9B，激活參數1.3B。其總參數量約為前代Ling-2.5-mini-base的一半，但在多數評測中取得了更高成績，代碼能力尤為突出。▲Ling-3.
0-tiny-base評測對比（圖源：百靈大模型） 該模型適合開展代碼領域的持續預訓練、監督微調和後訓練，用於預算敏感的強化學習Rollout與後訓練研究，也可以用於高校教學、模型行為研究、MoE消融實驗，還可針對具體行業和任務驗證領域適配路線。Ling-3.0-flash-base總參數量為124B，激活參數量為5.1B，具備更充足的參數容量與稀疏激活設計。模型在代碼、複雜推理和長上下文方向表現突出。與總參數量約為其2至3倍的部分Base模型相比，其整體成績仍具競爭力。▲Ling-3.
0-flash-base評測對比（圖源：百靈大模型） 該模型可以作為大型代碼庫、專業推理和長流程Agent的訓練底座，也適合金融、醫療、科研和工業等領域的持續預訓練與後訓練。不過百靈提醒，Base Model並非已經完成指令對齊的聊天模型，不建議未經後訓練便直接將其部署為面向終端用戶的聊天服務，也不建議未經額外對齊和評估便用於安全關鍵型應用。用於生產環境前，還需要完成針對具體任務的後訓練、評估和驗證。結語：從開放模型權重，到開放訓練關鍵節點 相比只開放完成後訓練的模型，此次螞蟻百靈進一步開放了預訓練、中期訓練和WSM合併三個階段的checkpoints，為開發者提供了多個可繼續訓練的起點。
Tiny和Flash模型採用統一訓練方案，也為模型訓練提供了一條從小規模驗證到大規模擴展的路徑。未來，這些基座模型能否在代碼、專業領域及強化學習研究中衍生出更多模型，將成為此次開源價值的重要檢驗，也期待後續有更多大模型廠商開放基座模型，為開發者提供更具可塑性的訓練底座。
Related
相關文章
AI 浪潮下的社區無奈謝幕:知名反編譯追蹤網站decomp.dev宣佈關閉
該網站曾致力於集中展示匹配反編譯的進展，並凝聚志同道合的技術愛好者。然而，隨著近年來人工智能技術的迅猛發展，開源協作生態遭到嚴重破壞，創始人最終決定讓其退居為歷史數據存檔。匹配反編譯長期以來是一項極度耗時且艱難的任務。自2026年初 Opus4.
AI 系統 RFdiffusion3 能從原子層面造蛋白：實驗裡真能幹活
更硬核的是，用它全新設計的蛋白質，已在真實化學反應中兌現了預期功能。由美國華盛頓大學、英國牛津大學、英偉達等機構組成的國際團隊搭建了這套系統，可對單個原子建模，專門用於設計蛋白質與核酸，相關成果於當地時間 16 日刊登在國際期刊《科學》上。
迪士尼將以2000萬美元收購Character.AI部分資產並接納核心團隊
據彭博社披露的法律文件顯示，迪士尼已同意以2000萬美元收購 Character.AI 的部分資產，並向至少60名員工（佔其員工總數的大多數）提供總額約6000萬美元年薪的就業機會，目前絕大多數受邀員工已接受試探性報價。此次收購與人才吸納，凸顯了傳統娛樂巨頭在人工智能浪潮下對垂直領域技術團隊的深度整合。
不操控鍵鼠、自己寫代碼：4 個 Gemini 智能體在《我的世界》裡自主組隊擊敗末影龍
4個 Gemini4Argon 通用編碼智能體，在沒有人類替它們分派任何角色的情況下，僅憑遊戲內的聊天頻道和一份共享筆記，就自己商量著完成了分工，然後一頭扎進一個隨機生成的《我的世界》生存世界裡。這場硬仗打了27小時14分鐘，它們最終通關，把末影龍撂倒。
垂直大模型"同源觀瀾"在福州發佈：用 AI 把兩岸共同歷史記憶"激活"
10月18日，中華文化傳承與兩岸融合發展垂直大模型"同源觀瀾"在福建師範大學旗山校區正式發佈，它的使命很明確——用數字技術把兩岸共享的歷史記憶重新盤活。福建師範大學校長鄭家建點出了這套系統要解決的真實痛點:涉臺檔案資料浩如煙海，整理和考辨的難度極高。
Vercel數據表明決策模型Jev成史上採用最快AI模型
Jev於9月15日限量發佈，通過限制預設輸出數量實現更高速度與更低成本，成為快速分類大量數據的理想選擇，並已促使OpenAI和亞馬遜等公司推出競品。作為早期採用者，Vercel已利用Jev取代GPT-6Luna來識別有害指令。相關數據源自類似OpenRouter的統一 API 服務VercelAI網關，該報告同時指出開源模型已佔據處理代幣的70% 以上及總支出的近25%，而前沿實驗室支出亦實現十倍增長。