開發者要基座模型,螞蟻真給了!6大訓練關鍵節點同步開源

2026年8月20日 15:45
站內 AI 整理稿

作者 | 楊京麗 編輯 | 李水青 8月20日報道,今日,螞蟻百靈開源Ling-3.0-tiny-base和Ling-3.0-flash-base。除最終Base模型權重外,團隊還同步開放了兩款模型的預訓練和中期訓練權重,共計6個checkpoints。此前,Ling-3.0-flash於7月24日發佈,8月7日開源;輕量級模型Ling-3.0-tiny則於8月11日開源。距離Tiny開源僅9天,螞蟻百靈又進一步開放了兩款模型未經後訓練的Base版本。Ling-3.0-tiny-base總參數量為7.9B、激活參數量為1.

3B,適合代碼領域訓練、預算敏感的強化學習研究及模型行為研究等;Ling-3.0-flash-base總參數量為124B、激活參數量為5.1B,可用於代碼、複雜推理、長上下文及專業領域模型的繼續訓練。此次開放覆蓋預訓練、中期訓練和WSM合併三個階段,開發者可根據自身數據、任務和研究目標,選擇不同的訓練起點。WSM(Warmup-Stable and Merge)是一種面向大模型預訓練的學習率方案,它以多個checkpoints加權合併,代替傳統的學習率衰減,使模型更適合持續預訓練和動態擴展數據。由於兩款模型採用統一訓練方案,開發者可以先在Ling-3.

0-tiny-base上低成本驗證訓練策略,再將有效方法擴展至Ling-3.0-flash-base。Ling-3.0-tiny-base開源地址: Hugging Face: https://huggingface.co/inclusionAI/Ling-3.0-tiny-base https://huggingface.co/inclusionAI/Ling-3.0-tiny-base-30T https://huggingface.co/inclusionAI/Ling-3.0-tiny-base-midtrain ModelScope: https://www.modelscope.

cn/models/inclusionAI/Ling-3.0-tiny-base https://www.modelscope.cn/models/inclusionAI/Ling-3.0-tiny-base-30T https://www.modelscope.cn/models/inclusionAI/Ling-3.0-tiny-base-midtrain Ling-3.0-flash-base開源地址: Hugging Face: https://huggingface.co/inclusionAI/Ling-3.0-flash-base https://huggingface.

co/inclusionAI/Ling-3.0-flash-base-30T https://huggingface.co/inclusionAI/Ling-3.0-flash-base-midtrain ModelScope: https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-base https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-base-30T https://www.modelscope.

cn/models/inclusionAI/Ling-3.0-flash-base-midtrain 一、開放6個checkpoints,可自行選擇訓練起點 8月以來,Ling-3.0-flash和Ling-3.0-tiny陸續開源。此後,有開發者在Ling-3.0-tiny的Hugging Face社區中提出,希望團隊進一步開放Base模型。他認為,Tiny的模型規模和稀疏架構對預算有限的研究者很有吸引力,適合開展強化學習rollout和麵向具體場景的後訓練;相比已經完成後訓練的模型,社區更需要一個能夠繼續塑造的Base Model。

▲開發者希望開源Base模型(圖源:Hugging Face) 於是,百靈今天開源Ling-3.0-tiny-base和Ling-3.0-flash-base。此次開放的6個checkpoints覆蓋三個階段:預訓練checkpoint已完成大規模預訓練,尚未進行中期訓練、WSM合併和後訓練;中期訓練checkpoint已完成中期訓練,尚未進行WSM合併和後訓練;最終Base checkpoint則已基於中期訓練checkpoint完成WSM合併,尚未進行後訓練。

▲本次開源的6個checkpoints(圖源:百靈大模型) 這些checkpoints可用於持續預訓練、領域監督微調、偏好優化、強化學習後訓練、模型蒸餾,以及長上下文和MoE系統研究。Ling-3.0系列在中期訓練結束後,採用WSM方法,以checkpoint加權合併替代傳統的學習率衰減。由於不再設置固定的學習率衰減階段,模型更適合持續預訓練和動態擴展數據。研究者還可以在訓練結束後,離線探索不同的學習率“衰減曲線”。Ling-3.0-tiny-base與Ling-3.0-flash-base採用統一的訓練方案。開發者可以先在Ling-3.

0-tiny-base上低成本驗證訓練策略,再將有效方法擴展到規模更大的Ling-3.0-flash-base。二、Tiny主打低成本後訓練,Flash強化代碼和長上下文 Ling-3.0-tiny-base總參數量為7.9B,激活參數1.3B。其總參數量約為前代Ling-2.5-mini-base的一半,但在多數評測中取得了更高成績,代碼能力尤為突出。▲Ling-3.

0-tiny-base評測對比(圖源:百靈大模型) 該模型適合開展代碼領域的持續預訓練、監督微調和後訓練,用於預算敏感的強化學習Rollout與後訓練研究,也可以用於高校教學、模型行為研究、MoE消融實驗,還可針對具體行業和任務驗證領域適配路線。Ling-3.0-flash-base總參數量為124B,激活參數量為5.1B,具備更充足的參數容量與稀疏激活設計。模型在代碼、複雜推理和長上下文方向表現突出。與總參數量約為其2至3倍的部分Base模型相比,其整體成績仍具競爭力。▲Ling-3.

0-flash-base評測對比(圖源:百靈大模型) 該模型可以作為大型代碼庫、專業推理和長流程Agent的訓練底座,也適合金融、醫療、科研和工業等領域的持續預訓練與後訓練。不過百靈提醒,Base Model並非已經完成指令對齊的聊天模型,不建議未經後訓練便直接將其部署為面向終端用戶的聊天服務,也不建議未經額外對齊和評估便用於安全關鍵型應用。用於生產環境前,還需要完成針對具體任務的後訓練、評估和驗證。結語:從開放模型權重,到開放訓練關鍵節點 相比只開放完成後訓練的模型,此次螞蟻百靈進一步開放了預訓練、中期訓練和WSM合併三個階段的checkpoints,為開發者提供了多個可繼續訓練的起點。

Tiny和Flash模型採用統一訓練方案,也為模型訓練提供了一條從小規模驗證到大規模擴展的路徑。未來,這些基座模型能否在代碼、專業領域及強化學習研究中衍生出更多模型,將成為此次開源價值的重要檢驗,也期待後續有更多大模型廠商開放基座模型,為開發者提供更具可塑性的訓練底座。

Related

相關文章

MarkTechPost AI生成式AI

認識 Voxel51 3.0:為實體 AI 打造的統一多模態資料平臺

Voxel51 已發布 Voxel51 3.0,這是其資料平臺的一次重大更新。Voxel51 3.0 是一個端對端的多模態資料平臺,將搜尋、篩選、標註和評估整合於單一系統中。該平臺鎖定針對機器人、車輛和工廠感測器資料進行模型訓練的團隊。此次發布新增了 Voxel51 Agent、資料溯源層及免費的自助式存取。重點摘要:規模:Voxel51 Agent 內建超過 45 個 MCP 工具、80 多個運算子及 18 個開源技能。執行環境:可於 app.voxel51.com 使用託管網頁應用程式,或於雲端、混合、地端及隔離環境中自行部署。未揭露本機 GPU 需求。效能:未發布產品基準測試。Voxel51 引用其自身調查數據作為依據。最佳亮點:免費方案包含 Voxel51 Agent、每月 30,000 次推論請求及 30 個運算小時。

21 小時前
何夕2077生成式AI

下一概念建模把文本生成提速最高31倍

斯坦福等聯合提出全新文本生成範式 NCM,生成速度狂飆 31 倍AIbase基地發佈於AI新聞資訊 · 1 分鐘閱讀 · Oct 16, 202633人工智能領域的文本生成技術迎來顛覆性創新。斯坦福大學與 Together AI 的研究人員近日聯手推出了一種截然不同於傳統自迴歸和擴散模型的全新文本生成範式——Next-Concept Modeling(簡稱 NCM,即“下一概念建模”)。該方法巧妙借鑑了圖像生成領域中“下一尺度預測”的思路,有望為未來的文本生成技術開闢全新的發展路線。在技術實現路徑上,NCM 模擬了人類“先構思宏觀大綱、再動筆填充細節”的寫作邏輯。整個系統通過兩階段訓練來完成:首先訓練多尺度殘差 VQ-VAE,從而得到能夠逐層補充信息的多層離散文本編碼;隨後凍結該系統,訓練 Transformer 模塊去預測下一層的編碼。在生成文本時,模型會先並行生成概念層面的宏觀大綱,接著逐層並行填充具體細節,最終組合成完整的文本內容。在實際測試表現中,NCM 交出了令人矚目的成績單。實驗數據顯示,在保持相近甚至更優生成質量的前提下,NCM 相對傳統的擴散語言模型實現了10到31倍的生成速度飛躍,並且在訓練過程中所需消耗的 token 數量也大幅減少。此外,在數獨等複雜推理任務上,它的表現也明顯優於傳統的自迴歸和擴散基線模型,同時還支持通過多生成候選挑選機制來進一步優化最終輸出效果。儘管目前該研究所使用的模型參數規模依然相對有限,其在擴大模型規模後的表現、精確文本以及長篇內容的生成能力仍有待後續驗證,但這一創新思路無疑打破了長期以來的技術慣性,為人工智能高效生成文本提供了充滿想象力的全新解法。本文來自AIbase日報掃碼查看歡迎來到【AI日報】欄目!這裡是你每天探索人工智能世界的指南,每天我們為你呈現AI領域的熱點內容,聚焦開發者,助你洞悉技術趨勢、瞭解創新AI產品應用。

1 天前
雷峰網生成式AI

12.88萬起、華為電驅+L4同源智駕,Ray7能成為埃安年輕化的答卷嗎?

12.88萬起、華為電驅+L4同源智駕,Ray7能成為埃安年輕化的答卷嗎? 本文作者: 倪萍 2026-10-17 22:42 導語:10月17日,埃安轎跑Ray7正式開啟預售,預售價12.88 萬起。新車車長4.9米,軸距2.9米,車頭部分搭配3.25米的超長雙環燈帶,是埃安10年煥新的家族 10月17日,埃安轎跑Ray7正式開啟預售,預售價12.88 萬起。新車車長4.9米,軸距2.9米,車頭部分搭配3.25米的超長雙環燈帶,是埃安10年煥新的家族式標識。 新車採用寧德時代電池以及廣汽自研的彈匣電池2.0技術,能夠在充分釋放續航能力的同時,監控電池健康狀態。提供45.58kWh和62.98kWh兩種規格,續航可達702公里,整車風阻係數 Cd 低至 0.22。Ray7搭載華為DriveONE多合一電驅,以及華為DriveONE芯片級驅制融合架構,百公里制動僅為32.8米。底盤方面,Ray7搭載高性能前後穩定杆和後五連桿懸架,過彎極限更高,濾振更乾淨。智能化上, Ray7搭載27顆車規級全視角傳感器,採用文遠知行L4級Robotaxi同源大模型。這幫助新車能夠複用 L4 積累的海量場景經驗,在城區掉頭、繞行等複雜場景中可順利通行。自2025年廣汽推進“番禺行動”以來,昊鉑埃安BU的研發、生產、銷售等環節效率不斷提升,產品迭代和新車投放節奏明顯加快。作為埃安全新Ray車系的首款新車,Ray7是埃安開啟年輕化序列的關鍵落子,也是廣汽切入20萬級市場的重要佈局。這一細分市場競爭並不輕鬆:小鵬P7、極氪007等車型已經提前卡位。Ray7想在年輕人心中佔位,不能只堆參數,更要把智能座艙與輔助駕駛、三電安全、補能效率、用車成本和價格權益上的差異,變成用戶可感、可信、可持續的體驗,這才是埃安年輕化的分水嶺。(雷峰網(公眾號:雷峰網)) 雷峰網原創文章,未經授權禁止轉載。詳情見轉載須知。

1 天前
智東西生成式AI

梁聖又掀桌了!DeepSeek新模型斬殺GPT-6,許願式編程時代降臨

作者 | 楊京麗 編輯 | 李水青 10月17日報道,剛剛,DeepSeek V4.1 Flash更新至V4.1-Flash-1017版本,官方網頁端、App與API已同步更新至新模型,模型權重也已在HuggingFace和ModelScope開放下載。DeepSeek還向公眾開放自研搜索引擎的Search(搜索)與Fetch(抓取)API,兩個接口均定價為5元/千次。 此次更新距離該模型發佈僅過去一個多月。9月10日,DeepSeek正式推出V4.1-Flash,在性能上超越了DeepSeek-V4-Pro。

1 天前