中訓練、後訓練持續升溫，模型快速迭代，成為 AI for AI 最佳試煉場

本文作者： 高允毅 2026-09-28 20:54 導語：當模型開始參與研發下一代模型，大模型的研發方式正在發生什麼樣的變化？當模型開始參與研發下一代模型，大模型的研發方式正在發生什麼樣的變化？作者丨高允毅 編輯丨岑 峰 大多數科研構想，從未被充分驗證。這並不是研究者缺少靈感。恰恰相反，新的架構猜想、訓練策略無時無刻不在湧現。但大多數想法，卻在寫不完的訓練腳本、調不完的參數、排隊等調度的 GPU 集群中，被無聲消磨。如果換種玩法，重構大模型研發呢？你只說了半句話：“我猜想這個架構或許能降低長上下文成本……” 它就能讀懂前沿文獻，生成候選方案，自動編寫代碼、調度算力、並行跑消融實驗。

這正是近期討論度很高的 AI for AI。它不是研發工具的升級，是下一代大模型的核心命題。所有人都試圖在這個賽道里，觸碰人類終極智能。01為什麼 AI for AI 是下一個十年的核心命題過去兩三年，行業最關注的是編程和數學：端到端完成複雜代碼任務，推導懸而未決的數學難題。AI 由此具備了紮實的邏輯推演與代碼工程落地能力。當這些能力成熟，一個更根本的問題浮出水面：能不能把它們用回 AI 自己身上？2026年，“AI for AI”已經成為海外頭部實驗室公開的目標。

比如，OpenAI 側重前沿理論的自動化研究，在 9 月宣佈其 AI 已具備“自動化研究實習生”的能力，專門成立 RSI（遞歸式自我改進）團隊，目標在 2028 年 3 月前實現完全自動化的 AI 研究員，讓 AI 自主生成、審計高質量訓練數據，接管自身研發全流程；Anthropic 側重工程的自動化探索，在6月發佈《When AI Builds Itself》報告時便披露，其內部 80% 以上的可運行代碼已由 Claude 獨立編寫，每名工程師的產出效率提升了 8 倍。

而9月曝光的最新進展中，其內部最核心的研發平臺上，有30,000 個 AI Agent 同時協作，日夜不停地在數字沙盒裡進行代碼跑測與算法實驗。Google 內部也在加碼 AI for AI 的投入，一方面，推出自進化編碼智能體 AlphaEvolve，加速 Gemini 的迭代。另一方面，Google 迎來人事地震，哈薩比斯卸任 Google DeepMind CEO，全面轉戰 AGI 長期戰略、全球事務以及 Isomorphic Labs 的 AI 藥物研發。此外，Google 靈魂人物 Jeff Dean 前段時間官宣離職創辦 Discovery Loop，專攻自動化機器學習。

短短幾周內，估值就被推到了 500 億美元，連老東家 Google 也下場投資。國內，AI 參與 AI 研發的實踐也在密集出現，而且切入的環節各不相同：面壁用 AI 編寫預訓練框架，智譜讓 AI 搭建國產芯片上的推理基礎設施。有的團隊從訓練框架入手，有的從推理系統入手，也有的直接研究"會進化的智能體"本身。AI 能接手的研發環節，正在一段一段被打通。Naive AI 的嘗試把這些環節串了起來。架構探索、訓練系統、推理優化，AI 都參與其中；同時，模型本身也被專門訓練去承擔研發工作。它既是這套研發方式的產物，也是這套方式的下一個執行者。

這一差異化打法，讓 Naive AI 僅創辦7 個月，估值飆升至 14.2 億美元。無數資本湧入，巨頭紛紛押注。所有人都意識到，全面重構智能迭代速度這件事，能在有限資源內不斷突破性能邊界，或許才是通往 AGI 的第二增長曲線。當下，AI for AI 早已不是概念。AI 從只能幫工程師寫單個 PyTorch 函數，進化到可以獨立閱讀頂會論文、編寫完整訓練腳本、調度 GPU 集群、分析日誌報錯、完成一鍵微調。以 Devin、Aider、OpenHands 為代表的研發智能體已經成熟，機器學習工程（MLE）正式成為 RSI 的核心試驗場。

02中訓練與後訓練：AI for AI 最先落地的地方要理解 Naive AI 的路線，先要分清模型研發的幾個階段。預訓練是把模型"做出來"：用數以萬億計的公開數據，讓模型學習語言規律，建立對世界的通識認知。它投入大、週期長，一次完整實驗往往以月計。中訓練與後訓練則是把模型"做強"：在已有基座上，用數百億到數萬億 tokens 的高質量數據，長出想要的能力。兩者的研發節奏截然不同。中訓練與後訓練由大量實驗構成：注意力結構怎麼改，長上下文撐到多長，推理速度能不能翻倍，每個問題背後都是一連串消融實驗、參數調優和工程優化。

實驗多、週期短、結果可以快速評估，這讓它成為 AI 最先能夠大規模承擔研發工作的地方。它是 AI for AI 的起點，而不是邊界。開源生態的成熟讓這條路更加可行。DeepSeek、Qwen等高質量開源基座陸續發佈，任何團隊都能站在巨人的肩膀上啟動研發。模型之間的差距，越來越多地來自基座之後的那幾步。一部分實驗室開始把重心轉向中訓練與後訓練。Naive AI 押注的正是這條路：不從零預訓練，而是以開源基座為起點，把投入集中在中訓練和後訓練上。即便是堅持自研基座的廠商，也在把中訓練和後訓練單獨拎出來。智譜的 GLM-5 在 27T tokens 的預訓練之後，專門安排了約 1.

55T tokens 的中訓練：分 32K、128K、200K 三段逐步拉長上下文，重點補充長上下文與 Agent 數據。到了今年 8 月發佈的 GLM-5.3，智譜更進一步，沿用與 GLM-5.2 相同的基座，不再重新預訓練，能力提升全部來自後訓練，主要依靠強化學習，內部編程評測成績卻提升了約 50%。基座不變，模型照樣能大步向前，差距正越來越多地產生在基座之後。這和常見的"拿開源模型微調一下"不是一回事。

Naive AI 先重構了基座的注意力架構：保留滑動窗口注意力（SWA）處理局部信息，把原有的全局注意力層全部替換為稀疏注意力，形成每 5 層 SWA 搭配 1 層 DSA 的混合結構，整個網絡不再含有任何全局注意力。圖注：Naive‑N0.5‑Flash 為AI for AI場景打造的SWA–DSA 混合注意力架構稀疏注意力本身也做了改造，原版 DSA 中的 MLA 被替換為 4 個 KV 分組的 GQA，並配套設計了只有 16 個 query 頭的輕量索引器。架構變了，模型就得重新適應，這需要一輪完整的訓練，而不是一次微調。為此，Naive-N0.

5-Flash 全程保持 1M 上下文，分三個階段累計訓練了 3.25T tokens：索引器預熱，50B tokens：凍結模型其餘參數，只訓練新加入的 DSA 索引器，以原來全局注意力的分佈為參照，先讓索引器學會挑出關鍵信息；稀疏注意力訓練，3T tokens：切換到稀疏注意力，進行大規模繼續預訓練（也就是中訓練），讓模型適應新的信息讀取方式，同時重點強化編程和 AI 研發能力；學習率衰減，200B tokens：進入 SFT 階段，逐步降低學習率，讓能力穩定成型。不止模型在被訓練，訓練系統本身也在被 AI 優化。比如通信太慢。

AI 注意到架構中的 DSA 層要讀全部上下文，而SWA 層只關心局部上下文，於是提出分工，一個用全序列並行，一個只用相鄰分片交換數據，大幅降低長序列通信開銷。在顯存管理的問題上，它還把顯存怎麼用、哪些中間結果該留，細到每一個算子，還特意鎖住已經選好的關鍵位置，別讓重算把它們打亂，把1M 長序列下的顯存效率拉到極致。它還會自己修 Bug，在長序列訓練中，AI 主動發現、定位並修復了位置編碼精度不足、序列索引越界等一系列底層問題，自己發現、定位、修復和驗證。這種路線的選擇，和創始人代季峰的技術底色密不可分。

作為 AI 領域的頂級學者，代季峰在技術圈的特質極其鮮明：從早年被寫入 PyTorch 框架的標準算子可變形卷積，到自動駕駛感知的行業標杆 BEVFormer，再到在開源社區斬獲千萬級下載的多模態基座 InternVL，他始終擅長以極致的工程效率去打破原有的性能天花板。在這種基因下，Naive AI 成立僅 7 個月，在“AI 研發 AI”全新模式下，快速產出開源模型 Naive‑N0.5‑Flash。由於它本身就是“AI 自進化的產物”，因此它不僅能幹活，還能作為基礎工具，被其他科研人員直接拿來訓練和研發下一代更聰明的 AI。03當 AI 成為研究員，Naive‑N0.

5‑Flash 是如何誕生的現在AI大模型的構建不僅僅是研究工作，更是一套複雜的工業化研發體系。全球領先的人工智能公司依靠龐大的專家團隊分工協作，支撐這套體系的運轉，覆蓋模型架構、基礎設施、訓練、推理、部署與評測等環節，每個前沿模型背後都是持續不斷的實驗、迭代與優化循環。Naive AI 先做的是，研發環節的重新分工。從成立的第一天起，Naive AI 就摒棄了傳統以人類為中心的研發體系。傳統的大模型研發，研究員要親手寫代碼、調參數、跑實驗、看曲線，全流程主導實驗。這套工作下來，少則數週，多則數月，其中有不少是重複且枯燥的“工程髒活”。現在，這些活都交給了 AI 研究員。

在 Naive AI 研發體系裡，人類研究員把精力集中在三件事上：提出目標，設定約束與評價標準，以及作出最終決策，核心能力轉向“科研品味”的高低。為了讓 AI 可靠地承擔執行層工作，Naive AI 建立一套以 AI 為中心的研發基礎設施。簡單說，就是給模型一個安全、隔離的運行環境，再配上 GPU 算力，讓它能大規模穩定運行。這個系統每週能跑近千萬個沙箱，最多能同時跑 10 萬個。系統背後有一個統一平臺，集中管理算力、環境、工具、權限和安全。AI既是正在被實驗、被升級的“產品”，同時又是寫代碼、改架構的“開發者”，由此誕生的 Naive‑N0.5‑Flash， AI 研發和編程能力突出。

這個小模型一頭撞進了全球大模型考場，在專門針對 AI 研發能力的評測中，展現出了對標頂尖閉源模型的實力。在考核前沿論文復現能力的 PaperBench 評測中，Naive-N0.5-Flash 超越了Claude Opus 4.7 、GPT-5.5 等主流模型。在考察機器學習實驗能力的 MLE-bench-30 評測中，Naive-N0.5-Flash 超越了 Claude Sonnet 5、Gemini 3.6 Flash。這意味著它能像真正的科研人員一樣，讀懂晦澀的頂會論文並復現其實驗。圖注：Naive-N0.

5-Flash在考察AI研究能力的分類評測中，展現驚人的性能效率它還有不錯的編程能力。在評估複雜編程能力的 SWE-bench Pro 上，Naive‑N0.5‑Flash 得分 73.6，超過 2.4T 參數的 Qwen 3.8 Max 。該模型僅以 15.5B 激活參數（不足自身總參數 6%），便超越了擁有 2.4T 參數的大模型，上演了一場以小勝大的效率奇蹟。目前，模型權重和推理代碼均以 MIT 許可證發佈。同時提供 API 訪問服務，輸入Token每百萬0.6元，輸出Token每百萬2.6元，緩存命中讀取每百萬Token 0.07元人民幣，具備極高性價比。

從一開始，Naive AI 專門強化了三種研究能力，分別是讀論文（復現前沿論文）、做實驗（自主跑消融實驗）、管理研究成果（系統化管理研究倉庫與版本），這三件事正是人類研究員每天投入最多的事，也是讓遞歸式自我改進（RSI）能閉環的三件事。讓 AI 深度參與下一代大模型自己的研發，正是 Naive AI 的長期目標。04 AI 研究員的兩大實戰AI for AI 說了這麼久，AI 到底能不能真刀真槍下場做研發？Naive AI 用 AI 做了兩個真實研發任務。一個讓 AI 去優化自家推理系統，另一個是從頭摸索做一個世界模型。這期間，人類只負責定 KPI，剩下的具體操作由 AI 負責。

驚豔的是，前者創造出推理運行時 NaiveRT ，解決了推理系統 “慢” 的痛點問題。開啟極速模式後，輸出吞吐量達到 2122 Token/s，是傳統單流解碼的30‑50倍。後者在 Naive AI 團隊都不懂的領域，AI 從零開始摸索，做出的世界模型 AutoWM，擠入行業第一梯隊。▎6 天 151 輪實驗，做出更快的推理系統在RL訓練裡最讓人崩潰的是什麼？是推理速度慢。其中，有一個核心動作叫 Rollout（滑跑階段）。簡單來說，就是讓 AI 拿著當前的策略，在沙盒環境裡完整地跑一次實驗，把其中的交互軌跡全部收集起來，當作升級的養料。

然而，一條接近 1M 級別的超長 Rollout，讀入只要幾分鐘，解碼卻要耗費幾個小時。其中，跑得最慢的樣本，往往正是難度最高、含金量最大的核心數據。在傳統的同步管線裡，整個 GPU 芯片集群必須等所有樣本全部生成完，才能統一進入下一步訓練；而在異步管線裡，又容易因為超時被直接廢棄，導致前功盡棄。唯一的解法就是提升單流解碼的絕對速度。為此，人類研究員定下三個KPI：“速度要快、質量不能降、結果必須百分百確定”。然後 AI 就開始了它的 151 輪實驗。有意思的是，這 151 輪裡只有 63 輪被採納，71 輪被回滾，還有 17 輪是備選的探索路徑。

它像一個真正的研究員，不看單一算子的微基準測試，而是盯著端到端的最終性能做取捨。比如，某一輪實驗中， AI 寫出了一個新優化，在短上下文裡能省下 3微秒（μs），但只要長上下文飆到 2200 tokens 以上，性能反而會倒退 3 微秒。AI 直接砍掉。還有針對 MoE（混合專家模型）的內核融合，AI 連續折騰了 7 輪迭代，雖然每次跑出來的數值精度完全正確，但一測端到端的最終吞吐，發現全部都在下降。於是，AI 立即叫停實驗，果斷回滾，繼續沿用原本的方案。在通過“全鏈路梳理合併、零散算子打包協同、內核細節微秒級打磨”層層優化後，完整一輪投機解碼耗時從 SGLang 的 12.3ms 降到 3.

4ms，同時保持了逐位確定的結果一致性。這什麼概念？大概就是你眨兩次眼的時間，它已經生成完了一整段代碼。NaiveRT 採用以 AI 為中心的研發模式構建和優化，結合了巨型內核融合、程序化依賴啟動（PDL）與投機解碼技術。標準模式下單用戶輸出速度為 50 tokens/s，極速模式下最高可達 2000 tokens/s。作為對比，目前業界主流推理引擎，如 vLLM 或 SGLang，在處理類似超長上下文任務時，單用戶平均輸出速度通常只有 30 至 70 Token/s。這意味著 NaiveRT 的極速模式將業內現有的生成效率提高近 30 到 50 倍。

圖注：NaiveRT把解碼耗時從 SGLang 的 12.3ms 降到 3.4ms▎人類研究員不會的，AI 研究員直接做出第一梯隊世界模型如果說第一個實驗，還在 Naive AI 團隊的舒適區，那在第二個實驗中，Naive AI 團隊並不熟悉世界模型，誰也無法指導 AI 的行動，只能給一個目標。剛開始，AI “照葫蘆畫瓢”。它從復現 FlowWAM 起步，按業界標準搭好框架，嘗試了無分類器引導等常規優化，但收效甚微。然後它開始自己找路，它自己動手重寫視頻描述，把訓練集從 2.5K 暴增到 22.5K；自己調整網絡結構，更換更強的基座。但不是所有調整都能帶來正向收益。

比如測試幀採樣時，它發現 16 幀效果明顯優於 8 幀，32 幀雖有收益，但邊際效應在減弱。在自我迭代中，神奇的事情發生了，它竟然發現了人類都沒注意到的新方法。在訓練與測試交錯中，AI 敏銳地察覺到一個規律。WorldArena 的部分評測指標，根本不需要對照真實參考視頻就能計算。它沒有侷限於把這個信號用來評估生成結果，反而用它指導輸出選擇和後處理策略。它先探索了多時間步選擇，為每段視頻匹配最佳時間步，直接讓成績超過了當時榜單的公開最高分。最關鍵的一個方法上的創新，是它把單幀選擇問題，直接建模成了一個用動態規劃求解的背包問題。

後續它又陸續探索了 Best-of-N 視頻選擇策略、為每段視頻匹配最優後處理方案，還針對閃爍、抖動這類視頻常見問題優化後處理方法。當然也有試錯：比如對比不同 DP 配置後發現，N=32 的效果反而不如 N=16，就主動放棄了更高的數值，保留了更優的方案。在累計400小時研究，15輪主要實驗後，AI 創造的世界模型 AutoWM 在 WorldArena-1 Track 1 拿到 77.43 分，超過公開榜最高分73.64。圖注：可以看到 AutoWM 在世界模型榜單WorldArena-1 Track 1 拿到 77.43 分，超過公開榜最高分73.64。

AI證明了研發能力可以跨領域遷移，未來，不需要人類在每個細分領域都成為專家，AI能自己學。05深水區思辨：AI 研究員邁向“強 RSI”的五大卡點從 NaiveRT 的 151 輪迭代，到 AutoWM 的 400 小時探索，兩個真實案例清晰地展現了當前 AI 研究員的能力邊界。但重新審視整個行業的進展，我們仍處在弱 RSI 的起點：AI 的角色更像剛入行的科研實習生，能在已知框架內完成參數調優與方案組合，遠未達到獨立主導完整科學研究的階段。

而距離真正能夠自主閱讀前沿文獻、提出研究假設、調度算力資源、端到端完成模型迭代的強 RSI 形態，即全自動 AI 研究員，OpenAI 給出的目標節點是 2028 年。這中間，還有許多卡點無法跨越。首先是驗證難。軟件代碼寫完可以馬上運行並獲得及時反饋，但模型訓練的反饋週期要漫長得多。151 輪實驗看似密集，背後是算力的並行堆砌，而非 AI 本身的思考速度。越往底層架構走、越靠近預訓練環節，AI 的迭代效率就越受限於物理算力與訓練週期。它可以一口氣生成上百個候選方案，但最終能驗證多少，依然要等算力排隊，要等訓練跑完。

如果涉及機器人、材料科學等物理世界的實驗，反饋週期和成本更會隨實驗規模呈指數級上升。比驗證難更深一層的困境，是發現能力。當前所有 AI for AI 的迭代，本質上都是現有知識的排列組合與參數調優。AI 可以把已知方向的研究做得又快又極致，但無法獨立開創出全新的研究範式。當年 Transformer 能取代 RNN，需要對領域的深層理解、對未來方向的直覺判斷，甚至一定的審美與運氣。這些就是人類研究員的 “科研品味”，也是當前 AI 無法替代的核心價值。再往底層剖析，則繞不開模型因果能力的匱乏。純文本語料訓練出來的大模型，因果判斷天然不穩定，邏輯推演極易受到表述形式的干擾。

這也正是楊立昆近年不遺餘力推崇世界模型的核心原因：只有在與物理世界的交互中習得的因果律才是紮實的。純文本里學到的 “因果”，很多時候只是語言層面的相關性，而非真正的邏輯因果。在世界模型實驗中，AI 敏銳地發現了 “部分評測指標無需參考視頻” 的規律，並以此優化了輸出策略，最終拿到了更高的分數。但這個規律，是底層邏輯的必然，還是特定數據集上的偶然？AI 能高效地發現關聯，卻很難獨立判斷這個關聯是不是真正的因果。同時，評估器能力不足也是一個迫切的難題。科學研究最核心的部分在於科研品味，而這種創新性與長期價值很難被量化成明確的指標。

如果訓練系統一味使用可量化的跑分做獎勵信號，AI 會傾向於為了刷高指標而進行投機優化，反而會犧牲真正的創新性。然而，這些都還不算真正的深水區。元遞歸，也就是“迭代的方法本身”，才是從弱 RSI 走向強 RSI 的一道門檻。比如研發工作流要不要調整、實驗設計的邏輯要不要改？什麼時候 AI 能自己推翻一套沿用已久的實驗範式，自己提出一套更高效的研究邏輯，AI 才真正成為了 “會進化的研究員”。在 Naive AI 的官方主頁上，悄然寫著這樣一句標語：“100x Intelligence for the pioneers”（為先驅者提供 100 倍的智能）。

圖注：Naive AI 官網標語AI for AI 的終局，從來不是為了幹掉人類研究員。當我們回望人類群星閃耀時，那些一閃而過的靈感，不再因來不及落地，而無聲消亡。(公眾號：)參考鏈接：https://naive.ai/en/research/ 原創文章，未經授權禁止轉載。詳情見轉載須知。0人收藏 分享： 相關文章 代季峰 Naive AI AI for AI 我所知道的代季峰：從微軟亞研7萬次引用，到盛大3億 ...獨家丨盛大挖角代季峰，籌建新 AGI 公司對標 DeepSe ...計算機視覺大牛代季峰從商湯離職，加入清華電子系 香港中文大學陳愷：物體檢測算法的近期發展及開源框 ...

高允毅 編輯 發私信 當月熱門文章 深度解讀：關於 Jev 的幾大疑問 GPT-6 Sol 降價 50% 的秘密：消失的 Terra，一場模型梯隊平移 GPT-6 砍掉思考 Token，俄羅斯人砍掉通信 Token，Token 經濟開始崩了？深度解讀 DeepSeek V4.1 Flash 全新架構，如何成為顯存殺手 梁文鋒狙擊戰：深扒那些梁文鋒署名的論文有多牛 最新文章 梁文鋒狙擊戰：深扒那些梁文鋒署名的論文有多牛 GPT-6 Sol 降價 50% 的秘密：消失的 Terra，一場模型梯隊平移 深度解讀：關於 Jev 的幾大疑問 深度解讀：智譜為什麼要在 Infra 層搞 RSI？

工作流可以自我進化了，英偉達開源 SoL-Pi，每小時省13.5刀！深度解讀 DeepSeek V4.1 Flash 全新架構，如何成為顯存殺手 熱門搜索 阿里雲 金融 iOS應用 美國 智能手環 小鵬汽車 skype 徐小平 傅盛 無人車 Robotaxi