Frontis邁向自我改進

人工智慧領域近期迎來一項突破性進展——Frontis AI 團隊發表了一篇關於「遞迴自我改進」（Recursive Self-Improvement, RSI）的研究論文，展示了如何讓 AI 系統不僅能完成特定任務，更能自主優化自身建構 AI 的流程。這項研究以機器學習工程（Machine Learning Engineering, MLE）作為具體實驗場域，提出了一套完整的開放全棧系統 OpenMLE，並在此基礎上訓練出 Frontis-MA1 模型，在標準化測試中展現出超越 GPT-5.5 的表現，甚至逼近 GPT-5.6 Sol 與 2.8T 參數的 Kimi K3 等更大規模模型。 遞迴自我改進的核心概念，在於讓 AI 能夠反覆改善自身「建構 AI」的能力。這不只是一般的模型微調，而是讓系統在不斷執行機器學習任務的過程中，學習如何更有效地設計、除錯、改寫程式碼，從而形成一個自動進化的循環。Frontis 團隊認為，機器學習工程提供了具體且可驗證的測試環境，非常適合研究此一能力。因此，他們設計了 OpenMLE 系統，涵蓋三個層面：可驗證的任務環境 OpenMLE-Gym、運算子學習平台 OpenMLE-RL，以及長程搜索機制 OpenMLE-Evo。 OpenMLE-Gym 提供一系列可執行的機器學習任務，並能回饋實際執行結果，讓模型學習從錯誤中修正。OpenMLE-RL 則透過強化學習，讓模型掌握四個原子程式演化運算子：Draft（草稿）、Improve（改進）、Debug（除錯）與 Crossover（交叉）。這些運算子經過執行基礎的監督式微調（SFT）與強化學習訓練，並在資料去重後，進一步組合成長程搜索流程，使學習與演化在單一循環中耦合。 基於 OpenMLE 堆疊，團隊後訓練出 Frontis-MA1，這是一個擁有 350 億參數的元演化代理（meta-evolution agent）。在固定預算條件下——每項任務 12 小時、單張 RTX 4090 顯示卡且 VRAM 上限 12GB——Frontis-MA1 在 MLE-Bench Lite 測試集上的表現極為亮眼。與基礎模型相比，搭配 OpenMLE-Evo 後，其 Medal Average 從 39.39% 提升至 60.61%；若進一步啟用 OpenMLE-Evo-Max（包含基準無關的經驗先驗知識與非同步搜索），則達到 71.21%，一舉超越 GPT-5.5 搭配 Codex 的組合，也逼近 GPT-5.6 Sol 與擁有 2.8T 參數的 Kimi K3。 為了驗證架構與模型各自的貢獻，團隊也在另一個未見過的 NatureBench Lite 測試集上進行消融實驗。結果顯示，當固定框架不變、僅換用訓練後的模型時，Match-SOTA 指標從 50% 提升至 70%；而當固定模型不變、僅換用 OpenMLE-Evo 框架時，Match-SOTA 也從 20% 躍升至 50%。這證明了 OpenMLE 框架與 Frontis-MA1 模型兩者都能獨立帶來顯著增益，且可互相轉移。 這項研究的另一個重要特色是開源。Frontis AI 已釋出 Frontis-MA1 的模型權重，以及完整的 OpenMLE 程式碼庫，所有資源均可在 GitHub 上取得。團隊希望藉此讓學術界與工業界能夠重現並擴展這項研究，進一步推動可執行的 AI4AI（用 AI 建構 AI）研究方向，朝向真正的遞迴自我改進邁進。 論文於 7 月 30 日發布在 arXiv 上，隔日由 Kaiyan Zhang 提交至社群平台，隨即獲得大量關注。Frontis 團隊成員包括 Junlin Yang、Che Jiang、Yu Fu、Tianwei Luo、Can Ren、Weizhi Wang、Kaikai Zhao、Hongyi Liu、Yuxin Zuo、Yuru Wang、Yuchen Fan、Kai Tian、Zhenzhao Yuan、Xiaojian Lin、Li Sheng、Rushi Qiang、Guoli Jia、Xingtai Lv、Ermo Hua、Dianqiao Lei、Youbang Sun、Ning Ding 等二十餘位研究者。這項成果不僅展示了小規模參數模型在特定工程任務上能夠追趕甚至超越超大規模模型，更為未來自主演化 AI 系統奠定了重要的基礎架構與實證數據。