月之暗面開源 Kimi K3 模型，2.8 萬億參數

月之暗面（Moonshot AI）於7月27日晚間正式宣布開源其最新大規模語言模型 Kimi K3，同步釋出模型權重、技術報告，以及支撐該模型訓練的三項關鍵基礎設施（Infra）技術：MoonEP、FlashKDA 與 AgentEnv。Kimi K3 是一款擁有 2.8 萬億參數的模型，基於月之暗面自研的 KDA 混合線性注意力機制（Kimi Delta Attention）與注意力殘差（Attention Residuals）技術所構建，原生支援視覺理解能力，並配備 100 萬 token 的上下文窗口。 官方指出，Kimi K3 是業界首個達到 2.8 萬億參數規模的開源模型。回顧過去 12 個月，Kimi 系列模型在其中的 9 個月裡，始終保持著開源模型的參數規模上限，展現出月之暗面在超大規模模型領域的持續領先地位。此次開源不僅釋出模型本身，更將訓練過程中的關鍵基礎設施一併公開，為學術界與產業界提供完整的參考架構。 在技術架構上，Kimi K3 進一步擴大了混合專家模型（MoE）的稀疏度。透過結合 Stable LatentMoE 框架，模型可在 896 個專家（Experts）中高效激活 16 個專家，大幅降低運算成本的同時維持高表現力。再加上訓練方法與數據配方的優化，這些結構性改進使 Kimi K3 相較於前一代 Kimi K2，整體擴展效率提升約 2.5 倍，能更有效地將算力轉化為實際能力。 Kimi K3 另一項顯著特色在於其強大的長程編碼能力。官方表示，在極少人工監督的情況下，該模型可以持續完成長時間的工程任務，理解並處理大型代碼庫，並協調使用終端工具。此外，Kimi K3 也擅長結合軟體工程與視覺推理的任務，例如利用截圖與視覺反饋來優化遊戲開發、前端設計以及 CAD 等場景，展現出跨模態的應用潛力。 在性能評測方面，月之暗面坦言，Kimi K3 的整體表現仍落後於當前最強的閉源模型——Claude Fable 5 與 GPT-5.6 Sol。然而，在整套評測基準中，Kimi K3 展現出前沿水平的能力，並穩定超越其他所有模型，凸顯其作為開源模型的競爭力。官方強調，這項成果得益於模型架構與訓練基礎設施的雙重突破。 支撐 Kimi K3 訓練的三項 Infra 技術分別為 MoonEP、FlashKDA 與 AgentEnv，涵蓋從高性能通信、高性能算子到分佈式強化學習（RL）環境的關鍵鏈路。其中，FlashKDA 已於先前開源，而 MoonEP 與 AgentEnv 則伴隨本次 Kimi K3 的發布正式對外開放。這些技術的公開，有助於降低大型模型訓練的門檻，促進開源生態的進一步發展。 月之暗面已將 Kimi K3 的模型權重與相關程式碼上傳至 Hugging Face 與 GitHub 平台，供全球開發者與研究人員下載使用。隨著開源社群的協作與反饋，Kimi K3 有望在更多應用場景中發揮潛力，推動 AI 技術的民主化進程。