Moonshot AI Releases Kimi K3: A 2.8 Trillion Parameter Open MoE Model With Kimi Delta Attention and 1M Context

Moonshot AI 近日正式發表其最新大型語言模型 Kimi K3，這款模型以 2.8 兆參數的規模成為市場上備受注目的開放式混合專家（MoE）架構作品。Kimi K3 不僅延續了 Moonshot AI 在 MoE 路線上的技術積累，更導入自家研發的 Kimi Delta Attention 注意力機制，並支援長達 100 萬 token 的上下文輸入，試圖在超長文本理解與生成任務中提供更穩定的表現。Kimi K3 最顯著的特色在於其極為龐大的參數量——2.8 兆，但由於採用混合專家（Mixture of Experts）設計，模型實際上並非每次運算都調用所有參數。

透過稀疏啟用機制，推論時僅啟動對應輸入的專家子網路，因此能在保有千億級別參數容量的同時，維持相對合理的計算成本與記憶體負擔。這種架構策略已成為當前大型語言模型的主流路線之一，而 Moonshot AI 在 Kimi K3 上進一步強化了專家路由的效率與平衡性。為了應對超長上下文所帶來的注意力計算瓶頸，Moonshot AI 在 Kimi K3 中導入了自創的 Kimi Delta Attention。傳統 Transformer 模型在處理數萬 token 以上的序列時，注意力機制的計算量會隨長度呈平方成長，導致記憶體與延遲急遽增加。

Kimi Delta Attention 的設計目標便是針對長序列場景進行最佳化，讓模型能在百萬 token 範圍內維持穩定的注意力分佈，同時減少不必要的計算冗餘。官方說明指出，這項技術能有效緩解極長文本下的記憶瓶頸，使 Kimi K3 在處理如長篇文件、程式碼庫、學術論文或對話歷史等任務時，具備更可靠的上下文捕捉能力。除了技術規格上的突破，Moonshot AI 此次特別強調 Kimi K3 的開放性。與許多僅提供 API 或有限試用的封閉模型不同，Kimi K3 的模型權重與技術報告將直接提供給研究社群與開發者。

這意味著學術機構、新創團隊以及企業研究人員可以取得完整的模型檔案，進而針對長上下文應用、知識密集型任務或特定領域進行微調與實驗。Moonshot AI 此舉也被外界解讀為其持續深耕開源大模型領域的具體行動，在當前產業競相推出更大規模、更長上下文模型的趨勢下，開源策略有助於吸引社群貢獻與加速生態發展。從技術脈絡來看，Kimi K3 的推出正值業界對 MoE 模型與長上下文能力的雙重追求。

近年來，包括 Google 的 Mixtral 系列、DeepSeek 的 MoE 模型等，都展現了稀疏專家架構在規模與效率之間的潛力；而上下文長度方面，從早期的 4K、8K 一路攀升至 128K、200K，乃至百萬 token 等級，已成為各頂尖模型競逐的指標。Moonshot AI 在 Kimi K3 中同時將這兩個方向推向新高，並透過開源方式讓更多人能夠測試與反饋，試圖在學術與應用端建立影響力。值得注意的是，Kimi K3 的 2.8 兆參數是在 MoE 架構下的總參數計數，實際啟用參數遠低於此數值。

官方尚未公布詳細的啟用專家數量與每次推論的活躍參數比例，但一般此類模型的啟用參數大約在數十億到數百億之間，具體效能表現仍有待後續第三方評測驗證。此外，Kimi Delta Attention 的技術細節也將在未來公開的報告中進一步說明。對於開發者與研究人員而言，Kimi K3 開源後的最大價值可能在於長上下文應用場景的實驗。例如，在長篇合約分析、程式碼倉庫理解、多輪對話歷史追溯、學術文獻綜述等領域，過去受限於模型上下文視窗而難以發揮的任務，如今有機會用 Kimi K3 進行更深入的測試。同時，開源權重也允許團隊針對特定語言或領域進行微調，調整專家路由或注意力參數，以適應專屬需求。

整體而言，Moonshot AI 透過 Kimi K3 展示了其在超大規模 MoE 模型與長序列注意力最佳化上的技術實力，並選擇以開放形式釋出，順應了當前 AI 社群對透明研究與協作創新的期待。隨著 Kimi K3 的權重與技術文件陸續上線，預料將吸引大量開發者進行部署測試，進一步驗證這套百萬 token 上下文、2.8 兆參數 MoE 模型的實際效能與應用潛力。Moonshot AI 也表示將持續追蹤社群回饋，為後續版本迭代提供方向。