推理成本降78%，API成本降97%，北大系創企開源4B上下文壓縮模型

作者 | 楊京麗 編輯 | 李水青 11月11日報道，今日，孵化自北京大學軟件工程研究所的AI編程創企硅心科技（aiXcoder）開源上下文壓縮專用模型aiXcompact-4B。該模型主要面向編程Agent的長程複雜研發任務場景，參數量僅4B，支持單張A100-40GB顯卡私有化部署。aiXcompact-4B進行上下文壓縮時，能夠針對編程Agent的歷史軌跡進行結構化處理：保留關鍵原始信息，精簡文件讀取、代碼搜索和測試運行等工具返回結果，刪除重複或失去參考價值的中間記錄，並生成結構化任務摘要，以較低成本減少後續重複輸入帶來的Token開銷。

根據aiXcoder公佈的數據，在Terminal-Bench基準測試中，將aiXcompact-4B接入OpenCode進行上下文壓縮測試後，整體任務完成準確率與DeepSeek-V4-Pro持平。在私有化部署場景下，針對特定任務的單次GPU推理成本較DeepSeek-V4-Pro降低78%。採用API調用方式時，根據公開API費用估算，aiXcompact-4B單次上下文壓縮請求的Token費用約為0.019元，相比DeepSeek-V4-Pro、GLM-5.3和Qwen3.8-Max的參考費用，分別降低97.30%、97.08%和97.98%。

aiXcompact-4B以單次API調用費用降低97%的成本優勢，為高頻上下文壓縮提供了輕量化且經濟的選擇。上下文壓縮後，Agent需要反覆讀取的歷史上下文也隨之減少。在目標任務場景下，aiXcompact-4B可將歷史上下文平均壓縮至原長度的25.89%，為下一輪Agent調用騰出足量的上下文空間。開源地址： https://github.

com/aixcoder-plugin/aiXcompact-4B 一、智能體編程任務平均Token消耗417萬，上下文壓縮是成本控制關鍵 隨著Claude Code、Codex等AI編程工具被用於更復雜的研發任務，Agent需要持續讀取代碼、調用工具、執行測試，Token開銷也隨之增長。一項基於OpenHands框架、覆蓋8個前沿模型的研究發現，在SWE-bench Verified實驗中，一個完整的智能體編程任務平均Token消耗約417萬，是單輪代碼推理的3500倍、多輪代碼對話的1200倍，其中輸入Token佔據絕大部分消耗。這與Agent的工作方式密切相關。

例如，給企業現有系統增加用戶註冊功能時，Agent需要先了解項目結構，查找用戶管理和鑑權邏輯，再修改文件、運行測試，並根據報錯繼續調整。這一過程中，代碼、檢索結果和執行日誌不斷進入上下文，成為後續工作的依據。同一批歷史信息可能在多輪推理中被反覆輸入，隨著執行步驟增加，重複輸入帶來的Token開銷也持續累積。成本之外，早期需求、關鍵約束和已確認的技術決策混雜在大量中間記錄中，也可能增加Agent遺漏重要信息、丟失調試線索的風險。因此，上下文壓縮成為控制Agent運行成本、支撐長任務持續執行的重要工程環節。

其核心是從持續增長的Agent運行軌跡中保留關鍵信息、精簡冗餘內容，減少重複輸入的Token消耗，將更多上下文空間留給當前代碼、最新反饋和後續決策。二、依靠結構化判別機制，信息篩選後形成摘要 編程Agent的工作流程中，開發者先提出需求，Agent分析問題、調用工具，工具再返回文件內容或執行結果。對於需要持續執行任務的Agent而言，上下文壓縮需要在節省Token和保留關鍵信息之間取得平衡：壓縮過少，難以有效減少上下文開銷；壓縮過多，則可能丟失歷史關鍵步驟，破壞代碼信息和工具調用之間的結構關係。aiXcoder認為，有效的壓縮既要理解信息內容，也要保留上下文之間的關係。

aiXcompact-4B採用結構化判別機制，對歷史軌跡生成三類處理決策。第一類，保留關鍵原始信息。對於開發者的核心需求、關鍵約束和重要決策等可能影響後續代碼修改方向的信息，aiXcompact-4B會完整保留原始消息，減少關鍵限定條件在改寫過程中被弱化的風險。第二類，精簡工具返回結果。文件讀取、代碼搜索和測試運行往往會返回大量內容，但下一步工作可能只需要其中一部分。aiXcompact-4B會保留工具調用，用精簡文本替換冗長的原始輸出，既減少輸入Token，也能留下繼續定位問題、修改代碼所需的線索。第三類，刪除失去參考價值的記錄。

對於重複內容或不再需要的中間輸出，aiXcompact-4B會選擇刪除，並配套校驗動作，檢查其中的關鍵業務信息和調試信息是否已經保留在任務摘要中。完成信息篩選後，模型還會生成結構化任務摘要，記錄用戶意圖、關鍵技術信息、錯誤與修復過程，以及當前工作和待辦事項。最終輸出是一套可供Agent繼續執行的消息序列，並維持工具調用與返回結果的配對關係。從工作原理來看，aiXcompact-4B具備信息價值的判斷能力，能夠區分哪些信息不能丟、哪些信息可以精簡、哪些信息已經沒有必要，在減少重複Token消耗的同時，保留後續Agent完成任務所需的必要上下文與結構。

三、基於真實研發軌跡訓練，4B模型上下文壓縮評測接近DeepSeek-V4-Pro aiXcompact-4B判斷能力，來自教師大模型蒸餾、4B學生模型LoRA微調與結構化壓縮決策相結合的訓練技術路徑。aiXcoder稱，其訓練數據全部來自真實研發場景下的Agent運行軌跡。團隊先對軌跡進行歸一化處理、過濾篩選和壓縮觸發點採樣，再由教師模型生成參考壓縮決策。這些參考結果經過樣本校驗與篩選後，用於學生模型的專項訓練，使其學習如何結合研發進度處理歷史上下文，以及如何在任務摘要中保留後續工作的依據。

從技術分工來看，蒸餾將教師大模型在這一任務上的處理能力遷移到專用學生模型中，LoRA微調則圍繞壓縮場景進行適配。結構化決策進一步約束模型的輸出形式，使其能夠對接Agent的消息與執行流程。在aiXcoder公佈的上下文壓縮專項評測結果中，aiXcompact-4B的規則綜合分為0.7012，接近DeepSeek-V4-Pro的0.7332；信息保留規則分為0.4981，與DeepSeek-V4-Pro的0.4968基本相當。評測還顯示，aiXcompact-4B的平均保留率為25.89%，高於DeepSeek-V4-Pro的18.46%。

四、大小模型分工細化，適配企業級私有部署和工程落地 隨著AI逐步深入企業軟件研發流程，不同研發環節對模型能力的需求開始分化，也為模型分工進一步細化提供了空間。如何讓不同模型承擔更適合的任務，在保證任務完成質量的同時減少Token消耗、提高算力利用效率，成為企業落地AI研發需要持續解決的問題。對此，aiXcoder推出“大模型+小模型”協同方案：讓大模型聚焦需求拆解、複雜邏輯推演和架構設計，將邊界相對清晰、調用頻次較高的專項工作交給專用小模型，以降低企業算力使用成本。在aiXcompact-4B之外，aiXcoder已推出多款參數規模較小的模型。

在軟件研發領域，aiXcoder已推出面向代碼生成與補全的aiXcoder-7B、面向代碼變更應用的aiXapply-4B，以及面向Token消耗優化的aiXpruner-4B等模型。此外，aiXcoder即將推出面向Agent決策環節的aiXdecision模型，專注於智能體執行過程中的判斷與決策支持。結語：上下文壓縮模型拓寬複雜Agent任務邊界 aiXcompact-4B通過保留關鍵原始信息、精簡工具返回結果、刪除無參考價值記錄，壓縮持續累積的歷史上下文，並生成結構化任務摘要，降低上下文壓縮成本。

隨著Agent進入更長鏈路、更復雜的研發任務，上下文管理將直接影響Token成本和執行連續性。上下文壓縮模型如果能夠在減少冗餘信息的同時保留需求、決策和調試線索，就有機會幫助Agent突破上下文開銷帶來的限制，承接更多複雜場景的任務。