安全紅隊測試架構發佈

**安全紅隊測試架構發佈**

隨著開源人工智慧基礎設施快速擴張，從模型推論引擎、代理平台，到模型上下文協定（Model Context Protocol，MCP）生態系以及語言模型本身，其發展速度已明顯超越現有的安全防護工具。為填補這項缺口，騰訊研究團隊近日發表了一款名為 **AI-Infra-Guard** 的開源框架，試圖為 AI 代理（AI Agent）提供一套統一的紅隊測試方案。該論文已於 6 月 30 日張貼在 arXiv 預印本平台，並於 7 月 6 日正式提交。 AI-Infra-Guard 的設計出發點來自一個關鍵觀察：AI 代理的攻擊面具有明確的分層結構，涵蓋基礎設施層、協定／工具層、代理行為層與模型層；然而，目前沒有任何單一檢測範式能夠同時應付所有層級的安全挑戰。因此，研究團隊為每一層量身搭配專屬的檢測方式，希望透過「分層配對」來達到更全面的防護效果。 在基礎設施層，框架內建超過 75 個 AI 元件的偵測模組，收錄 1,400 條以上的漏洞規則，採用確定性規則比對（deterministic rule matching）進行掃描。這些元件涵蓋常見的模型伺服軟體、代理開發框架與部署工具，能快速找出已知弱點。這一層主要鎖定底層環境與依賴元件的安全性，避免攻擊者從基礎設施滲透進入代理系統。 針對協定與工具層，AI-Infra-Guard 則運用大型語言模型驅動的自主審計（LLM-driven agentic auditing），專門對 MCP 伺服器以及代理技能套件（agent-skill packages）進行安全檢測。MCP 作為連接語言模型與外部工具的重要協定，其生態日益龐大，但同時也帶來供應鏈風險；框架透過模擬惡意查詢與行為分析，審視這些元件是否包含不安全的實作或潛在後門。 在代理行為層，框架採用多輪黑箱紅隊測試（multi-turn black-box agent red teaming），模擬真實攻擊者與 AI 代理進行多回合互動，試圖誘使代理執行未經授權的動作或洩漏敏感資訊。這種測試方式更接近實際攻擊場景，能夠發現代理在複雜對話流程中的邏輯缺陷或權限繞過漏洞。 模型層則聚焦於越獄攻擊（jailbreak）的防禦評估。AI-Infra-Guard 提供一套越獄測試工具集，整合 26 種以上的攻擊運算子（attack operators），並支援 16 組資料集的測試腳本，讓安全研究人員可以系統性地檢驗語言模型面對各類越獄提示時的抵抗力。 值得注意的是，該框架納入了代理技能的供應鏈審計功能。隨著越來越多開發者透過第三方套件或市集擴充 AI 代理的能力，這些技能套件的安全性直接影響整體系統的信任基礎。AI-Infra-Guard 是目前少數能對代理技能進行源碼與行為層面審計的開源工具，有助於防範惡意套件被植入代理流程。 AI-Infra-Guard 已以開源形式釋出，研究團隊期望這套「分層配對」的紅隊測試方法能成為代理安全領域的實用基礎，並讓社群在此架構上持續擴充與改進。從基礎設施到模型輸出，該框架試圖為 AI 代理建立一道多層次的防線，也反映出學界與產業界對 AI 安全正從單點檢測轉向系統性、結構化評估的趨勢。隨著 AI 代理被廣泛應用於客服、自動化流程、程式碼生成等場景，此類整合性紅隊框架的出現，對於提升整體生態系的防護水準具有指標性意義。