安全紅隊測試架構發佈
重點摘要
**安全紅隊測試架構發佈** 隨著開源人工智慧基礎設施快速擴張,從模型推論引擎、代理平台,到模型上下文協定(Model Context Protocol,MCP)生態系以及語言模型本身,其發展速度已明顯超越現有的安全防護工具。為填補這項缺口,騰訊研究團隊近日發表了一款名為 **AI-Infra-Guard** 的開源框架,試圖為 AI 代理(AI Agent)提供一套統一的紅隊測試方案。該論文已於 6 月 30 日張貼在 arXiv 預印本平台,並於 7 月 6 日正式提交。
**安全紅隊測試架構發佈**
隨著開源人工智慧基礎設施快速擴張,從模型推論引擎、代理平台,到模型上下文協定(Model Context Protocol,MCP)生態系以及語言模型本身,其發展速度已明顯超越現有的安全防護工具。為填補這項缺口,騰訊研究團隊近日發表了一款名為 **AI-Infra-Guard** 的開源框架,試圖為 AI 代理(AI Agent)提供一套統一的紅隊測試方案。該論文已於 6 月 30 日張貼在 arXiv 預印本平台,並於 7 月 6 日正式提交。
AI-Infra-Guard 的設計出發點來自一個關鍵觀察:AI 代理的攻擊面具有明確的分層結構,涵蓋基礎設施層、協定/工具層、代理行為層與模型層;然而,目前沒有任何單一檢測範式能夠同時應付所有層級的安全挑戰。因此,研究團隊為每一層量身搭配專屬的檢測方式,希望透過「分層配對」來達到更全面的防護效果。在基礎設施層,框架內建超過 75 個 AI 元件的偵測模組,收錄 1,400 條以上的漏洞規則,採用確定性規則比對(deterministic rule matching)進行掃描。這些元件涵蓋常見的模型伺服軟體、代理開發框架與部署工具,能快速找出已知弱點。
這一層主要鎖定底層環境與依賴元件的安全性,避免攻擊者從基礎設施滲透進入代理系統。針對協定與工具層,AI-Infra-Guard 則運用大型語言模型驅動的自主審計(LLM-driven agentic auditing),專門對 MCP 伺服器以及代理技能套件(agent-skill packages)進行安全檢測。MCP 作為連接語言模型與外部工具的重要協定,其生態日益龐大,但同時也帶來供應鏈風險;框架透過模擬惡意查詢與行為分析,審視這些元件是否包含不安全的實作或潛在後門。
在代理行為層,框架採用多輪黑箱紅隊測試(multi-turn black-box agent red teaming),模擬真實攻擊者與 AI 代理進行多回合互動,試圖誘使代理執行未經授權的動作或洩漏敏感資訊。這種測試方式更接近實際攻擊場景,能夠發現代理在複雜對話流程中的邏輯缺陷或權限繞過漏洞。模型層則聚焦於越獄攻擊(jailbreak)的防禦評估。AI-Infra-Guard 提供一套越獄測試工具集,整合 26 種以上的攻擊運算子(attack operators),並支援 16 組資料集的測試腳本,讓安全研究人員可以系統性地檢驗語言模型面對各類越獄提示時的抵抗力。
值得注意的是,該框架納入了代理技能的供應鏈審計功能。隨著越來越多開發者透過第三方套件或市集擴充 AI 代理的能力,這些技能套件的安全性直接影響整體系統的信任基礎。AI-Infra-Guard 是目前少數能對代理技能進行源碼與行為層面審計的開源工具,有助於防範惡意套件被植入代理流程。AI-Infra-Guard 已以開源形式釋出,研究團隊期望這套「分層配對」的紅隊測試方法能成為代理安全領域的實用基礎,並讓社群在此架構上持續擴充與改進。從基礎設施到模型輸出,該框架試圖為 AI 代理建立一道多層次的防線,也反映出學界與產業界對 AI 安全正從單點檢測轉向系統性、結構化評估的趨勢。
隨著 AI 代理被廣泛應用於客服、自動化流程、程式碼生成等場景,此類整合性紅隊框架的出現,對於提升整體生態系的防護水準具有指標性意義。
Related
相關文章

Meta 旗下 AI 模型測試時意外入侵第三方企業系統
Meta 在進行AI模型安全測試時,因第三方公司Irregular配置錯誤,導致模型意外入侵另一企業系統。涉事模型為Muse Spark 1.1,事件引發對AI模型可能衝出邊界、發動網絡攻擊的擔憂。

拆解“AI辦公入口戰”底層:怎麼做才能成為最終贏家?
字節、阿里、騰訊等大廠正透過組織調整與產品整合,全力爭奪AI辦公入口,關鍵在於模型、場景、生態與商業體系的全面競爭。這場戰爭的核心是透過AI產品實現Token經濟的商業閉環,並以「效果」為標準,透過自有體系與外部生態滿足企業用戶的真實需求。最終贏家需兼顧模型能力、場景積累與生態建設,才能在AI生產力時代站穩腳步。

千人聯機世界模型“RhOS-World: Khora”正式發佈
RhOS.ai與Ophilus.AI共同發布了千人聯機世界模型「RhOS-World: Khora」,該模型能讓多達1024個智能體在共享的3D空間中即時互動,且無需傳統物理引擎。其核心技術「STBoard(時空黑板)」架構,透過統一的物理狀態管理,解決了多視角一致性的難題,並大幅降低了擴展智能體數量的運算成本。
TutorMoments:AI 家教何時該出手,何時該放手?
今日我們推出 TutorMoments 預覽版,這是一個評估框架,旨在衡量尖端大型語言模型能否掌握教育中最難的平衡:何時介入協助學生,何時退後讓學生自行努力。TutorMoments 基於真實的一對一數學輔導課程,透過重播方式進行評估。經驗豐富的數學教師會檢視從美國收集的對話記錄。

告別反覆操作 OSD,華碩顯示器管理軟件 DisplayWidget Center 接入 AI 智能體
華碩顯示器管理軟體 DisplayWidget Center 推出重大更新,加入 AI 智能體功能,用戶可透過自然語言調整亮度、色溫等參數,無需操作 OSD。該功能支援 CLI 與 Agent Skill,可根據使用習慣自動切換模式,並適用於企業環境的統一部署。

千問App部分功能探索收費,想學豆包能跑通嗎?
千問App於8月7日更新,新增辦公助理等付費功能,基礎功能仍免費,但辦公場景使用額度需付費取得。此舉仿效豆包專業版等產品的訂閱模式,反映AI行業正集體轉向辦公場景收費,以尋求變現機會。