OpenAI Details GPT-Red: An Internal Automated Red-Teaming Model That Beat Human Red-Teamers 84% To 13% On Prompt Injection

OpenAI 近日對外公開內部自行開發的自動化紅隊測試模型 GPT-Red 的完整技術細節，一組對比數據格外受到關注。在針對提示注入（prompt injection）攻擊的測試環境中，GPT-Red 偵測攻擊的成功率高達 84%，而人類紅隊測試者的表現僅有 13%，兩者差距極為懸殊，直接證明自動化工具在特定安全測試項目上擁有顯著優勢。 紅隊測試是 AI 安全領域中不可或缺的關鍵環節，主要透過模擬真實攻擊行為來發掘語言模型的弱點與漏洞。傳統作法仰賴人類安全專家手工設計對抗性輸入，並逐項測試模型的反應，這種流程不僅耗費大量人力與時間，也難以在短時間內覆蓋足夠多的攻擊變體。隨著大型語言模型被部署到愈來愈多實際應用場景，安全測試的效率與廣度成為產業共同面對的挑戰。 提示注入攻擊是當前最危險也最常見的威脅之一。攻擊者透過精心設計的指令或上下文，誘使模型繞過原本的安全限制，做出違反政策甚至危害使用者的回應。這類攻擊手法變化多端，從直接要求模型忽略系統提示，到利用格式混淆、角色扮演等方式隱藏惡意意圖，防禦難度極高。因此，能否系統性地偵測與阻擋提示注入，已成為評估 AI 系統穩健性的重要指標。 GPT-Red 的核心設計正是為了解決上述難題。它本身是一個以語言模型為基礎所打造的自動化紅隊系統，具備自動產生大量提示注入樣本的能力，並能同時評估目標模型對於這些樣本的防禦成效。透過這種方式，開發團隊可以大幅提升測試的覆蓋率與效率，讓原本需要耗費數天甚至數週的人力測試工作，在短時間內完成。 根據 OpenAI 公布的測試結果，在相同的評估場景下，GPT-Red 的偵測成功率達到 84%，遠優於人類紅隊測試者的 13%。這項數據特別引人注意的是，人類專家在創意設計與理解複雜情境上雖然具備先天優勢，但在面對大量樣本、重複性高的測試任務時，容易受到疲勞與注意力分散的影響，導致遺漏或誤判。GPT-Red 則能維持一致的測試品質，不會因為測試時長而出現效能衰退。 這並不代表自動化可以完全取代人類角色。人類紅隊測試者在挖掘非預期攻擊路徑、理解文化脈絡以及設計抽象情境等方面依然無法被輕易取代。然而，GPT-Red 的成功清楚顯示，針對特定攻擊類別所設計的自動化模型，不僅能在規模上超越人力，在偵測精準度上也具備競爭力，兩者相輔相成可建構更完整的測試體系。 OpenAI 期望藉由公開 GPT-Red 的設計理念與實證成果，推動整個產業在 AI 系統安全性測試方法上持續進步。目前業界對於自動化紅隊的討論逐漸升溫，但實際投入並公開技術細節的大型機構仍然有限，OpenAI 此舉無疑為相關研究提供了具體的參考案例。 從技術角度來看，GPT-Red 本身也體現了「以 AI 對抗 AI」的思維。過去大型語言模型的安全機制多依賴靜態規則或人工審查，如今直接用語言模型擔任攻擊者，動態生成測試樣本，能更貼近真實攻擊者的思維模式，進而幫助防禦團隊提前掌握弱點。這種方法論上的轉變，有可能改變未來 AI 安全測試的標準流程。 展望後續發展，自動化紅隊的應用範圍有機會進一步擴大。除了提示注入之外，未來可以針對越獄攻擊、隱私洩漏、偏見放大等不同威脅類型，分別訓練專門的自動化紅隊模型，形成一個多面向的安全測試工具群。如此一來，開發者將能在模型上線前進行更全面、更系統的弱點掃描，降低部署後的風險。 社會各界對於 AI 安全性的關注正持續升溫，監管機構與公眾都要求更高的透明度與可靠度。OpenAI 此次選擇揭露 GPT-Red 的關鍵成果，不僅展示內部安全技術的進展，也為業界建立了一個可參照的標竿。當更多機構願意分享類似經驗時，整體 AI 生態系的安全水準才有可能迎來真正的提升。 值得注意的是，測試數字的懸殊差距雖然令人印象深刻，但紅隊測試的本質並非追求單一指標的極致，而是持續找出防禦缺口。GPT-Red 的出現為安全團隊提供了一個強而有力的工具，但並未終結對人類專家的需求。相反地，將人類的創造力與自動化的規模效率結合，才是當前 AI 安全測試走向成熟的核心路徑。