IT之家生成式AI

打造 AI 網安“紅隊”:OpenAI 介紹內部漏洞檢測模型 GPT-Red

2026年7月16日 11:38
打造 AI 網安“紅隊”:OpenAI 介紹內部漏洞檢測模型 GPT-Red

重點摘要

首頁 > 智能時代>人工智能 打造 AI 網安“紅隊”:OpenAI 介紹內部漏洞檢測模型 GPT-Red 2026/7/16 11:38:08 來源:IT之家 作者:溯波(實習) 責編:溯波 評論: 感謝IT之家網友 Nuc_F 的線索投遞! IT之家 7 月 16 日消息,OpenAI 當地時間 15 日介紹了其內部使用的網絡安全“紅隊”模型 GPT-Red。

站內 AI 整理稿

OpenAI 於當地時間 15 日正式對外介紹其內部運作的網路安全「紅隊」模型 GPT-Red。這套系統專為自動化執行各種網路攻擊模擬而設計,目的是協助 OpenAI 在產品推出前找出潛在漏洞,進而提升對外模型產品的強健性與安全性。此舉不僅展現 OpenAI 在人工智慧安全領域的具體布局,也反映該公司對模型穩固度的重視程度。 所謂「紅隊」一詞源自軍事與網路安全領域,代表模擬攻擊方的角色,用來測試防禦系統的極限。OpenAI 將此概念延伸至人工智慧模型,透過 GPT-Red 主動扮演攻擊者,嘗試繞過或誘發模型的錯誤行為,例如產生不當內容、洩漏敏感資訊或執行未授權的指令。這樣的測試流程有助於在模型正式上線前,提前發現並修補弱點。 根據 OpenAI 的說法,過去半年以來,從 GPT-5.3 之後的每一個生產模型都已經將紅隊模型納入訓練流程,成為標準作業的一部分。這意味著安全測試不再只是階段性任務,而是貫穿模型開發生命週期的持續機制。OpenAI 相信,這種常態化的紅隊演練能夠顯著提升模型面對惡意攻擊時的韌性。 在具體成效方面,OpenAI 分享了多項數據。偽造思維鏈(Chain-of-Thought)攻擊的成功率從 GPT-5.1 時期的 95% 大幅下降至最新模型的不及 10%,顯示模型對於此類繞道手法的防禦力已有顯著進步。此外,針對最新的 GPT-5.6 Sol 模型,直接提示符注入攻擊的失敗率僅有 0.05%,幾乎完全抵禦了這類常見的攻擊手法。這些數字說明了紅隊模型在訓練過程中扮演的關鍵角色。 GPT-Red 的訓練方式採用自博弈強化學習(self-play reinforcement learning)。在訓練過程中,GPT-Red 本身與一組多樣化的防禦型大型語言模型(LLM)會同時在多種紅隊場景下進行對抗演練。當 GPT-Red 成功誘發目標模型出現有效錯誤時,它會獲得獎勵;反之,防禦模型若能成功抵抗攻擊並順利完成原始任務,也會獲得獎勵。這樣的動態競爭機制,迫使 GPT-Red 不斷演化出更強大、更多變的攻擊策略,同時也帶動防禦模型持續強化。 隨著防禦模型逐漸變得成熟,GPT-Red 也必須同步升級才能再次找到突破口。這種「軍備競賽」式的循環,讓安全管理從一次性修補轉變為持續演進的過程。OpenAI 強調,紅隊模型與實際產品模型之間保持嚴格隔離,避免任何潛在的負面影響蔓延到正式環境中。這樣的隔離設計確保了安全測試不會對對外服務造成干擾。 OpenAI 認為,這套做法已經開啟一個良性的人工智慧網路安全循環。透過現有模型來測試與強化未來模型,不僅能提升魯棒性,還能增強模型的一致性與可信度。換句話說,安全能力本身也能像智慧能力一樣,在迭代中自我改進,形成正向發展的迴圈。 這項技術的公開,也讓外界更清楚看到 OpenAI 在安全防護方面的具體投入。不同於以往僅仰賴人工紅隊或外部測試,GPT-Red 提供了一種可規模化、自動化的測試方案。對於正在快速發展的大型語言模型而言,傳統的安全驗證方式往往趕不上模型更新的速度,自動化紅隊系統正好填補了這個空缺。 值得注意的是,GPT-Red 的訓練場景涵蓋多種攻擊向量,包括提示注入、越獄嘗試、思維鏈操控等。這些攻擊手法都是當前 AI 安全領域的重點關注對象。透過系統性地模擬這些威脅,OpenAI 能夠在模型部署前就累積足夠的防禦經驗。而自博弈強化學習的設計,也讓紅隊模型無需大量人工標註即可自行探索新的攻擊路徑。 從更宏觀的角度看,GPT-Red 的出現代表 AI 安全正在從被動防護轉向主動獵捕。過去,安全團隊往往在漏洞被發現後才進行修補;如今,OpenAI 嘗試在模型訓練階段就植入對抗性測試,讓安全成為模型本質的一部分。這種思維轉變,對整個 AI 產業的開發流程都可能帶來借鏡意義。 雖然 OpenAI 目前尚未公開 GPT-Red 的技術細節或開放外部使用,但這套系統的運作邏輯與成果已經為業界提供了一個可行的方向。隨著 AI 模型的應用範圍不斷擴大,如何確保它們在對抗性環境下仍能穩定運作,將是所有開發者必須面對的課題。OpenAI 藉由 GPT-Red 展示的路徑,或許會成為未來 AI 安全標準的重要參考。

Related

相關文章

清華團隊推出AI學習神器“AI Cosmos”,“對話即學習”

清華大學計算機系CoAI課題組推出免費AI學習產品AI Cosmos,主打「對話即學習」,能在單一對話流中實現互動視頻、模擬實驗與個性化講義等多元學習體驗。產品近期推出「雲課堂」功能,支援教師一鍵建立課程、自動生成大綱並整合核心能力,已在清華校內及各地中小學進行試點。

剛剛

談談緣何元數據死灰復燃

一家金融公司去年導入AI智能問答系統,原本準確率不到40%,技術團隊用了最好的模型、調整多次提示詞,卻仍無法讓大模型正確回答業務問題。後來團隊改變策略——不修模型、不加大算力,而是回頭整頓元數據。把所有業務定義、字段口徑、表歸屬、質量標籤與血緣關係餵進元數據平台,讓AI代理在生成SQL前先檢索相關上下文。結果準確率從40%直接躍升至87%。這個真實案例,揭示了AI時代一項基礎設施的復活:元數據,這個曾被企業嫌棄十幾年的「倉庫管理員」,正在迎來第二春。

剛剛
鈦媒體生成式AI

全球AI巨頭集體調頭:大模型的價格戰結束了

全球AI巨頭集體調頭:大模型的價格戰結束了硅谷Tech news2026.07.16 12:17 · 來自上海全文4794字00:00 / 12:43不是最強,但值得一試。“Grok 4.5不是最強的大模型,但它值得一試。”7月15日,馬斯克在X上發了這麼一句話。語氣平淡。

剛剛