IT之家生成式AI

打造 AI 網安“紅隊”:OpenAI 介紹內部漏洞檢測模型 GPT-Red

2026年7月16日 11:38
打造 AI 網安“紅隊”:OpenAI 介紹內部漏洞檢測模型 GPT-Red

重點摘要

首頁 > 智能時代>人工智能 打造 AI 網安“紅隊”:OpenAI 介紹內部漏洞檢測模型 GPT-Red 2026/7/16 11:38:08 來源:IT之家 作者:溯波(實習) 責編:溯波 評論: 感謝IT之家網友 Nuc_F 的線索投遞! IT之家 7 月 16 日消息,OpenAI 當地時間 15 日介紹了其內部使用的網絡安全“紅隊”模型 GPT-Red。

站內 AI 整理稿

OpenAI 於當地時間 15 日正式對外介紹其內部運作的網路安全「紅隊」模型 GPT-Red。這套系統專為自動化執行各種網路攻擊模擬而設計,目的是協助 OpenAI 在產品推出前找出潛在漏洞,進而提升對外模型產品的強健性與安全性。此舉不僅展現 OpenAI 在人工智慧安全領域的具體布局,也反映該公司對模型穩固度的重視程度。所謂「紅隊」一詞源自軍事與網路安全領域,代表模擬攻擊方的角色,用來測試防禦系統的極限。OpenAI 將此概念延伸至人工智慧模型,透過 GPT-Red 主動扮演攻擊者,嘗試繞過或誘發模型的錯誤行為,例如產生不當內容、洩漏敏感資訊或執行未授權的指令。

這樣的測試流程有助於在模型正式上線前,提前發現並修補弱點。根據 OpenAI 的說法,過去半年以來,從 GPT-5.3 之後的每一個生產模型都已經將紅隊模型納入訓練流程,成為標準作業的一部分。這意味著安全測試不再只是階段性任務,而是貫穿模型開發生命週期的持續機制。OpenAI 相信,這種常態化的紅隊演練能夠顯著提升模型面對惡意攻擊時的韌性。在具體成效方面,OpenAI 分享了多項數據。偽造思維鏈(Chain-of-Thought)攻擊的成功率從 GPT-5.1 時期的 95% 大幅下降至最新模型的不及 10%,顯示模型對於此類繞道手法的防禦力已有顯著進步。此外,針對最新的 GPT-5.

6 Sol 模型,直接提示符注入攻擊的失敗率僅有 0.05%,幾乎完全抵禦了這類常見的攻擊手法。這些數字說明了紅隊模型在訓練過程中扮演的關鍵角色。GPT-Red 的訓練方式採用自博弈強化學習(self-play reinforcement learning)。在訓練過程中,GPT-Red 本身與一組多樣化的防禦型大型語言模型(LLM)會同時在多種紅隊場景下進行對抗演練。當 GPT-Red 成功誘發目標模型出現有效錯誤時,它會獲得獎勵;反之,防禦模型若能成功抵抗攻擊並順利完成原始任務,也會獲得獎勵。

這樣的動態競爭機制,迫使 GPT-Red 不斷演化出更強大、更多變的攻擊策略,同時也帶動防禦模型持續強化。隨著防禦模型逐漸變得成熟,GPT-Red 也必須同步升級才能再次找到突破口。這種「軍備競賽」式的循環,讓安全管理從一次性修補轉變為持續演進的過程。OpenAI 強調,紅隊模型與實際產品模型之間保持嚴格隔離,避免任何潛在的負面影響蔓延到正式環境中。這樣的隔離設計確保了安全測試不會對對外服務造成干擾。OpenAI 認為,這套做法已經開啟一個良性的人工智慧網路安全循環。透過現有模型來測試與強化未來模型,不僅能提升魯棒性,還能增強模型的一致性與可信度。

換句話說,安全能力本身也能像智慧能力一樣,在迭代中自我改進,形成正向發展的迴圈。這項技術的公開,也讓外界更清楚看到 OpenAI 在安全防護方面的具體投入。不同於以往僅仰賴人工紅隊或外部測試,GPT-Red 提供了一種可規模化、自動化的測試方案。對於正在快速發展的大型語言模型而言,傳統的安全驗證方式往往趕不上模型更新的速度,自動化紅隊系統正好填補了這個空缺。值得注意的是,GPT-Red 的訓練場景涵蓋多種攻擊向量,包括提示注入、越獄嘗試、思維鏈操控等。這些攻擊手法都是當前 AI 安全領域的重點關注對象。透過系統性地模擬這些威脅,OpenAI 能夠在模型部署前就累積足夠的防禦經驗。

而自博弈強化學習的設計,也讓紅隊模型無需大量人工標註即可自行探索新的攻擊路徑。從更宏觀的角度看,GPT-Red 的出現代表 AI 安全正在從被動防護轉向主動獵捕。過去,安全團隊往往在漏洞被發現後才進行修補;如今,OpenAI 嘗試在模型訓練階段就植入對抗性測試,讓安全成為模型本質的一部分。這種思維轉變,對整個 AI 產業的開發流程都可能帶來借鏡意義。雖然 OpenAI 目前尚未公開 GPT-Red 的技術細節或開放外部使用,但這套系統的運作邏輯與成果已經為業界提供了一個可行的方向。隨著 AI 模型的應用範圍不斷擴大,如何確保它們在對抗性環境下仍能穩定運作,將是所有開發者必須面對的課題。

OpenAI 藉由 GPT-Red 展示的路徑,或許會成為未來 AI 安全標準的重要參考。

Related

相關文章

MarkTechPost AI生成式AI

使用 NVIDIA NeMo Retriever、託管 NIM、LanceDB、重新排序與基於事實生成建立多模態 RAG 管線

在本教學中,我們將使用 NVIDIA NeMo Retriever 建立一個先進的多模態檢索增強生成管線。首先設定 Python 3.12 環境、安裝必要套件,並在無需 GPU 或外部 API 金鑰的情況下進行離線 PDF 文字提取。接著,我們透過託管的 NVIDIA NIM 端點來偵測頁面元素、提取表格、圖表與資訊圖形、產生稠密向量嵌入,並將處理後的內容儲存至 LanceDB。最後,我們實作了稠密檢索、視覺語言重新排序、後設資料過濾搜尋、附行內引用的基於事實回應生成,以及輕量級的 recall-at-k 評估,以驗證跨多模態文件內容的檢索品質。

44 分鐘前
MarkTechPost AI生成式AI

NVIDIA AI 推出 NOOA:將 AI 代理轉化為單一 Python 類別的物件導向框架

NVIDIA 實驗室開源了 NOOA(NVIDIA 物件導向代理),這是一個與模型無關的 Python 框架,用於建構 AI 代理。傳統的代理開發分散在提示模板、工具架構、回呼程式碼和工作流程圖中,而 NOOA 將所有這些整合到一個 Python 類別中:方法代表模型可採取的動作,欄位代表代理狀態,文件字串作為提示,型別註解則是執行時期強制執行的合約。主體為「...」的方法由 LLM 驅動的迴圈在執行時期完成,而具有正常主體的方法則保持確定性的 Python 程式碼。開發者與模型因此共享同一介面,使代理行為能像一般軟體一樣進行測試、追蹤、重構和版本控制。NVIDIA 報告在 SWE-bench Verified 上達到 82.2%,在 CyberGym L1 上達到 86.8%,平均 RHAE 為 85.1%。

1 小時前

六巨頭定AI插件新標準,撞臉Claude,Anthropic沒上桌

六大科技巨頭(AWS、Anysphere、GitHub、微軟、OpenAI、Vercel)聯合發布AI智能體插件統一開放規範Agent Plugins 1.0.0,旨在統一插件打包格式,減少開發者重複勞動。該規範的結構與Anthropic的Claude Code插件系統高度相似,但Anthropic並未參與制定,而是繼續經營自己的封閉生態。

3 小時前
鈦媒體生成式AI

DeepSeek重啟融資,三年市值對齊騰訊?

DeepSeek重啟第二輪融資,以5000億元人民幣估值尋求籌集80億美元,但網傳一份由小型醫藥私募發起的專項基金募資材料引發網友質疑,後經DeepSeek員工證實部分數據屬實。該公司近期宣布API大幅漲價,可能打破其以低價換規模的估值邏輯,面臨客戶流失風險。市場關注其能否從「價格屠夫」轉型為價值提供商,以及三年內市值能否對齊騰訊等巨頭。

4 小時前