OpenAI 宣佈新安全政策，加強模型開發監控與網絡隔離

作者：遠洋 責編：遠洋 評論： 8 月 19 日消息，當地時間週二，OpenAI 宣佈了一批新的安全政策，重點是控制模型在測試期間可能發生的安全事件。新的安全措施包括在模型開發過程中進行更加細緻的監控，同時在訓練後階段進一步加強對模型對齊和安全性的重視。注意到，OpenAI 在一篇博客文章中表示：“隨著模型能力不斷增強，在內部開發和測試這些模型過程中所面臨的風險也在增加。我們在監控、對齊和安全方面制定的標準必須始終領先於這些風險。”這是 OpenAI 自 7 月 21 日披露 Hugging Face 事件以來，在安全實踐方面首次對外公佈的重大調整之一。

OpenAI 代表表示，這些措施並不是直接針對 Hugging Face 事件推出的，但即將推出的 Astra 模型所展現出的網絡安全能力，以及整個 AI 行業快速發展的步伐，也是促使公司採取這些措施的部分原因。OpenAI 同時透露，在 Hugging Face 事件發生後，公司曾暫停強化學習（RL）訓練兩週，但目前已經重新啟動了許多風險較低模型的訓練工作。OpenAI 在博客中寫道：“我們目前仍暫停規模最大的前沿強化學習訓練計劃，同時開展小規模訓練和評估，以評估模型行為、驗證安全措施，並在繼續推進之前獲得更多有關模型對齊情況的證據。

”OpenAI 研究副總裁 Amelia Glaese 在接受記者採訪時強調，隨著模型能力不斷增強，公司對安全控制措施的嚴格程度也會隨之提高，能力最強的模型將接受最嚴格的審查。Glaese 對記者表示：“我們已經制定了安全開發方面的要求和標準。這些要求和標準會根據我們評估出的風險水平進行調整。”此次事件發生後，OpenAI 的網絡安全措施受到了外界批評。在此前的事件中，模型通過入侵 OpenAI 網絡中的一個能夠訪問互聯網的工具，突破了原本的訓練環境。OpenAI 此次推出的新安全措施包括進一步加強網絡隔離，但目前公司尚未公佈具體技術細節。

OpenAI 表示，在新的安全體系下，“單個工作負載或支持服務遭到入侵，本身不會導致攻擊者未經授權訪問互聯網或其他內部網絡”。此次升級中最重要的安全措施是新的監控系統。該系統將檢查工具執行的操作、可獲取的推理軌跡以及活動日誌，以識別各種未經授權的行為。OpenAI 表示，其目標是在發現可疑活動後的 30 分鐘內發出警報。OpenAI 估計，這套監控系統所需的計算資源大約相當於被監控流程本身計算資源消耗的 20%。公司承諾將在未來發布的博客文章中公佈更多有關該系統的細節。此外，OpenAI 針對此次事件的官方事後分析報告目前也尚未發佈。

投訴水文 我要糾錯 下載APP，簽到賺金幣兌豪禮 相關文章關鍵詞：OpenAI，AI，人工智能OpenAI 前高管：相信 AI 能治癒所有疾病，但光靠大模型遠遠不夠美參議員致信 OpenAI、Meta、Anthropic 公司 CEO，要求其暫停 AI 開發OpenAI CEO 奧爾特曼：過度依賴 AI 或致人類認知能力衰退消息稱美國正與多家 AI 企業洽談自願性行業標準，管控前沿模型發佈消息稱 OpenAI 提議向美國政府出讓 5% 股份，並倡議全美頭部 AI 企業效仿OpenAI Codex 負責人：人工智能仍無法做好創意設計