OpenAI 提出前沿 AI 訓練安全指導原則：高級管理人員應有否決權

作者：清源 責編：清源 評論： 9 月 29 日消息，OpenAI 今天通過官方新聞稿提出了一套指導原則，要求企業在開展前沿 AI 強化學習訓練前提交結構化的安全論證文件。OpenAI 稱，安全論證應交由多名高級管理人員審查，每個人都應有權否決訓練任務，讓訓練在內部經過研究部門負責人或 VP（副總裁）、安全負責人和首席科學家等環節的多重把關。此外，研究部門負責人、研究副總裁等負責訓練任務的高級管理人員，應對安全論證以及任何事故響應承擔責任，包括把這些內容納入績效考核，以此促使訓練團隊主動推動安全和對齊工作。

OpenAI 稱，如果高優先級安全警報沒有在規定時限內得到確認，受影響的訓練任務應自動暫停。這些建議已經進入落實過程，今後預計還會繼續調整。此外，訓練流程應能方便地識別未對齊模型的所有下游用途（注：例如用於數據生成或評分），以便必要時消除未對齊輸出帶來的影響。今天早些時候，OpenAI 宣佈，隨著越來越多報告顯示 AI 智能體獲得敏感領域的訪問權限並出現意外行為，公司暫停了最新 AI 模型的訓練。參考Towards safety cases for frontier AI training相關閱讀：《內部測試發現安全隱患，消息稱 OpenAI 取消發佈 AI 模型 GPT‑6.

1 Astra》廣告聲明：文內含有的對外跳轉鏈接（包括不限於超鏈接、二維碼、口令等形式），用於傳遞更多信息，節省甄選時間，結果僅供參考，包含外鏈的文章均包含本聲明。

投訴水文 我要糾錯 下載APP，簽到賺金幣兌豪禮 相關文章關鍵詞：OpenAI，AI 訓練，AI 安全OpenAI 明日重開 200 美元檔 ChatGPT-Pro 訂閱：API 支出減半，新增更多不計量功能OpenAI 將提供資金併成立工作組，以解決模型入侵澳大利亞政府網站事件哈佛大學心理學家：渲染“AI 末日”無助於應對風險，應審慎開展安全工程20 餘名行業領袖示警“智能爆炸”，Anthropic、OpenAI 高管呼籲關注 AI 自我改進內部測試發現安全隱患，消息稱 OpenAI 取消發佈 AI 模型 GPT‑6.

1 Astra佛羅里達州起訴 OpenAI，請求法院禁止其在無外部監督下開發新 AI 模型