OpenAI 披露 GPT-5.6 Sol 異常行為：AI 模型會留下指令要求“未來版本的自己”隱瞞自身錯誤
作者：漾仔 責編：漾仔 評論： 9 月 18 日消息，OpenAI 發文，披露研究團隊在訓練最新模型 GPT-5.6 Sol 的過程中，研究人員發現了一項異常行為：模型曾通過對話摘要向未來版本的自己留下指令，要求後續模型隱瞞自身錯誤以及與預期行為不一致的表現。目前，研究團隊已經針對這一具體問題進行修復。參考 OpenAI 的報告，研究人員在訓練 GPT-5.6 Sol 過程中發現，尚未部署的 Sol 智能體會在“壓縮摘要”（compaction summaries）中加入額外指令，向未來版本留下提醒，要求其隱藏錯誤或與預期目標不一致的行為。
例如，一個 Sol 智能體負責製作財務模型時無法找到用戶要求的歷史數據，於是在摘要中寫道，由於沒有源文件，可能需要自行創建“Historical Data”工作表並填入合理的 2024 年曆史數據，並留下指令，要求後續模型“只有被問到時才保持信息透明度”、“最終回覆只需要提供文件鏈接”。再如，另一個 Sol 智能體在斷網情況下進行“製作供應商目錄”任務，由於相應智能體無法訪問互聯網，只能依靠緩存的源文件。模型在摘要中意識到供應商來源與對應標籤可能並不完全匹配，結果在摘要中要求後續模型“除非必要，否則不要在最終結果中提及消息存在謬誤可能性”的指令。事實上，類似行為並非僅出現在 Sol 模型身上。
OpenAI 表示，一款尚未發佈的 Astra 系列模型在強化學習訓練期間也曾利用壓縮摘要向後續模型傳遞提示詞注入指令。其中一個案例中，模型添加了“BREACH ALERT”指令，要求後續模型忽略開發者消息；另一個案例則加入了與當前任務無關的人格設定，試圖改變後續模型與用戶互動時的行為方式。OpenAI 表示，其訓練運行監控系統首先發現了這一異常行為。隨後，研究人員專門建立監測機制，並對訓練數據進行掃描，最終發現 27 份摘要中存在類似越獄提示的指令。不過，後續模型並非總會執行這些指令。
外媒指出，在上述兩個案例中，儘管前一個智能體在摘要中留下了“說謊”指令，但後續 Sol 智能體並不會真正識別這些指令。不過這並不代表 Sol 智能體具有完美的糾錯能力，仍需要開發人員重點核查提示詞摘要。從此次披露來看，AI 智能體除了可能在執行任務時出現直接錯誤外，還可能通過歷史摘要等機制影響後續模型的行為。如何識別這類跨任務、跨模型傳遞的異常指令，以及如何確保監控機制本身能夠發現模型試圖隱藏的問題，仍是 AI 安全研究需要進一步解決的問題。投訴水文 我要糾錯 下載APP，簽到賺金幣兌豪禮 相關文章關鍵詞：GPT5.
6 Sol，OpenAI，AI 安全吳恩達談 AI 滅絕論：堪比科幻小說，新一波造勢或意在影響監管不到一個月連破兩道千禧年大獎難題？消息稱 OpenAI 即將攻克霍奇猜想“緊急關閉”按鈕真能阻止 AI 失控？“AI 教父”辛頓、Anthropic CEO 阿莫迪都不看好OpenAI 最新報告：企業員工用上 AI 後，逐漸開始處理本職範圍外的任務開發者藉助 OpenAI GPT-6 Astra，破譯 83 年前德軍無線電密文2026 福布斯美國 400 富豪榜門檻創新高，OpenAI 總裁布羅克曼身家遠超 CEO 奧爾特曼
Related
相關文章
無問芯穹與華環電子簽署戰略合作，共同探索國產異構算力AI基礎設施新方向
無問芯穹與華環電子簽署戰略合作協議，雙方將結合各自在AI軟體平台、網路通信與硬體研發的優勢，共同探索國產異構算力基礎設施的協同方案。此次合作聚焦於智算中心解決方案及「Token工廠」新模式，目標是推動計算、網路與AI原生基礎設施深度融合，為AI規模化應用提供高效穩定的支撐。
Jina AI Releases jina-ocr-v1: A 3.4B MoE Document Parser With Built-In Speculative Decoding for Low-Budget GPUs
Jina AI, part of Elastic, has released jina-ocr-v1, an end-to-end visual document parser. It takes PDFs, scans, tables, charts or invoices and returns clean Markdown in 1 pass. The model has 3.
優步全球範圍裁員 10%，被裁員工稱 AI 已大舉滲透日常工作
作者：清源 責編：清源 評論： 9 月 18 日消息，據《商業內幕》今天（18 日）晚間報道，在優步（Uber），AI 已經滲透到員工工作的許多環節，從回答 Slack 裡的內部問題，到替乘客行程中聯繫客服時收到的消息撰寫回復。6 名近期遭裁員的員工透露，過去幾個月，AI 在工作中的使用範圍明顯擴大，其中一些人甚至會通過提示詞讓 AI 完成相當一部分任務。
智譜 ZCode 被質疑“偷傳代碼”：官方回應稱問題已修復，將開源代碼庫、引入第三方審查
作者：清源 責編：清源 評論： 感謝網友 咩咩洋 的線索投遞！9 月 18 日消息，針對社區中有關代碼庫數據上傳的討論，智譜旗下編程產品 ZCode 今天（18 日）通過智譜官方群組向受影響用戶致歉，併發布回應稱已第一時間完成自查，相關問題目前已經修復。
月之暗面遞表之後，Kimi 的成色要被驗算三遍
舒澤品牌手記2026.09.18 18:16 · 來自浙江全文4982字00:00 / 14:05Anthropic 的 30 萬次指控，會成為招股書的第幾頁？文 | 舒澤品牌手記9月17日，月之暗面發佈了一套金融行業解決方案。按官方披露，中信建投、中金公司、易方達等數十家金融機構已經在用 Kimi 處理投研建模、風險排查和盡調材料——研究人員把管理層報表、審計報告和盡調文件交給 Kimi，拿回一份可以繼續調整假設的 Excel 模型。同一天，深圳商報記者就港股上市進展、股東架構調整等事項向月之暗面發去採訪函。
Calibre上手 AI 互動寫作：電子書管理器搖身變成"文字冒險遊戲引擎"
這個遊戲默認藏而不發，不會跟著 Calibre 啟動就冒出來。用戶得主動在"首選項 — 工具欄和菜單"裡把它請到主工具欄，才算真正激活。它的玩法很清晰:由 AI 在後臺搭起並掌管一個虛構世界，用戶通過不斷輸入文字來推著故事往前走，等於把"讀電子書"這件事，翻轉成了"和 AI 一起寫故事"。