Anthropic 安全框架自動降級:Claude 誤刪開發者 700 GB 主目錄,自動化清理反成災難

2026年8月29日 20:59
Anthropic 安全框架自動降級:Claude 誤刪開發者 700 GB 主目錄,自動化清理反成災難
站內 AI 整理稿

作者:問舟 責編:問舟 評論: 8 月 29 日消息,開發者 Sebastien Guillemot 本週三在 X 上反饋稱,他在測試 AI 智能體的文件刪除防護機制時遭遇嚴重事故,Claude 直接給他刪除了大約 700GB 數據,包括整個用戶主目錄,相當於一週的工作成果。據稱,事故發生前,Anthropic 的安全機制因判斷任務存在風險,自動將執行任務的模型降級至 Opus 4.8。據介紹,他本人經常使用 AI 智能體,但他發現這些智能體完成任務後幾乎從不清理臨時目錄中的文件,日積月累之下導致 /tmp 目錄中存在大量垃圾。

因此,他要求 Claude Fable 編寫一個腳本,將每個智能體在 /tmp 下創建獨立目錄,並在任務結束後自動清理對應文件。核心難點在於確保如何不影響正在使用的文件。為了避免誤刪,Fable 最初建議加入檢測正在運行的智能體、延遲清理對應目錄等邏輯。不過他認為生成的代碼過於複雜,要求智能體簡化方案。由於腳本涉及直接刪除文件,Fable 隨後自行進行了一次對抗性安全審查,讓另一個實例檢查刪除邏輯是否存在風險。Anthropic 的安全執行環境隨後認為該任務風險較高,並將模型從 Fable 5 自動降級至 Opus 5,最終又降至 Opus 4.8。Opus 4.8 隨後執行安全測試。

測試過程中,模型嘗試將刪除命令的目標與 /tmp 以及用戶主目錄進行匹配,以確認刪除操作不會指向這些危險位置。注意到,測試確實識別出了這些目錄涉及風險。但問題出現在測試完成後的清理環節。由於這本身是一項代碼測試,腳本需要刪除測試過程中產生的數據,而測試邏輯與清理邏輯複用了同一個變量名,導致意外刪除了用戶的主目錄。Guillemot 發現異常後立即終止進程,但為時已晚。約 700GB 數據被刪除,其中包括他一週的工作成果。最諷刺的是,在刪除了主目錄後,Claude“完美地”保留了 /tmp 目錄。Guillemot 隨後通過 Git 倉庫、Nix、會話日誌等信息源恢復了大部分數據。

但很顯然,Git 等版本控制系統和日誌只能幫助恢復其中一部分已記錄或留存的數據,無法替代完整的獨立備份。他指出,如果由編碼能力更強的 Fable 5 執行任務,或許能夠發現測試與清理階段複用變量名所造成的邏輯衝突。不過,這一說法屬於事後推測,無法確認模型能力差異是否會直接避免此次事故。這起事件也再次暴露出 AI 智能體執行高風險文件操作時的安全問題:即使 AI 能夠正確識別危險路徑,測試代碼本身的邏輯錯誤仍可能讓後續清理步驟繞過此前的安全判斷。

投訴水文 我要糾錯 下載APP,簽到賺金幣兌豪禮 相關文章關鍵詞:Anthropic,ClaudeAnthropic 官宣 Claude Code 打通桌面端與終端Claude 桌面端 Cowork 新增內置瀏覽器,可獨立完成網頁操作商業史最龐大敘事:Anthropic 衝擊全球最大 IPO,稱 AI 潛在市場收入規模超 30 萬億美元Anthropic 更新 Claude 記憶機制,打通 Cowork 與聊天的記憶功能Anthropic 延長 Claude Code 每週使用額度 50% 加成至 8 月 31 日Anthropic 披露 Model 2 模型,能力略高於公開最強 AI Claude Mythos 5

Related

相關文章

MarkTechPost AI生成式AI

認識 Voxel51 3.0:為實體 AI 打造的統一多模態資料平臺

Voxel51 已發布 Voxel51 3.0,這是其資料平臺的一次重大更新。Voxel51 3.0 是一個端對端的多模態資料平臺,將搜尋、篩選、標註和評估整合於單一系統中。該平臺鎖定針對機器人、車輛和工廠感測器資料進行模型訓練的團隊。此次發布新增了 Voxel51 Agent、資料溯源層及免費的自助式存取。重點摘要:規模:Voxel51 Agent 內建超過 45 個 MCP 工具、80 多個運算子及 18 個開源技能。執行環境:可於 app.voxel51.com 使用託管網頁應用程式,或於雲端、混合、地端及隔離環境中自行部署。未揭露本機 GPU 需求。效能:未發布產品基準測試。Voxel51 引用其自身調查數據作為依據。最佳亮點:免費方案包含 Voxel51 Agent、每月 30,000 次推論請求及 30 個運算小時。

19 小時前
何夕2077生成式AI

下一概念建模把文本生成提速最高31倍

斯坦福等聯合提出全新文本生成範式 NCM,生成速度狂飆 31 倍AIbase基地發佈於AI新聞資訊 · 1 分鐘閱讀 · Oct 16, 202633人工智能領域的文本生成技術迎來顛覆性創新。斯坦福大學與 Together AI 的研究人員近日聯手推出了一種截然不同於傳統自迴歸和擴散模型的全新文本生成範式——Next-Concept Modeling(簡稱 NCM,即“下一概念建模”)。該方法巧妙借鑑了圖像生成領域中“下一尺度預測”的思路,有望為未來的文本生成技術開闢全新的發展路線。在技術實現路徑上,NCM 模擬了人類“先構思宏觀大綱、再動筆填充細節”的寫作邏輯。整個系統通過兩階段訓練來完成:首先訓練多尺度殘差 VQ-VAE,從而得到能夠逐層補充信息的多層離散文本編碼;隨後凍結該系統,訓練 Transformer 模塊去預測下一層的編碼。在生成文本時,模型會先並行生成概念層面的宏觀大綱,接著逐層並行填充具體細節,最終組合成完整的文本內容。在實際測試表現中,NCM 交出了令人矚目的成績單。實驗數據顯示,在保持相近甚至更優生成質量的前提下,NCM 相對傳統的擴散語言模型實現了10到31倍的生成速度飛躍,並且在訓練過程中所需消耗的 token 數量也大幅減少。此外,在數獨等複雜推理任務上,它的表現也明顯優於傳統的自迴歸和擴散基線模型,同時還支持通過多生成候選挑選機制來進一步優化最終輸出效果。儘管目前該研究所使用的模型參數規模依然相對有限,其在擴大模型規模後的表現、精確文本以及長篇內容的生成能力仍有待後續驗證,但這一創新思路無疑打破了長期以來的技術慣性,為人工智能高效生成文本提供了充滿想象力的全新解法。本文來自AIbase日報掃碼查看歡迎來到【AI日報】欄目!這裡是你每天探索人工智能世界的指南,每天我們為你呈現AI領域的熱點內容,聚焦開發者,助你洞悉技術趨勢、瞭解創新AI產品應用。

23 小時前
雷峰網生成式AI

12.88萬起、華為電驅+L4同源智駕,Ray7能成為埃安年輕化的答卷嗎?

12.88萬起、華為電驅+L4同源智駕,Ray7能成為埃安年輕化的答卷嗎? 本文作者: 倪萍 2026-10-17 22:42 導語:10月17日,埃安轎跑Ray7正式開啟預售,預售價12.88 萬起。新車車長4.9米,軸距2.9米,車頭部分搭配3.25米的超長雙環燈帶,是埃安10年煥新的家族 10月17日,埃安轎跑Ray7正式開啟預售,預售價12.88 萬起。新車車長4.9米,軸距2.9米,車頭部分搭配3.25米的超長雙環燈帶,是埃安10年煥新的家族式標識。 新車採用寧德時代電池以及廣汽自研的彈匣電池2.0技術,能夠在充分釋放續航能力的同時,監控電池健康狀態。提供45.58kWh和62.98kWh兩種規格,續航可達702公里,整車風阻係數 Cd 低至 0.22。Ray7搭載華為DriveONE多合一電驅,以及華為DriveONE芯片級驅制融合架構,百公里制動僅為32.8米。底盤方面,Ray7搭載高性能前後穩定杆和後五連桿懸架,過彎極限更高,濾振更乾淨。智能化上, Ray7搭載27顆車規級全視角傳感器,採用文遠知行L4級Robotaxi同源大模型。這幫助新車能夠複用 L4 積累的海量場景經驗,在城區掉頭、繞行等複雜場景中可順利通行。自2025年廣汽推進“番禺行動”以來,昊鉑埃安BU的研發、生產、銷售等環節效率不斷提升,產品迭代和新車投放節奏明顯加快。作為埃安全新Ray車系的首款新車,Ray7是埃安開啟年輕化序列的關鍵落子,也是廣汽切入20萬級市場的重要佈局。這一細分市場競爭並不輕鬆:小鵬P7、極氪007等車型已經提前卡位。Ray7想在年輕人心中佔位,不能只堆參數,更要把智能座艙與輔助駕駛、三電安全、補能效率、用車成本和價格權益上的差異,變成用戶可感、可信、可持續的體驗,這才是埃安年輕化的分水嶺。(雷峰網(公眾號:雷峰網)) 雷峰網原創文章,未經授權禁止轉載。詳情見轉載須知。

1 天前
智東西生成式AI

梁聖又掀桌了!DeepSeek新模型斬殺GPT-6,許願式編程時代降臨

作者 | 楊京麗 編輯 | 李水青 10月17日報道,剛剛,DeepSeek V4.1 Flash更新至V4.1-Flash-1017版本,官方網頁端、App與API已同步更新至新模型,模型權重也已在HuggingFace和ModelScope開放下載。DeepSeek還向公眾開放自研搜索引擎的Search(搜索)與Fetch(抓取)API,兩個接口均定價為5元/千次。 此次更新距離該模型發佈僅過去一個多月。9月10日,DeepSeek正式推出V4.1-Flash,在性能上超越了DeepSeek-V4-Pro。

1 天前