ChatGPT報警後：誰有權審判你的對話框？

腦極體2026.08.28 16:07 · 來自天津全文3780字00:00 / 11:54發現罪犯的AI，該不該報警？文 | 腦極體你敢相信，向AI吐露的私密想法，有一天會被直接遞交給執法部門嗎？在美國就發生了這樣一樁顛覆認知的事件。一名前高盛分析師在對話中向ChatGPT完整描述謀害前女友的犯罪計劃，OpenAI安全系統識別高危內容後，主動向FBI提交線索，當事人最終認罪獲刑。從結果來看，一場明確的預謀惡性案件被提前阻斷，但在行業規則、法律邊界、隱私權益層面，ChatGPT主動報警留下的爭議遠大於成果。

大眾最初的讚歎很快褪去，取而代之的是更深層的恐懼：AI到底有沒有權力窺探、上報用戶私人對話？一方面，AI報警阻止惡性案件發生，體現模型安全能力的價值；但另一方面，也帶來隱私爭議，用戶默認對話屬於私密交流，大模型卻可以把聊天記錄提交執法機關，私人對話邊界被打破。發現犯罪事件後，AI能否作為刑事案件證人？平臺的安全檢測該劃在哪條邊界？故事的起點，是一場持續了大約六個月的戀情。男主角周某履歷光鮮：美國東北大學數學與商科榮譽學位，特許金融分析師（CFA），事發時是高盛集團的分析師。然而，今年3月，21歲的前女友因受不了他“反覆無常、嫉妒心強且控制慾強”的行為，通過電話提出了分手。

現實中的周某開始瘋狂糾纏：換著號碼發短信、追蹤對方定位，甚至在對方生日當天發去一個精準到健身房名稱的定位信息。與此同時，他打開了ChatGPT，將那些無法在現實中排解的暴戾與偏執，傾瀉給了這個他認為“絕對安全”的聊天機器人樹洞。起初只是失戀者的碎碎念。但很快。周某開始在對話框裡詳細“預演”自己的暴力計劃：帶著鮮花守在前女友的健身房停車場，如果對方拒絕複合，就“拔出槍，殺了她，然後開槍自殺”。後續的對話中，他描述了持槍綁架、性侵、劫持的完整方案，聲稱已經購買了AR-15步槍、格洛克手槍，甚至把槍支、紮帶的照片發給了前女友。他向AI坦白：“她還沒收到那些威脅。

”這種持續兩個月、不斷升級的暴力預演，最終觸發了OpenAI安全系統中的多標籤有害內容分類模型。該系統不僅能識別顯性的暴力詞彙，更會通過情緒強度和語氣意圖來評估風險等級。當後臺監測到用戶正在籌劃嚴重傷害他人的犯罪行為時，內容便轉入人工審核。OpenAI的審核團隊調出記錄，驚出一身冷汗，這是一個正在逐步推演的、具有極高現實危險度的犯罪計劃。於是，戲劇性的一幕發生了：受害女孩還未報警，OpenAI的安全團隊卻率先將線索捅到了FBI面前。今年5月，FBI將ChatGPT的聊天記錄與女孩手中的騷擾證據進行比對，確認威脅可信後通報了當地警方。5月29日，周某被捕。

隨後，高盛在6月正式終止了與他的僱傭關係。主審法官斯科特·蘇斯考爾以暫緩裁定方式處理，判處8年緩刑，其中前兩年須佩戴電子腳踝監控器，全程禁止接觸前女友、禁止持有槍支。一個原本可能滑向血腥的劇本，被AI的一封舉報信按下了暫停鍵。如果故事停在這裡，它只是一則“科技向善”的爽文。可當我們深究這封ChatGPT報警案件的細節，真正值得追問的是暗藏在人機對話中的隱私問題。這起案件在輿論場上迅速撕裂為兩個陣營，支持方認為，如果沒有OpenAI的這次介入，那位21歲女孩很可能遭遇無法挽回的傷害。

事實上，周某在現實中的行為軌跡，持續跟蹤、換號騷擾、發送槍支照片、威脅內容不斷具體化已經勾勒出一條清晰的暴力升級曲線。AI的預警攔住了即將到來的災禍。反對方認為，用戶默認對話屬於私密交流，大模型卻可以將聊天記錄提交執法機關。所有的傾訴、想法乃至極端念頭都可以被算法抓取、被人工審核、被提交執法部門。所謂的“私人對話”不過是用戶的自我錯覺，平臺隨時窺視、調取、上報的權限會帶來很多隱患。一方面，普通人的情緒宣洩空間被持續壓縮。人性本就複雜，每個人都有負面、陰暗、極端的瞬時想法，以往可以通過私密傾訴完成情緒消解。

如今用戶在AI面前不敢真實表達自我，不敢袒露負面情緒，不敢進行腦洞創作和思想試探，擔心一念之差的情緒表達被算法定性為高危行為，引發不必要的司法風險。最終，人機對話變得拘謹、刻意、虛偽，徹底喪失了情緒治癒、思想探索的價值。另一方面，行業隱私規則的漏洞被無限放大。當前全球AI行業的隱私規範尚未完善，沒有統一的邊界標準，沒有明確的權責劃分，沒有嚴格的監管約束。平臺的安全風控完全自主定義，舉報機制完全自主執行，缺乏第三方監管、司法監督和用戶申訴渠道。平臺資本主義視角下，AI的“安全預警權”極易被濫用，從防範惡性犯罪的工具異化為無差別監控用戶的手段。

講到這裡，一個問題自然而然浮現：什麼樣的AI報警才具備合理性？如果AI對話要作為刑事案件的線索，又該設置哪些約束條件？這起被稱為“全球首例AI報警抓人”的案件，因其情節的戲劇性迅速引爆輿論。但鮮有人知的是，就在幾個月前，同樣面對用戶與ChatGPT的暴力對話，OpenAI做出了截然相反的選擇。今年2月，加拿大不列顛哥倫比亞省爆發大規模槍擊，造成多人死傷。事後報道披露，行兇的18歲槍手，案發前也曾長期在ChatGPT上討論槍支暴力相關內容，同樣被系統標記風險，可OpenAI高層最終選擇不聯繫執法部門，僅僅封禁了賬號，理由是尚未達到通報的內部門檻。當地政府事後甚至打算就此對OpenAI提起訴訟。

兩相參照不難看出，AI並不是遇到暴力相關表述就直接報警。報警與否完全取決於平臺自身的規則判斷，而非一套普適、法定的統一標準。這也引出更深層的拷問：商業AI究竟憑什麼擁有判斷風險、決定是否上報用戶的權力？在傳統司法流程中，公民私人數據的調取、私密內容的取證、風險行為的認定必須遵循“司法授權、法定流程、有限取證”三大原則。任何私人企業、機構均無資格主動審查公民私人思想、無授權提交私人證據。但ChatGPT報警這件事，跳出了這套傳統框架。算法自主識別風險，企業人員自主審核內容，企業自主決定是否移交數據。整個過程，不需要法院的前置審批，也不會告知用戶本人。

商業平臺事實上承接了一部分公共安全的判斷職能，卻游離在司法監管的約束之外。從技術層面看，大模型的風險識別依賴關鍵詞匹配、語義特徵、對話頻次、內容迭代規律等數據維度，無法實現對人類主觀意圖的精準辨析，這是當前AI風控的底層技術缺陷。在行業實操中，三類內容極易被算法混淆。也正是在此處，我們需要分清三個極易混淆的概念：犯罪幻想、犯罪動機、犯罪預備。很多人在委屈憤怒的時候，腦海裡都會閃過極端的報復念頭；寫小說、打磨劇本時，也會細緻構思暴力的故事情節，比如懸疑構思、腦洞推演、案件分析等場景。這屬於犯罪幻想，只是純粹的情緒宣洩或者創作構思，沒有明確的加害對象，沒有落地執行的打算，不存在現實威脅。

倘若只要說出極端想法就會被上報，那無異於搭建起一張思想監控的大網，連在數字世界宣洩負面情緒的出口都會被剝奪。而犯罪動機僅僅是埋藏於內心想要作惡的念頭，還沒有開展任何準備。動機是純粹的內心活動，隱秘且主觀、無法被客觀界定，也不具備社會危害性。傳統司法中，僅憑犯罪動機絕對無法定罪，因為無人能夠精準評判他人的內心意圖，思想本身不具備可罰性。真正觸碰法律紅線的是犯罪預備：心裡有作惡的想法，更進一步開始制定方案、置辦工具、踩點推演，實實在在為行兇做準備，具備清晰目標與現實危險性。回到美國這起案件，當事人之所以最終獲刑認罪，是本身存在現實騷擾行為，並且本人認罪，避開了證據合法性的激烈爭辯。

但放到更長遠的行業視角來看，平臺未經司法許可，主動提取、上交用戶聊天記錄，證據的合法性依舊充滿爭議。合法取證有一個基本原則：非法取得的證據應當予以排除。用戶選擇向AI傾訴，是建立在對話私密的信任之上。平臺在沒有司法文書、不告知當事人的前提下，單方面調取、移交聊天記錄，本質屬於企業私自取證。目前全世界也還沒有明確法律，認定這種AI平臺主動上交的對話，可以直接作為法庭證據，這正是這起案件留下的巨大法律空白。那麼，用戶在私人場景下的無防備傾訴是否需要承擔被算法審判、被平臺舉報的風險？合理的邊界應當以緊迫性、具體性、可識別性為錨。

第一，要有明確、可識別的受害者，空頭罵街與指名道姓地描述如何傷害某個具體的人性質天差地別；第二，要呈現從情緒到計劃的升級，而非一兩句衝動的狠話；第三，要存在現實化的跡象，比如購置工具、踩點、持續騷擾等可佐證的行為。反過來說，邊界也必須有它的不得越界。模糊的憤怒、文學化的暴力想象、沒有具體目標和手段的宣洩，不應觸發上報；審核結論應當留痕、可複核，避免算法誤判把普通人拖進執法流程；用戶至少應當在入口處被明確告知“對話在特定條件下會被審閱並可能移交執法部門”。簡言之，AI風控的初衷本是防範風險、守護安全，技術可以成為預警犯罪、挽救危險的輔助工具，但絕不能脫離法律框架，僭越司法的審判與裁定權力。

我們期待AI能夠發現並阻止更多的潛在惡性事件，但絕不接受私權濫用、讓傾洩負面情緒都到了人人自危的程度。