行業震動：Meta被曝誘導競品AI測試極端心理敏感話題
重點摘要
AI資訊AI新閒資訊正文行業震動：Meta被曝誘導競品AI測試極端心理敏感話題發布於AI新閒資訊時間 :Jul 7, 2026閱讀 :1分鐘人工智能領域的安全邊界近期因一則內部消息而引發激烈討論。據媒體披露，Meta公司此前曾開展了一項代號為“Cannes”的項目，通過僱傭外包人員偽裝成未成年人，針對包括ChatGPT、Gemini及Character.
Meta近日被爆出一項極具爭議的內部項目，該公司透過委託外包人力，偽裝成未成年用戶，對ChatGPT、Gemini及Character.AI等多家競爭對手的聊天機器人發動刻意設計的極端心理敏感話題測試，試圖試探這些AI模型的內容安全防線。消息一出，立即在人工智慧業界與倫理監管領域掀起軒然大波。 據媒體披露，這項代號為「Cannes」的祕密行動，運作時間至少持續到今年4月底。Meta透過外包公司Covalen動員數百名工作人員，要求他們創設年齡不滿18歲的虛假使用者檔案，並使用一次性電子郵件信箱與固定密碼進行註冊。這些偽裝成青少年的帳號在與競品AI對話時，系統性地輸入涉及自殺、自殘、飲食失調等高風險主題的提示詞，甚至上傳刀具、藥品與繩索等圖片，意圖誘使聊天機器人給出不安全或違反規範的回應。 根據內部文件與知情人士說法，這些測試腳本經過嚴密設計，目的在於檢驗對手平台的安全過濾機制是否能在極端情境下正常運作，並試圖找到漏洞、繞過應有的攔截程序。工作人員會模擬身陷困境的青少年，例如編造「索取墮胎藥物」「遭受暴力威脅」或「隱瞞攝食障礙」等極其敏感的場景，藉此刺探模型的反應底線。統計數字顯示，僅2025年8月的一輪測試，Meta團隊就向競爭對手的系統輸入了超過4.5萬筆高風險提示詞。 這起事件之所以引發高度關注，在於其測試手法觸及了AI安全治理中的諸多敏感地帶。一方面，業界普遍認同對AI產品進行壓力測試是必要的環節，但另一方面，利用偽裝身分與刻意誘導的方式，針對競爭對手產品進行大規模、高強度的邊界挑戰，是否符合倫理與公平競爭原則，存在極大爭議。尤其當測試題材集中在青少年的心理創傷與自傷行為時，更令人擔憂這類行為可能對真實使用者與社會風氣造成潛在傷害。 面對外界的質疑，Meta官方在公開聲明中為此案辯護。發言人強調，對聊天機器人的回覆進行基準測試，是確保AI產品安全可靠且符合年齡適宜性的業界標準做法，並反駁任何將該行動解讀為惡意攻擊的說法，認為這類批評是對科技公司改善系統所付出努力的誤解。同時，Meta明確否認利用從競品AI蒐集而來的測試數據來訓練自家的語言模型。 然而，這項否認並未能完全打消業界疑慮。事實上，所有對話內容都經過外包人員刻意引導，且大量使用高風險情境，早已超出一般正常使用的範疇。部分倫理專家與競爭業者認為，即使不涉及數據回饋訓練，光是系統性地揭露他方產品在極端情境下的弱點，就已經構成某種形式的非合作測試，可能破壞產業間彼此信任的基礎。 更讓外界感到不安的是，這項項目顯示出AI聊天機器人在面對青少年族群心理危機時，仍然存在防護缺口。雖然各大公司都已建立一定的內容安全攔截機制，但Meta的測試結果證明，只要提示詞設計夠精密，模型仍有可能被引導產出危險回應。如果這些漏洞被有惡意者利用來對真實的弱勢青少年進行傷害，後果恐不堪設想。 這也再次凸顯出生成式AI在社會責任與商業競爭之間的深層矛盾。科技公司一方面需要透過壓力測試來提升自家產品的安全水位，另一方面卻可能因為過度激烈的市場競爭，而將對手的安全漏洞當作調查目標，從而模糊了合理測試與不正當競爭的界線。如何在保持技術進步的同時，劃定一條清晰且公認的道德紅線，已成為整個行業必須正視的課題。 目前，監管機構與外界仍持續關注此事件的後續發展。包括被測試的ChatGPT、Gemini與Character.AI等公司，尚未對此報導發表正式回應，但業界內部已有聲音呼籲建立更透明的第三方審查機制，避免這類測試淪為企業之間互相試探的工具，也防止敏感的心理健康議題在AI實驗中被當作操作樣本而失去應有的同理心與嚴肅性。 可以預見的是，Meta這起「Cannes」項目的曝光，將為AI安全測試的規範帶來深遠影響。如何在效率、安全與倫理之間取得平衡，已經不只是技術問題，更是企業治理與社會責任的關鍵考驗。未來相關政策與業界慣例是否因此出現調整，仍值得密切關注。
Related
相關文章
Claude有了“沒說出口的念頭”，AI意識還遠嗎？
Claude有了“沒說出口的念頭”，AI意識還遠嗎？世界模型工場2026.07.07 15:57 · 來自北京全文3987字00:00 / 11:27Anthropic這項研究可能被低估了。文 | 世界模型工場當你讀到這句話的時候，大腦里正發生著兩件事： 絕大部分信息處理，比如維持坐姿、把屏幕上的筆畫認成字、調節呼吸，你根本察覺不到；只有一小部分，比如"這段值不值得讀下去"的念頭，才浮到意識的表面。
消息稱美機構採用 Anthropic Mythos 模型對政府軟件開展安全審計，已排查出大量安全漏洞
首頁 > 智能時代>人工智能 消息稱美機構採用 Anthropic Mythos 模型對政府軟件開展安全審計，已排查出大量安全漏洞 2026/7/7 15:34:26 來源：IT之家 作者：遠洋 責編：遠洋 評論： IT之家 7 月 7 日消息，據路透社報道，三位知情人士於當地時間本週一透露，美國網絡防禦機構網絡安全和基礎設施安全局（CISA）正在使用人工智能公司 Anthropic 旗下的 Mythos 大模型對政府軟件開展安全審計。
Reddit一張神圖瘋傳，2年後，你的筆記本就能跑Fable 5
賬號設置我的關注我的收藏申請的報道退出登錄登錄搜索36氪Auto數字時氪未來消費智能湧現未來城市啟動Power on36氪出海36氪研究院潮生TIDE36氪企服點評36氪財經職場bonus36碳後浪研究所暗湧Waves硬氪氪睿研究院媒體品牌企業號企服點評36Kr研究院36Kr創新諮詢企業服務核心服務城市之窗政府服務創投發佈LP源計劃VClubVClub投資機。
Anthropic切開Claude大腦，AI自發長出類人「意識器官」
賬號設置我的關注我的收藏申請的報道退出登錄登錄搜索36氪Auto數字時氪未來消費智能湧現未來城市啟動Power on36氪出海36氪研究院潮生TIDE36氪企服點評36氪財經職場bonus36碳後浪研究所暗湧Waves硬氪氪睿研究院媒體品牌企業號企服點評36Kr研究院36Kr創新諮詢企業服務核心服務城市之窗政府服務創投發佈LP源計劃VClubVClub投資機構庫投資機構職位推介投資人認證投資人服務尋求報道36氪Pro創投氪堂企業入駐創業者服務創投平臺AI測評網 首頁快訊資訊推薦財經AI自助報道廣東最新創投汽車科技專精特新直播視頻專題活動搜索尋求報道我要入駐城市合作Anthropic切開Claude大腦，AI自發長出類人「意識器官」新智元·2026年07月07日 15:18Anthropic發現Claude自發產生類人腦意識工作空間，開源J-Lens。 【導讀】沒人設計過，Claude卻在學習預測下一個token時，自發長出了一個和人腦「意識」驚人相似的結構！Anthropic開源「手術刀」J-Lens，第一次讀出了AI咽回肚子裡的念頭。 讓Claude一邊乖乖抄寫句子，一邊在心裡默默計算3²−2。 屏幕上的輸出乾乾淨淨，只有那段被照抄的文字，找不到哪怕半個字的算術答案。 然而，當研究者用一把全新的「手術刀」切開Claude的神經網絡中間層之後，直接發現了兩個它咽回肚子裡的詞—— 起初是nine（九），幾層計算之後，悄然變成了seven（七）。 它一直在算，只是沒有告訴你罷了。 就在剛剛，Anthropic放出了一篇顛覆認知的重磅長論文—— Claude的大腦裡，竟然憑藉本能長出了一個詭異的結構。 它乾的活兒，和人腦中那塊被稱作「意識」的區域驚人地相似。 然而，從來沒有人設計過它。 一個僅僅被訓練用來預測下一個token系統，竟然在硅基深處，自己催生出了一個類似意識的器官。
Claude 擁有“靈魂”：Anthropic 論文稱 AI 和人腦存在“趨同進化”
首頁 > 智能時代>人工智能 Claude 擁有“靈魂”：Anthropic 論文稱 AI 和人腦存在“趨同進化” 2026/7/7 14:41:52 來源：IT之家 作者：故淵 責編：故淵 評論： IT之家 7 月 7 日消息，Anthropic 今天（7 月 7 日）在 X 平臺發佈推文，稱最新研究表明 Claude 模型擁有“靈魂”，且相關證據表明 AI 和人腦之間存在“趨同進化”（Convergent Evolution）。
半年估值暴漲110億美元，AI音頻為什麼比視頻先賺到錢？
半年估值暴漲110億美元，AI音頻為何能比影片更快獲利？ AI音頻正在成為科技領域最出乎意料的獲利賽道。根據外媒報導，英國新創ElevenLabs正內部討論二級市場股份出售交易，允許員工賣出持股，該交易預計在9月前完成，公司估值來到220億美元。值得注意的是，就在約五個月前，ElevenLabs才剛完成5億美元的D輪融資，當時估值為110億美元。短短不到半年，估值翻了一倍，這家以AI語音為核心的公司，憑什麼在市場中衝出驚人漲勢？