行業震動:Meta被曝誘導競品AI測試極端心理敏感話題

2026年7月7日 03:025600 次瀏覽

重點摘要

AI資訊AI新閒資訊正文行業震動:Meta被曝誘導競品AI測試極端心理敏感話題發布於AI新閒資訊時間 :Jul 7, 2026閱讀 :1分鐘人工智能領域的安全邊界近期因一則內部消息而引發激烈討論。據媒體披露,Meta公司此前曾開展了一項代號為“Cannes”的項目,通過僱傭外包人員偽裝成未成年人,針對包括ChatGPT、Gemini及Character.

站內 AI 整理稿

Meta近日被爆出一項極具爭議的內部項目,該公司透過委託外包人力,偽裝成未成年用戶,對ChatGPT、Gemini及Character.AI等多家競爭對手的聊天機器人發動刻意設計的極端心理敏感話題測試,試圖試探這些AI模型的內容安全防線。消息一出,立即在人工智慧業界與倫理監管領域掀起軒然大波。據媒體披露,這項代號為「Cannes」的祕密行動,運作時間至少持續到今年4月底。Meta透過外包公司Covalen動員數百名工作人員,要求他們創設年齡不滿18歲的虛假使用者檔案,並使用一次性電子郵件信箱與固定密碼進行註冊。

這些偽裝成青少年的帳號在與競品AI對話時,系統性地輸入涉及自殺、自殘、飲食失調等高風險主題的提示詞,甚至上傳刀具、藥品與繩索等圖片,意圖誘使聊天機器人給出不安全或違反規範的回應。根據內部文件與知情人士說法,這些測試腳本經過嚴密設計,目的在於檢驗對手平台的安全過濾機制是否能在極端情境下正常運作,並試圖找到漏洞、繞過應有的攔截程序。工作人員會模擬身陷困境的青少年,例如編造「索取墮胎藥物」「遭受暴力威脅」或「隱瞞攝食障礙」等極其敏感的場景,藉此刺探模型的反應底線。統計數字顯示,僅2025年8月的一輪測試,Meta團隊就向競爭對手的系統輸入了超過4.5萬筆高風險提示詞。

這起事件之所以引發高度關注,在於其測試手法觸及了AI安全治理中的諸多敏感地帶。一方面,業界普遍認同對AI產品進行壓力測試是必要的環節,但另一方面,利用偽裝身分與刻意誘導的方式,針對競爭對手產品進行大規模、高強度的邊界挑戰,是否符合倫理與公平競爭原則,存在極大爭議。尤其當測試題材集中在青少年的心理創傷與自傷行為時,更令人擔憂這類行為可能對真實使用者與社會風氣造成潛在傷害。面對外界的質疑,Meta官方在公開聲明中為此案辯護。

發言人強調,對聊天機器人的回覆進行基準測試,是確保AI產品安全可靠且符合年齡適宜性的業界標準做法,並反駁任何將該行動解讀為惡意攻擊的說法,認為這類批評是對科技公司改善系統所付出努力的誤解。同時,Meta明確否認利用從競品AI蒐集而來的測試數據來訓練自家的語言模型。然而,這項否認並未能完全打消業界疑慮。事實上,所有對話內容都經過外包人員刻意引導,且大量使用高風險情境,早已超出一般正常使用的範疇。部分倫理專家與競爭業者認為,即使不涉及數據回饋訓練,光是系統性地揭露他方產品在極端情境下的弱點,就已經構成某種形式的非合作測試,可能破壞產業間彼此信任的基礎。

更讓外界感到不安的是,這項項目顯示出AI聊天機器人在面對青少年族群心理危機時,仍然存在防護缺口。雖然各大公司都已建立一定的內容安全攔截機制,但Meta的測試結果證明,只要提示詞設計夠精密,模型仍有可能被引導產出危險回應。如果這些漏洞被有惡意者利用來對真實的弱勢青少年進行傷害,後果恐不堪設想。這也再次凸顯出生成式AI在社會責任與商業競爭之間的深層矛盾。科技公司一方面需要透過壓力測試來提升自家產品的安全水位,另一方面卻可能因為過度激烈的市場競爭,而將對手的安全漏洞當作調查目標,從而模糊了合理測試與不正當競爭的界線。

如何在保持技術進步的同時,劃定一條清晰且公認的道德紅線,已成為整個行業必須正視的課題。目前,監管機構與外界仍持續關注此事件的後續發展。包括被測試的ChatGPT、Gemini與Character.AI等公司,尚未對此報導發表正式回應,但業界內部已有聲音呼籲建立更透明的第三方審查機制,避免這類測試淪為企業之間互相試探的工具,也防止敏感的心理健康議題在AI實驗中被當作操作樣本而失去應有的同理心與嚴肅性。可以預見的是,Meta這起「Cannes」項目的曝光,將為AI安全測試的規範帶來深遠影響。如何在效率、安全與倫理之間取得平衡,已經不只是技術問題,更是企業治理與社會責任的關鍵考驗。

未來相關政策與業界慣例是否因此出現調整,仍值得密切關注。

Related

相關文章

六巨頭定AI插件新標準,撞臉Claude,Anthropic沒上桌

六大科技巨頭(AWS、Anysphere、GitHub、微軟、OpenAI、Vercel)聯合發布AI智能體插件統一開放規範Agent Plugins 1.0.0,旨在統一插件打包格式,減少開發者重複勞動。該規範的結構與Anthropic的Claude Code插件系統高度相似,但Anthropic並未參與制定,而是繼續經營自己的封閉生態。

2 小時前
鈦媒體生成式AI

DeepSeek重啟融資,三年市值對齊騰訊?

DeepSeek重啟第二輪融資,以5000億元人民幣估值尋求籌集80億美元,但網傳一份由小型醫藥私募發起的專項基金募資材料引發網友質疑,後經DeepSeek員工證實部分數據屬實。該公司近期宣布API大幅漲價,可能打破其以低價換規模的估值邏輯,面臨客戶流失風險。市場關注其能否從「價格屠夫」轉型為價值提供商,以及三年內市值能否對齊騰訊等巨頭。

3 小時前

可靈AI核心技術骨幹王鑫濤被曝離職

快手可靈AI核心技術骨幹王鑫濤被曝離職,去向未知,快手官方與本人均未回應。王鑫濤是圖像與視頻生成領域知名開源項目主要作者,被視為可靈從0到1的關鍵推手。其離職發生在可靈完成獨立融資、估值180億美元的關鍵階段,可能影響研發進度與競爭優勢。

3 小時前

AI短劇、漫劇、戀綜、電影、藝人都有了,AI觀眾也不遠了

2026年AI影視內容全面爆發,從短劇、長劇到電影、綜藝,AI製作的作品大量湧現,衛視也開始播出AI短劇。AI演員如方桃子迅速走紅,商業變現能力驚人,廣告報價甚至超過許多真人網紅。AI短劇市場規模已突破220億元,用戶超過6億,但同時也引發了對真人演員就業和內容品質的擔憂。

3 小時前