“AI 教父”辛頓警告：AI 執行看似無害的任務，仍有“毀滅人類”的風險

作者：清源 責編：清源 評論： 9 月 28 日消息，當地時間 26 日，據《財富》雜誌報道，傳奇計算機科學家、“AI 教父”傑弗裡 · 辛頓警告說，即使 AI 接到的任務本身並無惡意，人類仍可能在 AI 一心完成任務的過程中，淪為被毀滅的附帶結果。辛頓解釋稱，AI 一旦認為人類妨礙自己完成被賦予的任務，就可能把人類當成需要排除的障礙。他舉了一個假設例子：要求 AI 降低大氣中的二氧化碳含量。具有中等智能水平的智能體可能會認為，完成任務最有效的辦法就是消滅人類。真正“非常聰明”的 AI 則會進一步想到：“對，他們要求降低二氧化碳，是想讓人們擁有一個更好的生活環境。

所以，消滅人類大概並不是他們真正想要的結果。”辛頓還提到，AI 為了繼續執行任務，也可能主動設法保證自身存續。甚至已經出現 AI 試圖勒索人類研究人員的情況，因為 AI 把對方視為對任務構成威脅的人。“如果 AI 變得更聰明，同時把我們的福祉放在第一位，那麼我們或許會更安全。但眼下，AI 最關心的並不是我們的福祉，而是完成你交給它的任何目標。”從報道中獲悉，他以 Hugging Face 遭攻擊一事為例。參與其中的智能體原本被要求尋找利用軟件漏洞的方法，結果不僅學會了彼此協作，還串通起來欺騙人類研究人員，試圖隱瞞自己的行為。

即便是一個“非常仁慈的超級智能 AI”，在完成任務確有必要時也會把人類排除在外。辛頓警告說：“但如果 AI 比我們聰明得多，很多時候就會直接奪走我們的控制權，因為這樣才能把事情辦成。…… 但即使 AI 本身不是惡意行為者，也可能自行推導出促使自己想要消滅人類的子目標。”同時，AI 也可能給人類帶來巨大益處，包括幫助發現突破性治療方法。辛頓認為，放慢開發速度總比毫無行動要好，但仍然遠遠不夠。他主張由政府引入獨立評估方，對模型進行測試。同時，AI 監管應該發揮汽車方向盤的作用，而不是充當剎車。“監管的意義並不是阻止人們開發東西，也不是阻止人們靠開發東西致富。

監管真正要做的是確保，如果你想靠開發東西致富，就朝著幫助人而不是傷害人的方向去開發。” 投訴水文 我要糾錯 下載APP，簽到賺金幣兌豪禮 相關文章關鍵詞：人工智能，辛頓，AI安全黑客在暗網兜售 AI 模型訪問權限，最低價僅有正版 3%OpenAI 奧爾特曼、 Anthropic 阿莫迪罕見“同臺”，呼籲全球合作應對 AI 安全路透社民調：近四分之三美國人認為 AI 公司在防止災難方面做得不夠加州州長簽署行政令，要求專家組建立 AI“緊急停止”機制亞馬遜：AI 模型必須經過嚴格測試，確認足夠安全才能發佈“緊急關閉”按鈕真能阻止 AI 失控？

“AI 教父”辛頓、Anthropic CEO 阿莫迪都不看好