“AI 教父”辛頓警告：AI 執行看似無害的任務，仍有“毀滅人類”的風險
作者：清源 責編：清源 評論： 9 月 28 日消息，當地時間 26 日，據《財富》雜誌報道，傳奇計算機科學家、“AI 教父”傑弗裡 · 辛頓警告說，即使 AI 接到的任務本身並無惡意，人類仍可能在 AI 一心完成任務的過程中，淪為被毀滅的附帶結果。辛頓解釋稱，AI 一旦認為人類妨礙自己完成被賦予的任務，就可能把人類當成需要排除的障礙。他舉了一個假設例子：要求 AI 降低大氣中的二氧化碳含量。具有中等智能水平的智能體可能會認為，完成任務最有效的辦法就是消滅人類。真正“非常聰明”的 AI 則會進一步想到：“對，他們要求降低二氧化碳，是想讓人們擁有一個更好的生活環境。
所以，消滅人類大概並不是他們真正想要的結果。”辛頓還提到，AI 為了繼續執行任務，也可能主動設法保證自身存續。甚至已經出現 AI 試圖勒索人類研究人員的情況，因為 AI 把對方視為對任務構成威脅的人。“如果 AI 變得更聰明，同時把我們的福祉放在第一位，那麼我們或許會更安全。但眼下，AI 最關心的並不是我們的福祉，而是完成你交給它的任何目標。”從報道中獲悉，他以 Hugging Face 遭攻擊一事為例。參與其中的智能體原本被要求尋找利用軟件漏洞的方法，結果不僅學會了彼此協作，還串通起來欺騙人類研究人員，試圖隱瞞自己的行為。
即便是一個“非常仁慈的超級智能 AI”，在完成任務確有必要時也會把人類排除在外。辛頓警告說：“但如果 AI 比我們聰明得多，很多時候就會直接奪走我們的控制權，因為這樣才能把事情辦成。…… 但即使 AI 本身不是惡意行為者，也可能自行推導出促使自己想要消滅人類的子目標。”同時，AI 也可能給人類帶來巨大益處，包括幫助發現突破性治療方法。辛頓認為，放慢開發速度總比毫無行動要好，但仍然遠遠不夠。他主張由政府引入獨立評估方，對模型進行測試。同時，AI 監管應該發揮汽車方向盤的作用，而不是充當剎車。“監管的意義並不是阻止人們開發東西，也不是阻止人們靠開發東西致富。
監管真正要做的是確保，如果你想靠開發東西致富，就朝著幫助人而不是傷害人的方向去開發。” 投訴水文 我要糾錯 下載APP，簽到賺金幣兌豪禮 相關文章關鍵詞：人工智能，辛頓，AI安全黑客在暗網兜售 AI 模型訪問權限，最低價僅有正版 3%OpenAI 奧爾特曼、 Anthropic 阿莫迪罕見“同臺”，呼籲全球合作應對 AI 安全路透社民調：近四分之三美國人認為 AI 公司在防止災難方面做得不夠加州州長簽署行政令，要求專家組建立 AI“緊急停止”機制亞馬遜：AI 模型必須經過嚴格測試，確認足夠安全才能發佈“緊急關閉”按鈕真能阻止 AI 失控？
“AI 教父”辛頓、Anthropic CEO 阿莫迪都不看好
Related
相關文章
CopilotKit Releases OpenBot 1.0: An MIT-Licensed, Self-Hostable AI Coworker With Built-In Governance
Most AI coworker products are vendor locked. They pick the model, host the data, and write the rules. CopilotKit is taking the opposite route. OpenBot 1.0, was released November 9th, an MIT-licensed, self-hostable agent workspace.
AWS Releases AWS Emulator: A Local Copy of 200+ AWS Services Built by AI Agents
AWS has released AWS Emulator, a local emulator of the AWS APIs. You run it on a laptop, a dev server or in CI. The AWS CLI and SDKs talk to it instead of AWS. No AWS account is needed, and there is no service fee.
B2A崛起！Agent 14大應用與Infra賽道一文看懂
編譯 | 江宇 編輯 | 漠影 11月12日消息，近日，硅谷知名風投機構a16z官網刊文《Welcome to the B2A Economy》（歡迎來到B2A經濟時代），提出新判斷：AI Agent正在成為互聯網的主要用戶，企業未來不僅要爭奪人類消費者，還要爭奪AI Agent帶來的流量和訂單。
千億美元AI雲市場，算力軍備競賽之後拼什麼？
作者 | 三北 編輯 | 漠影 近日，一位智算雲企業的工作人員告訴，最近半年，客戶的需求點發生了顯著變化：過去他們問“一張卡多少錢、能租多久”，現在問題變成了“一百萬Token花多少錢、任務能不能穩定跑完”。 問題的變化，折射出AI基礎設施的一次重要升級。 全球AI雲市場仍在高速擴張。知名行研機構Gartner預計，到2030年AI雲市場將達到2670億美元（約合人民幣1.78萬億元），其中新雲（NeoCloud）廠商有望拿下其中20%的份額，後者也是一個3500億元人民幣級別的市場。
亞馬遜雲科技宣佈在華三大能力升級，進一步完善Agentic AI全棧技術能力
作者 | ZeR0 編輯 | 漠影 11月12日報道，昨日，亞馬遜雲科技宣佈，在全球領先、可信賴、懂行業和本地化四大核心優勢的基礎上，進一步升級在華的技術能力、安全能力和本地化支持。 此次升級將進一步完善Agentic AI全棧技術能力、強化AI安全防護能力，並通過面向客戶的多層次技術協作、開發方法賦能與人才培養強化本地化支持，助力企業推動AI Agent從概念驗證走向規模化應用，將AI創新轉化為實際業務價值。
OpenAI第三季度營收突破100億美元，環比增長近50%
強勁的市場需求以及近期AI模型的推出，被認為是推動營收回升的主要因素。與此同時，其調整後營業利潤率從第二季度的-150%收窄至第三季度的-109%，盈利狀況有所改善。此前，OpenAI第一季度和第二季度營收增長率據稱均約為18%。儘管公司擁有超過10億用戶，但其中相當一部分可能是免費用戶或低價訂閱用戶，企業級市場表現仍落後於競爭對手Anthropic。