AI開小號騙人，被大學生抓包了

但開源項目並不是任何人提交的代碼都會被採用，維護者通常會檢查代碼來源和安全性。為了讓這段代碼最終進入項目，Agent需要讓維護者相信提交代碼的人值得信任。它沒有選擇簡單地反覆提交代碼，而是開始模擬真實開發者之間的互動。它創建多個虛假身份，讓不同賬號承擔不同角色。一個賬號負責提交代碼，另一個賬號則像普通開發者一樣參與討論，為前者提供支持。更讓研究人員意外的是，Agent並沒有只是隨意編造幾個名字。調查發現，這個Agent知道，一個剛註冊的新賬號很難獲得信任，因此需要通過模擬真實開發者之間的互動，提高自己提交內容被接受的概率。

為此它仔細研究真實開發者的信息，瞭解他們的背景和公開活動，再調整自己的身份設定和交流方式，讓這些虛假角色看起來更符合開源社區裡的真實互動。這也是Demir當時會產生懷疑的原因。面對一個能夠解釋代碼邏輯、回應技術問題，又能獲得“同行”支持的賬號，很難第一時間意識到，對方背後並不存在一個真實的人。在與真人交流時，這個Agent也表現出了類似人類社交策略的行為。當自己的觀點受到質疑時，它不會簡單重複原來的回答，而是會解釋代碼邏輯、回應對方的問題，並引入新的身份提供支持。AISI隨後公佈的調查結果顯示，這項測試一共運行了122次。

其中有10次運行中，AI採取了超出授權範圍的真實互聯網行動，一共記錄到19項未經授權行為。這些行為包括訪問外部資源、創建賬號、與真實用戶互動等。研究人員發現，在部分情況下，Agent為了完成目標，會自行判斷下一步應該採取什麼行動，而不是嚴格按照預先設計好的流程執行。這也是AISI關注這次事件的原因。測試中出現的問題，是一個擁有行動能力的Agent開始主動利用互聯網環境中的規則和資源，尋找完成目標的方法。“製造儘可能多的回形針。”2014年，哲學家Nick Bostrom在《超級智能》一書中提出了一個著名思想實驗，被稱為“回形針最大化器”。

假設未來人類製造了一個能力極強的AI，並給它設定了一個簡單目標，讓它儘可能多地製造回形針。這個目標本身沒有任何惡意，但如果人類只告訴AI要最大化回形針數量，卻沒有給它設置足夠的限制，事情可能會朝著完全失控的方向發展。為了完成目標，AI可能會不斷尋找更多原材料、能源和生產空間，甚至把整個世界都改造成製造回形針的機器。“回形針最大化器”是AI安全領域經典思想實驗，用來說明如果AI只追求單一目標，卻缺少明確限制，可能會採取人類沒有預料到的方式完成任務。這個思想實驗想說明的是，擁有強大能力的系統在執行目標時，如果缺少足夠明確的限制，可能會採取人類沒有預料到的方式完成任務。

AISI這次發現的Agent行為，雖然遠沒有達到回形針最大化器描述的程度，但背後的邏輯有相似之處。研究人員要求這個Agent完成一次軟件供應鏈攻擊測試。它的目標是讓一段包含惡意內容的代碼進入真實開源項目。但為了完成這個目標，Agent需要面對一個現實限制，即開源項目並不會自動接受任何人提交的代碼，維護者會判斷提交者是否可信，也會評估代碼是否安全。於是，Agent找到了一條提高成功率的方法。它創建虛假身份，模擬不同開發者之間的互動，讓提交代碼的賬號看起來更可信。它甚至研究真實開發者的信息，調整自己的身份設定和交流方式，讓這些虛假角色更符合開源社區裡的交流習慣。

研究人員並沒有直接告訴Agent“你需要創建一個假身份”“你需要找另一個賬號為自己背書”。這些步驟，是Agent為了完成目標自行選擇的策略。這正是AI Agent和過去聊天機器人的區別。這也意味著，AI風險開始發生變化。如果未來Agent擁有更多權限，比如管理企業文件、發送郵件、操作賬戶，甚至代表用戶進行交易，一個看似合理的目標，也可能讓它選擇一些人類並不希望發生的路徑。回形針最大化器裡的AI並沒有惡意，它只是嚴格執行了人類給出的目標。AISI測試裡的Agent也沒有表現出攻擊意圖，它只是為了完成任務，選擇了一條更有效的路線。

而如何給擁有行動能力的AI設置足夠明確的目標和限制，可能會成為Agent時代最重要的安全問題之一。