揭秘 OpenAI 的“終極野心”：讓智能體像人類一樣熟練操作電腦
作者：清源 責編：清源 評論： 8 月 20 日消息，據《商業內幕》今天（20 日）報道，OpenAI 員工樂觀估計，公司正接近實現從創立之初就設定的目標：讓 AI 智能體像人類一樣熟練地操作電腦，尤其是使用瀏覽器。自 2015 年成立以來，OpenAI 一直希望實現這一能力，最大的難題之一是獲得足夠的訓練數據。經過多年開發，公司現在已經有信心開始向客戶逐步開放電腦操作功能。OpenAI 電腦操作團隊經理阿里 · 韋恩斯坦指出：“一旦 ChatGPT 操作電腦和軟件的速度超過你我，就會改變人們默認與電腦交互的方式。
”OpenAI 最新模型從訓練初期到後期的各個階段，都加入了專門提升電腦操作能力的數據和訓練流程。參與開發熱門電腦操作智能體基準測試的哥倫比亞大學 AI 研究員周宇（音譯）解釋稱，這些訓練是在通用 AI 模型已有能力之上繼續強化，讓模型學會完成更多電腦任務。在最初的大規模基礎訓練階段，OpenAI 很可能加入了逐幀屏幕截圖，讓模型提前接觸有助於電腦操作的信息。進入後續訓練階段後，開發人員會向模型展示完成特定任務所需的正確操作。例如，要得到填寫完畢的稅務表格，或者完成一個物體的 3D 模型，就需要讓模型學習對應的一系列電腦操作。其中一部分訓練數據來自真人示範。
OpenAI 公佈 2025 年版電腦操作功能時曾透露，公司使用過由人類演示任務完成過程的數據集，但沒有透露最新訓練數據的具體情況。周宇指出，這類數據很昂貴，因為獲取困難，整理成能夠直接用於訓練的形式也需要大量工作。OpenAI 很可能還利用強化學習繼續提高模型的電腦操作能力，讓模型反覆嘗試虛擬任務，並獎勵成功完成任務的行為。周宇認為，模型可以學會更多執行這些“獲得過獎勵的操作”。OpenAI 也改變了模型實際操作電腦時獲取信息的方式。韋恩斯坦表示，過去 ChatGPT 需要反覆截取屏幕、分析像素、發送操作指令，再重新截屏分析。
而目前在打開網站後，系統可以直接快速讀取網頁的底層信息，從內存結構、無障礙信息到鏈接關係都能應對。屏幕截圖仍然是工作流程的一部分。用戶開啟電腦操作功能時，需要允許 ChatGPT 錄屏，以便系統迅速識別當前顯示的內容。韋恩斯坦表示，這些能力結合後，Codex 就能自行測試生成的代碼、發現問題並繼續修改，形成“完整閉環”。韋恩斯坦和負責 OpenAI 瀏覽器能力的詹姆斯 · 孫認為，電腦操作技術的一大價值，是讓 ChatGPT 智能體能夠進入互聯網中大量彼此獨立的服務和“長尾”網站。從預約網站、企業內部庫存系統到社媒平臺，許多在線工具起初就是為人類手動點擊和輸入而設計的。
兩人透露，已經有用戶利用電腦操作功能自動處理數據錄入、合規任務和日程安排。韋恩斯坦指出，OpenAI 模型能力提高後，也越來越能主動發現錯誤並自行修正，因此更容易把任務做完，也更不容易在網絡環境中被無關內容帶偏。周宇認為，目前電腦操作技術的速度距離普通消費者期待的水平仍有明顯差距。“在訓練數據非常充足的有限領域，電腦操作智能體確實可以表現得很好。想讓它適應任何網頁、任何應用程序和任何操作系統，仍然非常困難。”目前，電腦操作功能還不能迅速批量處理郵件回覆，瀏覽社交媒體信息流時也顯得較為遲緩。
詹姆斯 · 孫和韋恩斯坦希望，隨著 OpenAI 模型繼續升級，電腦操作最終能夠達到 AI 編程目前的效率，讓 AI 直接操作網絡工具比用戶親自動手更快。詹姆斯 · 孫表示：“對很多工程師來說，現在已經是讓智能體寫代碼比自己寫更快。根本不用權衡，直接讓它做就行。我認為電腦操作以後也會越來越接近這種狀態。”2025 年，OpenAI CEO 薩姆 · 奧爾特曼談到早期電腦操作功能時曾公開示警：“實用價值很大，潛在風險也同樣不小。我們建議只向智能體提供完成任務所必需的最低權限，以降低隱私和安全風險。
”詹姆斯 · 孫表示，OpenAI 一直在研究“確認策略”，也就是 AI 執行下一步操作前，究竟應該在什麼情況下向用戶請求授權。目前的原則是，只要智能體準備向外傳輸數據或者刪除內容，就必須先徵得用戶同意。網絡工作往往需要連續快速地做出決定，因此 OpenAI 仍在尋找易用性和安全性之間的平衡。他坦言：“你可以把某個東西做到 100% 安全，但那樣就非常非常難用了。也可以把它做得非常容易使用，但同時非常危險。所以我們真正想解決的問題，是如何做出既有幫助、又容易使用的產品。
” 投訴水文 我要糾錯 下載APP，簽到賺金幣兌豪禮 相關文章關鍵詞：ChatGPT，OpenAI，AI 智能體，CodexChatGPT 突發全球大規模服務中斷，OpenAI 稱正在修復OpenAI 回應少量 Codex 用戶調用 GPT-5.6 系列 AI 模型誤刪文件問題不再僅限 API 密鑰：Codex 中的 GPT‑5.
6 Sol 百萬上下文能力已可通過 ChatGPT 賬號使用OpenAI 推出預覽版 ChatGPT for Linux 桌面端應用OpenAI 總裁布羅克曼承認新 ChatGPT AI 桌面應用“有點亂”，目標打造“零標籤”OpenAI 突發服務器故障，ChatGPT、Codex 出現宕機
Related
相關文章
AI 浪潮下的社區無奈謝幕:知名反編譯追蹤網站decomp.dev宣佈關閉
該網站曾致力於集中展示匹配反編譯的進展，並凝聚志同道合的技術愛好者。然而，隨著近年來人工智能技術的迅猛發展，開源協作生態遭到嚴重破壞，創始人最終決定讓其退居為歷史數據存檔。匹配反編譯長期以來是一項極度耗時且艱難的任務。自2026年初 Opus4.
AI 系統 RFdiffusion3 能從原子層面造蛋白：實驗裡真能幹活
更硬核的是，用它全新設計的蛋白質，已在真實化學反應中兌現了預期功能。由美國華盛頓大學、英國牛津大學、英偉達等機構組成的國際團隊搭建了這套系統，可對單個原子建模，專門用於設計蛋白質與核酸，相關成果於當地時間 16 日刊登在國際期刊《科學》上。
迪士尼將以2000萬美元收購Character.AI部分資產並接納核心團隊
據彭博社披露的法律文件顯示，迪士尼已同意以2000萬美元收購 Character.AI 的部分資產，並向至少60名員工（佔其員工總數的大多數）提供總額約6000萬美元年薪的就業機會，目前絕大多數受邀員工已接受試探性報價。此次收購與人才吸納，凸顯了傳統娛樂巨頭在人工智能浪潮下對垂直領域技術團隊的深度整合。
不操控鍵鼠、自己寫代碼：4 個 Gemini 智能體在《我的世界》裡自主組隊擊敗末影龍
4個 Gemini4Argon 通用編碼智能體，在沒有人類替它們分派任何角色的情況下，僅憑遊戲內的聊天頻道和一份共享筆記，就自己商量著完成了分工，然後一頭扎進一個隨機生成的《我的世界》生存世界裡。這場硬仗打了27小時14分鐘，它們最終通關，把末影龍撂倒。
垂直大模型"同源觀瀾"在福州發佈：用 AI 把兩岸共同歷史記憶"激活"
10月18日，中華文化傳承與兩岸融合發展垂直大模型"同源觀瀾"在福建師範大學旗山校區正式發佈，它的使命很明確——用數字技術把兩岸共享的歷史記憶重新盤活。福建師範大學校長鄭家建點出了這套系統要解決的真實痛點:涉臺檔案資料浩如煙海，整理和考辨的難度極高。
Vercel數據表明決策模型Jev成史上採用最快AI模型
Jev於9月15日限量發佈，通過限制預設輸出數量實現更高速度與更低成本，成為快速分類大量數據的理想選擇，並已促使OpenAI和亞馬遜等公司推出競品。作為早期採用者，Vercel已利用Jev取代GPT-6Luna來識別有害指令。相關數據源自類似OpenRouter的統一 API 服務VercelAI網關，該報告同時指出開源模型已佔據處理代幣的70% 以上及總支出的近25%，而前沿實驗室支出亦實現十倍增長。