揭秘 OpenAI 的“終極野心”:讓智能體像人類一樣熟練操作電腦

作者:清源 責編:清源 評論: 8 月 20 日消息,據《商業內幕》今天(20 日)報道,OpenAI 員工樂觀估計,公司正接近實現從創立之初就設定的目標:讓 AI 智能體像人類一樣熟練地操作電腦,尤其是使用瀏覽器。自 2015 年成立以來,OpenAI 一直希望實現這一能力,最大的難題之一是獲得足夠的訓練數據。經過多年開發,公司現在已經有信心開始向客戶逐步開放電腦操作功能。OpenAI 電腦操作團隊經理阿里 · 韋恩斯坦指出:“一旦 ChatGPT 操作電腦和軟件的速度超過你我,就會改變人們默認與電腦交互的方式。
”OpenAI 最新模型從訓練初期到後期的各個階段,都加入了專門提升電腦操作能力的數據和訓練流程。參與開發熱門電腦操作智能體基準測試的哥倫比亞大學 AI 研究員周宇(音譯)解釋稱,這些訓練是在通用 AI 模型已有能力之上繼續強化,讓模型學會完成更多電腦任務。在最初的大規模基礎訓練階段,OpenAI 很可能加入了逐幀屏幕截圖,讓模型提前接觸有助於電腦操作的信息。進入後續訓練階段後,開發人員會向模型展示完成特定任務所需的正確操作。例如,要得到填寫完畢的稅務表格,或者完成一個物體的 3D 模型,就需要讓模型學習對應的一系列電腦操作。其中一部分訓練數據來自真人示範。
OpenAI 公佈 2025 年版電腦操作功能時曾透露,公司使用過由人類演示任務完成過程的數據集,但沒有透露最新訓練數據的具體情況。周宇指出,這類數據很昂貴,因為獲取困難,整理成能夠直接用於訓練的形式也需要大量工作。OpenAI 很可能還利用強化學習繼續提高模型的電腦操作能力,讓模型反覆嘗試虛擬任務,並獎勵成功完成任務的行為。周宇認為,模型可以學會更多執行這些“獲得過獎勵的操作”。OpenAI 也改變了模型實際操作電腦時獲取信息的方式。韋恩斯坦表示,過去 ChatGPT 需要反覆截取屏幕、分析像素、發送操作指令,再重新截屏分析。
而目前在打開網站後,系統可以直接快速讀取網頁的底層信息,從內存結構、無障礙信息到鏈接關係都能應對。屏幕截圖仍然是工作流程的一部分。用戶開啟電腦操作功能時,需要允許 ChatGPT 錄屏,以便系統迅速識別當前顯示的內容。韋恩斯坦表示,這些能力結合後,Codex 就能自行測試生成的代碼、發現問題並繼續修改,形成“完整閉環”。韋恩斯坦和負責 OpenAI 瀏覽器能力的詹姆斯 · 孫認為,電腦操作技術的一大價值,是讓 ChatGPT 智能體能夠進入互聯網中大量彼此獨立的服務和“長尾”網站。從預約網站、企業內部庫存系統到社媒平臺,許多在線工具起初就是為人類手動點擊和輸入而設計的。
兩人透露,已經有用戶利用電腦操作功能自動處理數據錄入、合規任務和日程安排。韋恩斯坦指出,OpenAI 模型能力提高後,也越來越能主動發現錯誤並自行修正,因此更容易把任務做完,也更不容易在網絡環境中被無關內容帶偏。周宇認為,目前電腦操作技術的速度距離普通消費者期待的水平仍有明顯差距。“在訓練數據非常充足的有限領域,電腦操作智能體確實可以表現得很好。想讓它適應任何網頁、任何應用程序和任何操作系統,仍然非常困難。”目前,電腦操作功能還不能迅速批量處理郵件回覆,瀏覽社交媒體信息流時也顯得較為遲緩。
詹姆斯 · 孫和韋恩斯坦希望,隨著 OpenAI 模型繼續升級,電腦操作最終能夠達到 AI 編程目前的效率,讓 AI 直接操作網絡工具比用戶親自動手更快。詹姆斯 · 孫表示:“對很多工程師來說,現在已經是讓智能體寫代碼比自己寫更快。根本不用權衡,直接讓它做就行。我認為電腦操作以後也會越來越接近這種狀態。”2025 年,OpenAI CEO 薩姆 · 奧爾特曼談到早期電腦操作功能時曾公開示警:“實用價值很大,潛在風險也同樣不小。我們建議只向智能體提供完成任務所必需的最低權限,以降低隱私和安全風險。
”詹姆斯 · 孫表示,OpenAI 一直在研究“確認策略”,也就是 AI 執行下一步操作前,究竟應該在什麼情況下向用戶請求授權。目前的原則是,只要智能體準備向外傳輸數據或者刪除內容,就必須先徵得用戶同意。網絡工作往往需要連續快速地做出決定,因此 OpenAI 仍在尋找易用性和安全性之間的平衡。他坦言:“你可以把某個東西做到 100% 安全,但那樣就非常非常難用了。也可以把它做得非常容易使用,但同時非常危險。所以我們真正想解決的問題,是如何做出既有幫助、又容易使用的產品。
” 投訴水文 我要糾錯 下載APP,簽到賺金幣兌豪禮 相關文章關鍵詞:ChatGPT,OpenAI,AI 智能體,CodexChatGPT 突發全球大規模服務中斷,OpenAI 稱正在修復OpenAI 回應少量 Codex 用戶調用 GPT-5.6 系列 AI 模型誤刪文件問題不再僅限 API 密鑰:Codex 中的 GPT‑5.
6 Sol 百萬上下文能力已可通過 ChatGPT 賬號使用OpenAI 推出預覽版 ChatGPT for Linux 桌面端應用OpenAI 總裁布羅克曼承認新 ChatGPT AI 桌面應用“有點亂”,目標打造“零標籤”OpenAI 突發服務器故障,ChatGPT、Codex 出現宕機
Related
相關文章
迪士尼將以2000萬美元收購Character.AI部分資產並接納核心團隊
AI資訊AI新閒資訊正文迪士尼將以2000萬美元收購Character.AI部分資產並接納核心團隊發布於AI新閒資訊時間 :Oct 19, 2026閱讀 :1分鐘近日,聊天機器人初創公司Character.AI在申請破產之際迎來重大轉折,其前首席執行官 Karandeep Anand 此前已出任迪士尼首位首席技術官。據彭博社披露的法律文件顯示,迪士尼已同意以2000萬美元收購 Character.AI 的部分資產,並向至少60名員工(佔其員工總數的大多數)提供總額約6000萬美元年薪的就業機會,目前絕大多數受邀員工已接受試探性報價。此次收購與人才吸納,凸顯了傳統娛樂巨頭在人工智能浪潮下對垂直領域技術團隊的深度整合。儘管該初創公司擁有龐大且活躍的用戶群,但持續走高的運營成本以及潛在的訴訟責任與監管壓力(如近期面臨的兒童安全調查及相關法律訴訟)最終導致其業務承壓。該事件折射出當前大模型與對話式AI賽道正加速走向分化,高昂的合規成本與財務壓力正促使部分早期獨角獸資產與核心團隊向資金實力雄厚的巨頭靠攏,行業資源進一步向頭部集中。相關推薦Vercel數據表明決策模型Jev成史上採用最快AI模型Vercel週四數據顯示,TypeSafe AI的輕量級決策模型Jev推出兩週內獲35%付費團隊採用,覆蓋率達第二名Sonnet5.5近兩倍,創平臺最快普及紀錄。Jev於9月15日限量發佈,通過限制預設輸出數量實現更快、更低成本,適合快速分類大量數據,並促使OpenAI、亞馬遜推出競品。Vercel為早期採用者。Oct 19, 202676.7k垂直大模型"同源觀瀾"在福州發佈:用 AI 把兩岸共同歷史記憶"激活"10月18日,中華文化傳承與兩岸融合發展垂直大模型“同源觀瀾”在福建師範大學旗山校區發佈。它專攻文化史料,用數字技術盤活兩岸共同歷史記憶。校長鄭家建指出,涉臺檔案浩如煙海,整理考辨難度
不操控鍵鼠、自己寫代碼:4 個 Gemini 智能體在《我的世界》裡自主組隊擊敗末影龍
AI資訊AI新閒資訊正文不操控鍵鼠、自己寫代碼:4 個 Gemini 智能體在《我的世界》裡自主組隊擊敗末影龍發布於AI新閒資訊時間 :Oct 19, 2026閱讀 :1分鐘Google DeepMind 放出了一段讓人重新審視"AI 協作"邊界的實驗。4個 Gemini4Argon 通用編碼智能體,在沒有人類替它們分派任何角色的情況下,僅憑遊戲內的聊天頻道和一份共享筆記,就自己商量著完成了分工,然後一頭扎進一個隨機生成的《我的世界》生存世界裡。這場硬仗打了27小時14分鐘,它們最終通關,把末影龍撂倒。這群"隊友"從頭到尾沒碰過鍵盤鼠標。它們真正的手腳,是一行行自己寫出來的代碼——通過調用 Mineflayer 庫,把意圖翻譯成遊戲裡能執行的動作。整場挑戰裡,它們累計產出2783個程序,相當於邊打邊現搓工具。最硬核的是它們的韌性:過程中總計死亡605次,卻沒有一次中斷退出,反而靠一次次試錯,自己摸索出了破壞末影水晶的有效戰術。也就是說,那套打敗 Boss 的關鍵打法,不是人類教給它們的,是它們自己悟出來的。結果的乾淨程度也經得起檢驗。DeepMind 安排獨立裁判智能體和人工進行了兩層審計,確認全程沒有任何作弊行為;而四個智能體之間的溝通效率高得驚人——整場27小時的鏖戰,聊天頻道里只留下229條消息。沒有廢話,沒有扯皮,要緊的事說清楚就繼續幹活。這次實驗最值得玩味的地方,在於它和過去多智能體研究的分野。以往類似嘗試往往先把每個智能體的職責寫死,再讓它們照劇本配合;而這一回,4個智能體完全靠自己磨合、自己劃分權責,在長達一天多的時間裡維持住沒有預設架構的協作。DeepMind 認為,這種"無預設架構、長時程、多智能體自主協作"的能力,可以遷移到編碼、科研、工程乃至機器人等領域。換句話說,這不再是一個被人類安排好工序的工具,而是一支能自己組隊、自己商量著把難題啃下來的隊伍——
垂直大模型"同源觀瀾"在福州發佈:用 AI 把兩岸共同歷史記憶"激活"
AI資訊AI新閒資訊正文垂直大模型"同源觀瀾"在福州發佈:用 AI 把兩岸共同歷史記憶"激活"發布於AI新閒資訊時間 :Oct 19, 2026閱讀 :1分鐘一個專門啃文化史料垂直大模型的亮相,把人工智能的觸角伸向了兩岸共同的歷史記憶。10月18日,中華文化傳承與兩岸融合發展垂直大模型"同源觀瀾"在福建師範大學旗山校區正式發佈,它的使命很明確——用數字技術把兩岸共享的歷史記憶重新盤活。福建師範大學校長鄭家建點出了這套系統要解決的真實痛點:涉臺檔案資料浩如煙海,整理和考辨的難度極高。該校研發推出"同源觀瀾",正是要用 AI 去做文獻挖掘與史料解析,把人文社科和數字技術真正擰在一起,也是學校推進新文科建設的一次交叉嘗試。模型把主戰場放在幾個重點方向:兩岸語言文學、兩岸人地關係、非遺保護與藝術實踐,以及兩岸社會模擬研究。支撐這套能力的,是一組已經落地的應用系統。目前模型已經建成多學科多模態知識圖譜"同源文藏"、AI 輔助涉臺研究平臺"觀瀾策筆",以及社會模擬與推演平臺"同源智鏡"。三者串起來,形成一條"基礎研究—技術研發—應用落地—政策服務"的閉環創新鏈路,為涉臺學術研究、文化傳播和決策諮詢提供數智底座。該校數智實驗室副主任宋美傑把這條鏈路概括得更形象:模型已經能從同源文化積澱、實時態勢感知,一路走到未來事件推演。後續系統還會逐步拓展到區域國別研究、兩岸文化傳播等方向,並推進文獻資源有序開放,交給涉臺研究人員使用。這款面向涉臺領域的垂直大模型,也被看作對臺工作長期著力推進的方向之一。相關領域人士在評價時表示,從功能介紹看,模型的整體表現亮眼,貼合實際工作需求,並期待研發團隊持續迭代優化,未來能向相關領域從業人員開放使用。當 AI 不再只會對通用問題侃侃而談,而是俯下身去鑽進浩繁的史料與文獻,它之於文化傳承的價值,才真正開始顯現。相關推薦Vercel數據表明決策模型Jev成史上採用
Vercel數據表明決策模型Jev成史上採用最快AI模型
AI資訊AI新閒資訊正文Vercel數據表明決策模型Jev成史上採用最快AI模型發布於AI新閒資訊時間 :Oct 19, 2026閱讀 :1分鐘Vercel於週四發佈的數據顯示,由 TypeSafe AI 創建的輕量級決策模型Jev在推出兩週內,已獲得35% 付費團隊的採用,其覆蓋範圍達到排名第二的Sonnet5.5模型近兩倍,創下Vercel平臺有史以來最快的模型普及速度。Jev於9月15日限量發佈,通過限制預設輸出數量實現更高速度與更低成本,成為快速分類大量數據的理想選擇,並已促使OpenAI和亞馬遜等公司推出競品。作為早期採用者,Vercel已利用Jev取代GPT-6Luna來識別有害指令。相關數據源自類似OpenRouter的統一 API 服務VercelAI網關,該報告同時指出開源模型已佔據處理代幣的70% 以上及總支出的近25%,而前沿實驗室支出亦實現十倍增長。這一趨勢表明,高效的輕量化決策模型與開源生態正快速滲透實際業務,前沿模式與開源替代方案呈現出互補而非競爭的發展態勢。相關推薦垂直大模型"同源觀瀾"在福州發佈:用 AI 把兩岸共同歷史記憶"激活"10月18日,中華文化傳承與兩岸融合發展垂直大模型“同源觀瀾”在福建師範大學旗山校區發佈。它專攻文化史料,用數字技術盤活兩岸共同歷史記憶。校長鄭家建指出,涉臺檔案浩如煙海,整理考辨難度極高,該模型正是為破解這一痛點研發,讓AI深入兩岸共享的歷史記憶。Oct 19, 202684.3k上市前 Anthropic 擬捐 5% 股份設公共利益基金,估值每漲 50% 再添 2%Anthropic在衝擊史上最大規模IPO之一之際,宣佈在獲股東批准後,將5%股份劃入新設“公共利益基金”。隨著公司估值上漲,基金持股比例未來可能進一步增加。該基金擬以全資有限責任公司形式落地,其增資規則設計巧妙。此舉被視為在上市前主動加碼公益約束。
認識 Voxel51 3.0:為實體 AI 打造的統一多模態資料平臺
Voxel51 已發布 Voxel51 3.0,這是其資料平臺的一次重大更新。Voxel51 3.0 是一個端對端的多模態資料平臺,將搜尋、篩選、標註和評估整合於單一系統中。該平臺鎖定針對機器人、車輛和工廠感測器資料進行模型訓練的團隊。此次發布新增了 Voxel51 Agent、資料溯源層及免費的自助式存取。重點摘要:規模:Voxel51 Agent 內建超過 45 個 MCP 工具、80 多個運算子及 18 個開源技能。執行環境:可於 app.voxel51.com 使用託管網頁應用程式,或於雲端、混合、地端及隔離環境中自行部署。未揭露本機 GPU 需求。效能:未發布產品基準測試。Voxel51 引用其自身調查數據作為依據。最佳亮點:免費方案包含 Voxel51 Agent、每月 30,000 次推論請求及 30 個運算小時。
本期AI資訊彙總2026年10月18日的產品更新、前沿研究、行業趨勢與開源項目,幫助讀者快速瞭解當天的重要動態
導航SecureDoc // EncryptionActive本期AI資訊彙總2026年10月18日的產品更新、前沿研究、行業趨勢與開源項目,幫助讀者快速瞭解當天的重要動態。