揭秘 OpenAI 的“終極野心”:讓智能體像人類一樣熟練操作電腦

2026年8月20日 20:29
揭秘 OpenAI 的“終極野心”:讓智能體像人類一樣熟練操作電腦
站內 AI 整理稿

作者:清源 責編:清源 評論: 8 月 20 日消息,據《商業內幕》今天(20 日)報道,OpenAI 員工樂觀估計,公司正接近實現從創立之初就設定的目標:讓 AI 智能體像人類一樣熟練地操作電腦,尤其是使用瀏覽器。自 2015 年成立以來,OpenAI 一直希望實現這一能力,最大的難題之一是獲得足夠的訓練數據。經過多年開發,公司現在已經有信心開始向客戶逐步開放電腦操作功能。OpenAI 電腦操作團隊經理阿里 · 韋恩斯坦指出:“一旦 ChatGPT 操作電腦和軟件的速度超過你我,就會改變人們默認與電腦交互的方式。

”OpenAI 最新模型從訓練初期到後期的各個階段,都加入了專門提升電腦操作能力的數據和訓練流程。參與開發熱門電腦操作智能體基準測試的哥倫比亞大學 AI 研究員周宇(音譯)解釋稱,這些訓練是在通用 AI 模型已有能力之上繼續強化,讓模型學會完成更多電腦任務。在最初的大規模基礎訓練階段,OpenAI 很可能加入了逐幀屏幕截圖,讓模型提前接觸有助於電腦操作的信息。進入後續訓練階段後,開發人員會向模型展示完成特定任務所需的正確操作。例如,要得到填寫完畢的稅務表格,或者完成一個物體的 3D 模型,就需要讓模型學習對應的一系列電腦操作。其中一部分訓練數據來自真人示範。

OpenAI 公佈 2025 年版電腦操作功能時曾透露,公司使用過由人類演示任務完成過程的數據集,但沒有透露最新訓練數據的具體情況。周宇指出,這類數據很昂貴,因為獲取困難,整理成能夠直接用於訓練的形式也需要大量工作。OpenAI 很可能還利用強化學習繼續提高模型的電腦操作能力,讓模型反覆嘗試虛擬任務,並獎勵成功完成任務的行為。周宇認為,模型可以學會更多執行這些“獲得過獎勵的操作”。OpenAI 也改變了模型實際操作電腦時獲取信息的方式。韋恩斯坦表示,過去 ChatGPT 需要反覆截取屏幕、分析像素、發送操作指令,再重新截屏分析。

而目前在打開網站後,系統可以直接快速讀取網頁的底層信息,從內存結構、無障礙信息到鏈接關係都能應對。屏幕截圖仍然是工作流程的一部分。用戶開啟電腦操作功能時,需要允許 ChatGPT 錄屏,以便系統迅速識別當前顯示的內容。韋恩斯坦表示,這些能力結合後,Codex 就能自行測試生成的代碼、發現問題並繼續修改,形成“完整閉環”。韋恩斯坦和負責 OpenAI 瀏覽器能力的詹姆斯 · 孫認為,電腦操作技術的一大價值,是讓 ChatGPT 智能體能夠進入互聯網中大量彼此獨立的服務和“長尾”網站。從預約網站、企業內部庫存系統到社媒平臺,許多在線工具起初就是為人類手動點擊和輸入而設計的。

兩人透露,已經有用戶利用電腦操作功能自動處理數據錄入、合規任務和日程安排。韋恩斯坦指出,OpenAI 模型能力提高後,也越來越能主動發現錯誤並自行修正,因此更容易把任務做完,也更不容易在網絡環境中被無關內容帶偏。周宇認為,目前電腦操作技術的速度距離普通消費者期待的水平仍有明顯差距。“在訓練數據非常充足的有限領域,電腦操作智能體確實可以表現得很好。想讓它適應任何網頁、任何應用程序和任何操作系統,仍然非常困難。”目前,電腦操作功能還不能迅速批量處理郵件回覆,瀏覽社交媒體信息流時也顯得較為遲緩。

詹姆斯 · 孫和韋恩斯坦希望,隨著 OpenAI 模型繼續升級,電腦操作最終能夠達到 AI 編程目前的效率,讓 AI 直接操作網絡工具比用戶親自動手更快。詹姆斯 · 孫表示:“對很多工程師來說,現在已經是讓智能體寫代碼比自己寫更快。根本不用權衡,直接讓它做就行。我認為電腦操作以後也會越來越接近這種狀態。”2025 年,OpenAI CEO 薩姆 · 奧爾特曼談到早期電腦操作功能時曾公開示警:“實用價值很大,潛在風險也同樣不小。我們建議只向智能體提供完成任務所必需的最低權限,以降低隱私和安全風險。

”詹姆斯 · 孫表示,OpenAI 一直在研究“確認策略”,也就是 AI 執行下一步操作前,究竟應該在什麼情況下向用戶請求授權。目前的原則是,只要智能體準備向外傳輸數據或者刪除內容,就必須先徵得用戶同意。網絡工作往往需要連續快速地做出決定,因此 OpenAI 仍在尋找易用性和安全性之間的平衡。他坦言:“你可以把某個東西做到 100% 安全,但那樣就非常非常難用了。也可以把它做得非常容易使用,但同時非常危險。所以我們真正想解決的問題,是如何做出既有幫助、又容易使用的產品。

” 投訴水文 我要糾錯 下載APP,簽到賺金幣兌豪禮 相關文章關鍵詞:ChatGPT,OpenAI,AI 智能體,CodexChatGPT 突發全球大規模服務中斷,OpenAI 稱正在修復OpenAI 回應少量 Codex 用戶調用 GPT-5.6 系列 AI 模型誤刪文件問題不再僅限 API 密鑰:Codex 中的 GPT‑5.

6 Sol 百萬上下文能力已可通過 ChatGPT 賬號使用OpenAI 推出預覽版 ChatGPT for Linux 桌面端應用OpenAI 總裁布羅克曼承認新 ChatGPT AI 桌面應用“有點亂”,目標打造“零標籤”OpenAI 突發服務器故障,ChatGPT、Codex 出現宕機

Related

相關文章

MarkTechPost AI生成式AI

認識 Voxel51 3.0:為實體 AI 打造的統一多模態資料平臺

Voxel51 已發布 Voxel51 3.0,這是其資料平臺的一次重大更新。Voxel51 3.0 是一個端對端的多模態資料平臺,將搜尋、篩選、標註和評估整合於單一系統中。該平臺鎖定針對機器人、車輛和工廠感測器資料進行模型訓練的團隊。此次發布新增了 Voxel51 Agent、資料溯源層及免費的自助式存取。重點摘要:規模:Voxel51 Agent 內建超過 45 個 MCP 工具、80 多個運算子及 18 個開源技能。執行環境:可於 app.voxel51.com 使用託管網頁應用程式,或於雲端、混合、地端及隔離環境中自行部署。未揭露本機 GPU 需求。效能:未發布產品基準測試。Voxel51 引用其自身調查數據作為依據。最佳亮點:免費方案包含 Voxel51 Agent、每月 30,000 次推論請求及 30 個運算小時。

20 小時前
何夕2077生成式AI

下一概念建模把文本生成提速最高31倍

斯坦福等聯合提出全新文本生成範式 NCM,生成速度狂飆 31 倍AIbase基地發佈於AI新聞資訊 · 1 分鐘閱讀 · Oct 16, 202633人工智能領域的文本生成技術迎來顛覆性創新。斯坦福大學與 Together AI 的研究人員近日聯手推出了一種截然不同於傳統自迴歸和擴散模型的全新文本生成範式——Next-Concept Modeling(簡稱 NCM,即“下一概念建模”)。該方法巧妙借鑑了圖像生成領域中“下一尺度預測”的思路,有望為未來的文本生成技術開闢全新的發展路線。在技術實現路徑上,NCM 模擬了人類“先構思宏觀大綱、再動筆填充細節”的寫作邏輯。整個系統通過兩階段訓練來完成:首先訓練多尺度殘差 VQ-VAE,從而得到能夠逐層補充信息的多層離散文本編碼;隨後凍結該系統,訓練 Transformer 模塊去預測下一層的編碼。在生成文本時,模型會先並行生成概念層面的宏觀大綱,接著逐層並行填充具體細節,最終組合成完整的文本內容。在實際測試表現中,NCM 交出了令人矚目的成績單。實驗數據顯示,在保持相近甚至更優生成質量的前提下,NCM 相對傳統的擴散語言模型實現了10到31倍的生成速度飛躍,並且在訓練過程中所需消耗的 token 數量也大幅減少。此外,在數獨等複雜推理任務上,它的表現也明顯優於傳統的自迴歸和擴散基線模型,同時還支持通過多生成候選挑選機制來進一步優化最終輸出效果。儘管目前該研究所使用的模型參數規模依然相對有限,其在擴大模型規模後的表現、精確文本以及長篇內容的生成能力仍有待後續驗證,但這一創新思路無疑打破了長期以來的技術慣性,為人工智能高效生成文本提供了充滿想象力的全新解法。本文來自AIbase日報掃碼查看歡迎來到【AI日報】欄目!這裡是你每天探索人工智能世界的指南,每天我們為你呈現AI領域的熱點內容,聚焦開發者,助你洞悉技術趨勢、瞭解創新AI產品應用。

1 天前
雷峰網生成式AI

12.88萬起、華為電驅+L4同源智駕,Ray7能成為埃安年輕化的答卷嗎?

12.88萬起、華為電驅+L4同源智駕,Ray7能成為埃安年輕化的答卷嗎? 本文作者: 倪萍 2026-10-17 22:42 導語:10月17日,埃安轎跑Ray7正式開啟預售,預售價12.88 萬起。新車車長4.9米,軸距2.9米,車頭部分搭配3.25米的超長雙環燈帶,是埃安10年煥新的家族 10月17日,埃安轎跑Ray7正式開啟預售,預售價12.88 萬起。新車車長4.9米,軸距2.9米,車頭部分搭配3.25米的超長雙環燈帶,是埃安10年煥新的家族式標識。 新車採用寧德時代電池以及廣汽自研的彈匣電池2.0技術,能夠在充分釋放續航能力的同時,監控電池健康狀態。提供45.58kWh和62.98kWh兩種規格,續航可達702公里,整車風阻係數 Cd 低至 0.22。Ray7搭載華為DriveONE多合一電驅,以及華為DriveONE芯片級驅制融合架構,百公里制動僅為32.8米。底盤方面,Ray7搭載高性能前後穩定杆和後五連桿懸架,過彎極限更高,濾振更乾淨。智能化上, Ray7搭載27顆車規級全視角傳感器,採用文遠知行L4級Robotaxi同源大模型。這幫助新車能夠複用 L4 積累的海量場景經驗,在城區掉頭、繞行等複雜場景中可順利通行。自2025年廣汽推進“番禺行動”以來,昊鉑埃安BU的研發、生產、銷售等環節效率不斷提升,產品迭代和新車投放節奏明顯加快。作為埃安全新Ray車系的首款新車,Ray7是埃安開啟年輕化序列的關鍵落子,也是廣汽切入20萬級市場的重要佈局。這一細分市場競爭並不輕鬆:小鵬P7、極氪007等車型已經提前卡位。Ray7想在年輕人心中佔位,不能只堆參數,更要把智能座艙與輔助駕駛、三電安全、補能效率、用車成本和價格權益上的差異,變成用戶可感、可信、可持續的體驗,這才是埃安年輕化的分水嶺。(雷峰網(公眾號:雷峰網)) 雷峰網原創文章,未經授權禁止轉載。詳情見轉載須知。

1 天前
智東西生成式AI

梁聖又掀桌了!DeepSeek新模型斬殺GPT-6,許願式編程時代降臨

作者 | 楊京麗 編輯 | 李水青 10月17日報道,剛剛,DeepSeek V4.1 Flash更新至V4.1-Flash-1017版本,官方網頁端、App與API已同步更新至新模型,模型權重也已在HuggingFace和ModelScope開放下載。DeepSeek還向公眾開放自研搜索引擎的Search(搜索)與Fetch(抓取)API,兩個接口均定價為5元/千次。 此次更新距離該模型發佈僅過去一個多月。9月10日,DeepSeek正式推出V4.1-Flash,在性能上超越了DeepSeek-V4-Pro。

1 天前