智源悟界·RoboBrain Orca:AI進入Next State Prediction時代
重點摘要
大語言模型學會了預測“下一個詞”,於是有了會寫代碼、會做題、會對話的ChatGPT、DeepSeek、Qwen。視頻生成模型學會了預測“下一幀”,於是有了越來越逼真的圖像和視頻生成模型,例如Seedance、Sora。具身模型學會了預測“下一個動作”,於是機器人開始能完成越來越複雜的任務。
大語言模型學會了預測「下一個詞」,於是誕生了能寫程式、解題、對話的 ChatGPT、DeepSeek、Qwen;影片生成模型學會了預測「下一幀」,讓 Seedance、Sora 等工具生成越來越逼真的影像與動畫;具身模型學會了預測「下一個動作」,機器人因此能執行日趨複雜的任務。如今,智源研究院推出的「悟界·RoboBrain Orca」要跨出更底層的一步——讓人工智慧在「腦海中」形成一個能高度濃縮當前世界狀態的表徵,並基於此表徵建模世界狀態向前與向後的演化。這正是悟界·RoboBrain Orca 作為多模態表徵世界模型的核心哲學:「The World is in Your Mind」。 從預測「下一個具體模態輸出」到預測「下一個世界狀態」,悟界·RoboBrain Orca 的運作邏輯截然不同。當它看到一段影片、一張圖片、一句指令或一段事件描述時,模型會在內部先建立一個統一的世界潛在表徵空間。這個空間就像 AI 腦海中的世界模型,能將視覺、語言、事件、任務意圖等多模態信號組織起來,學習物體如何運動、場景如何變化、動作會帶來什麼後果,以及事件間的因果關係。更重要的是,模型能判斷當前狀態如何走向未來狀態,甚至在某些條件下,世界是否會朝另一個方向演化。簡言之,悟界·RoboBrain Orca 的核心轉變就是從 Next Token / Next Frame / Next Action 邁向 Next State Prediction。 這套技術哲學的核心步驟是先利用多模態世界信號學習世界表徵,再以此表徵為基礎完成所有任務。為此,悟界·RoboBrain Orca 將世界學習拆成兩條互補路徑:無意識學習與有意識學習。無意識學習的概念就像嬰兒觀察自然世界——看到東西掉落、人走動、門被推開、球滾到桌子下面,這些經驗並非透過標籤習得,而是連續觀察真實世界所累積。悟界·RoboBrain Orca 也以同樣方式客觀地觀看世界,透過海量真實世界的影片,先讓模型學會「世界自己怎麼動」。另一方面,有意識學習則是主觀地與世界互動,利用語言描述的事件、任務指令以及 VQA(視覺問答)問答,幫助模型學習稀疏但具有具體意義的狀態轉移。 支撐這套架構的數據規模相當龐大。悟界·RoboBrain Orca 使用了 12.5 萬小時的影片,以及 1.6 億條事件標註,預訓練過程持續進行擴展(Scaling)。研究團隊指出,隨著訓練數據的增加,模型在下游任務上的能力也隨之提升,具備持續成長的潛力。更關鍵的是,悟界·RoboBrain Orca 學到的世界表徵可以透過多種解碼器讀取出來,應用在不同類型的任務上。 在文本解碼方面,悟界·RoboBrain Orca 擅長理解狀態轉移以及動態運動的推理;在影像解碼方面,模型能展現真實場景中的交互預測能力;在動作解碼方面,儘管預訓練階段完全沒有接觸過動作標籤,它仍能幫助下游機器人任務獲得更好的泛化表現。這意味著悟界·RoboBrain Orca 所學習的「世界表徵」並非專屬於某一種模態,而是一個可跨模態使用的通用基礎。 這套世界學習範式有可能從具身智慧進一步延伸至科學發現、複雜系統建模,甚至更廣闊的認知邊界。悟界·RoboBrain Orca 目前仍是多模態表徵世界模型的早期版本,但研究團隊認為,它有望成為通用世界基礎模型的一塊重要基石。當 AI 不再只是預測下一個詞或下一幀,而是能理解世界狀態如何流變,許多過去被視為艱鉅的任務——如機器人在真實環境中自主導航、醫學影像的因果推論、甚至物理模擬——都將迎來全新的突破契機。 這項成果揭示了人工智慧發展的一個新方向:不再執著於模態對應模態的預測,而是回歸到對世界本質的理解。悟界·RoboBrain Orca 的問世,不僅為具身機器人帶來更強大的認知基礎,也為未來通用人工智慧的實現鋪設了一條可行的路徑。隨著訓練數據持續增加、模型架構不斷優化,世界有望看到更多基於「下一狀態預測」的突破性應用。
Related
相關文章

GPT-5.6,本週四全量上線!
智東西(公眾號:zhidxcom) 作者 | 陳佳 編輯 | 雲鵬 智東西7月8日消息,剛剛,OpenAI宣佈GPT-5.6 Sol以及Terra、Luna將於本週四正式公開發布,現已在全球範圍擴大模型預覽試用權限。這意味著,OpenAI最新一代高階模型在經歷近兩週有限預覽後,終於獲得美國監管方放行。 ▲OpenAI宣佈GPT-5.6本週四正式公開發布(圖源:X) 6月27日,OpenAI推出其迄今最強大模型GPT-5.6的有限預覽版:旗艦版本Sol(太陽)、適用於日常工作的均衡型型號Terra(地球)、以及快速且價格實惠的型號Luna(月亮)。 當日,OpenAI聯合創始人兼CEO薩姆·奧爾特曼(Sam Altman)在社交媒體X發文稱,Sol價格與GPT-5.5相同,性能更強;Terra的性能可與GPT-5.5相媲美,價格只有其一半。但由於美國政府審查,該模型此前僅以有限預覽版的形式面向部分企業開放,其正在與政府合作爭取未來幾周內全面發佈。 ▲薩姆·奧爾特曼推文(圖源:X) 據Axios今日報道,一名知情人士週二向其證實,美國商務部已批准OpenAI全面推出其高階GPT-5.6模型。 OpenAI此番獲準大範圍上線GPT-5.6,源於其與政府官員完成多輪補充測試與磋商。 知情人士稱,全部測試工作由商務部下屬AI標準與創新中心(Center for AI Standards and Innovation)負責開展。OpenAI派駐技術專家常駐華盛頓,隨時答覆監管方提出的各類技術疑問。 GPT-5.6放行前,美國政府剛剛對Anthropic模型管制鬆口。 此前6月13日,美國政府要求Anthropic暫停Claude Mythos 5和Fable 5兩款最強模型的訪問權限。 6月27日報道,美國政府解除了對Claude Mythos 5模型的封鎖,允許Anthropic將該

AI生圖免訓練提速1000%,辦法:最簡潔的“三階段流水線”
賬號設置我的關注我的收藏申請的報道退出登錄登錄搜索36氪Auto數字時氪未來消費智能湧現未來城市啟動Power on36氪出海36氪研究院潮生TIDE36氪企服點評36氪財經職場bonus36碳後浪研究所暗湧Waves硬氪氪睿研究院媒體品牌企業號企服點評36Kr研究院36Kr創新諮詢企業服務核心服務城市之窗政府服務創投發佈LP源計劃VClubVClub投資機構庫投資機構職位推介投資人認證投資人服務尋求報道36氪Pro創投氪堂企業入駐創業者服務創投平臺AI測評網 首頁快訊資訊推薦財經AI自助報道廣東最新創投汽車科技專精特新直播視頻專題活動搜索尋求報道我要入駐城市合作AI生圖免訓練提速1000%,辦法:最簡潔的“三階段流水線”量子位·2026年07月08日 15:06AI畫圖能力越來越強,但用戶體感還是一個字:慢。 AI畫圖能力越來越強,但用戶體感還是一個字:慢。 一張1024分辨率的圖像,從prompt到出圖,擴散模型往往得在高分辨率空間裡一遍遍採樣。質量是上來了,等待時間也跟著上來了。能力越強,推理賬單越厚。 過往擴散模型的主流加速方法中,量化、高效Attention等方法強依賴於硬件協同;步數蒸餾依賴高成本微調,且訓練時常不穩定;特徵緩存類方法需要動態識別並緩存中間特徵,且加速比難以超過5倍。 有沒有可能不依賴特定硬件、不蒸餾微調模型、不需要運行時做動態識別,也能把圖像生成速度直接抬上去? 來自北航、NTU、ETH的研究團隊最近做了一個非常簡潔的嘗試: 先低清打草稿,再放大,最後高清補一筆。 MrFlow(Multi-Resolution Flow Matching)就用這樣的三階段,在Qwen-Image等模型上把端到端生成時間從49.32s壓到4.77s,實際加速10.35x。 文章發佈當日即登上Hugging Face Daily Papers;發佈三天內,GitH

姚順雨和Hy3,能否跨過付費關?
賬號設置我的關注我的收藏申請的報道退出登錄登錄搜索36氪Auto數字時氪未來消費智能湧現未來城市啟動Power on36氪出海36氪研究院潮生TIDE36氪企服點評36氪財經職場bonus36碳後浪研究所暗湧Waves硬氪氪睿研究院媒體品牌企業號企服點評36Kr研究院36Kr創新諮詢企業服務核心服務城市之窗政府服務創投發佈LP源計劃VClubVClub投資機構庫投資機構職位推介投資人認證投資人服務尋求報道36氪Pro創投氪堂企業入駐創業者服務創投平臺AI測評網 首頁快訊資訊推薦財經AI自助報道廣東最新創投汽車科技專精特新直播視頻專題活動搜索尋求報道我要入駐城市合作姚順雨和Hy3,能否跨過付費關?字母榜·2026年07月08日 15:06Hy3不錯,但只是一份階段性答卷 隨著Hy3正式版發佈,一個月前姚順雨和湯道生那句對話,又開始反覆出現在騰訊AI相關討論裡。 6月初,騰訊雲AI產業應用大會上,騰訊集團高級執行副總裁、雲與智慧產業事業群CEO湯道生,與騰訊首席AI科學家姚順雨同臺對談。 談到外界對騰訊AI節奏的質疑時,姚順雨對湯道生說:“感覺應該是我問你的問題。”這句話當時聽起來像一句玩笑,現在回看,更像騰訊AI內部責任分工的一次公開呈現。 模型能力能不能追上來,姚順雨要給出答案;模型能力能不能進入產業、產品和收入,湯道生以及騰訊更多業務團隊也要給出答案。 騰訊的AI產品起步並不晚,但通用大模型側的外部感知一直相對弱,從主力產品元寶中就可窺探一班。2025年2月,元寶接入DeepSeek-R1滿血版,用戶可以在混元和DeepSeek-R1之間切換。 此後,混元團隊也打出過一些聲量,但更多集中在圖像、視頻和3D生成方向。混元圖像、混元視頻和混元3D系列都有榜單、開源和社區下載量討論,但這些聲量沒有自然轉化成騰訊通用大模型能力很強的用戶心智。 這種不溫不火的狀態,終於在今年被馬化

這屆大學生畢業後,可能得給AI當保姆
賬號設置我的關注我的收藏申請的報道退出登錄登錄搜索36氪Auto數字時氪未來消費智能湧現未來城市啟動Power on36氪出海36氪研究院潮生TIDE36氪企服點評36氪財經職場bonus36碳後浪研究所暗湧Waves硬氪氪睿研究院媒體品牌企業號企服點評36Kr研究院36Kr創新諮詢企業服務核心服務城市之窗政府服務創投發佈LP源計劃VClubVClub投資機構庫投資機構職位推介投資人認證投資人服務尋求報道36氪Pro創投氪堂企業入駐創業者服務創投平臺AI測評網 首頁快訊資訊推薦財經AI自助報道廣東最新創投汽車科技專精特新直播視頻專題活動搜索尋求報道我要入駐城市合作這屆大學生畢業後,可能得給AI當保姆字母AI·2026年07月08日 15:04botsitting,下一個勞動力蓄水池? 誠然,AI讓無數企業裁員,但另一方面,AI也在產生新的工作崗位。 根據人社部啟動了互聯網企業雲端招聘月活動的最新數據,今年暑假,超5000家互聯網企業集中釋放了超過20萬個就業崗位。京東、騰訊、字節跳動、美團等頭部企業合計貢獻超4.6萬個崗位,覆蓋AI算法、大模型應用、高性能計算等前沿方向。 不只是崗位增加了,工種也增加了。比如算法工程師、提示詞工程師等等。而最近剛剛興起的botsitting,就很有可能成為新的勞動力蓄水池。 啥是botsitting?babysitting是指照顧嬰兒的保姆,那botsitting就是照顧機器人(AI)的保姆。 微軟的Copilot部門就有“AI培訓師”、“數字化採納專員”、“AI倡導者”這樣的崗位。他們乾的活,從某種程度上來說就是一種botsitting。 具體來講就是教同事怎麼用AI、檢查AI輸出的質量、把AI嵌入到具體的業務流程裡。 在實際工作中,從AI輸出的答案,再到真正將其應用到實際場景,這倆之間往往不是一回事。 AI可能會輸出幻覺,也有可能完全會

前沿 AI 模型競爭激烈:在 ECI 榜單上只能維持約 7 周領先地位
首頁 IT圈 最會買 設置 日夜間 隨系統 淺色 深色 主題色 黑色 投稿 訂閱 RSS訂閱 收藏IT之家 軟媒應用 App客戶端 要知App 軟媒魔方 業界 手機 電腦 測評 視頻 AI 蘋果 iPhone 鴻蒙 軟件 智車 數碼 學院 遊戲 直播 5G 微軟 Win10 Win11 專題 搜索 首頁 > 智能時代>人工智能 前沿 AI 模型競爭激烈:在 ECI 榜單上只能維持約 7 周領先地位 2026/7/8 14:54:14 來源:IT之家 作者:故淵 責編:故淵 評論: IT之家 7 月 8 日消息,科技媒體 The Decoder 昨日(7 月 7 日)發佈博文,報道稱在 Epoch Capabilities Index(ECI)榜單榜首更迭中,前沿模型只能維持約 7 周領先地位。IT之家注:Epoch Capabilities Index 主要彙總評估語言模型的整體能力表現,整合多項能力信號為統一刻度,便於比較不同模型在不同時間點的相對位置,常用於觀察頭部模型的領先週期、能力躍遷與競爭格局變化。Epoch AI 研究員 Jaeho Lee 表示,OpenAI 的 GPT-4 模型維持榜首約 1 年時間,而 o1 維持約 3 個多月,後續 OpenAI 模型未再維持同等時長優勢。自 2024 年 2 月 Claude 3 Opus 取代 GPT-4 以來,榜首位置已經易手 17 次,每個模型保持領先地位的中位數約為 7 周時間,表明頭部模型更替頻率明顯提高,單一模型維持領先的週期持續縮短。廣告聲明:文內含有的對外跳轉鏈接(包括不限於超鏈接、二維碼、口令等形式),用於傳遞更多信息,節省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。 投訴水文 我要糾錯 下載IT之家APP,簽到賺金幣兌豪禮 軟媒旗下網站: IT之家 最會買 - 返利返現優惠券 iPhone之

Claude 等 AI 失寵:美國企業擁抱 Deepseek 等中國模型,OpenRouter 每週調用佔比峰值 46%
首頁 > 智能時代>人工智能 Claude 等 AI 失寵:美國企業擁抱 Deepseek 等中國模型,OpenRouter 每週調用佔比峰值 46% 2026/7/8 14:42:20 來源:IT之家 作者:故淵 責編:故淵 評論: IT之家 7 月 8 日消息,CNBC 昨日(7 月 7 日)發佈博文,報道稱基於全球最大 AI 聚合平臺 OpenRout。