Orca世界模型亮相

# Orca世界模型亮相：不学动作标签却能操控机器人，BAAI提出世界模型新范式

北京智源人工智能研究院（BAAI）近日发布了名为“Orca”的世界基础模型（world foundation model），该模型彻底颠覆了当前AI领域主流的“预测下一个token”或“预测下一帧”的思路，转而构建一个抽象的、任务无关的世界状态表征。即使基模型在预训练阶段从未见过任何动作标签，它依然能在机器人操控任务上达到与专业系统匹敌的水平，为长期困扰机器人领域的标注数据短缺问题提供了一种全新的解法。 ## 从“预测下一个词”到“预测下一个世界状态”

在现行AI范式中，语言模型预测文本中的下一个词，视频生成器预测下一帧像素，机器人控制器则预测下一步动作。但智源团队认为，真正的智能不应被分割成彼此独立的专用预测模型，而应当建立一种对世界变化规律的通用理解，再以此为基础服务于多种不同的下游任务。Orca正是基于这一理念设计：它以图像和语言信号为输入，在内部构建一个关于世界状态的抽象表征，再通过可替换的输出模块将这一表征转化为文本、图像或机器人动作。 ## 无标签视频与语言指令协同训练

Orca的训练包含两条并行的路径。在“无意识学习”阶段，模型直接观看原始视频，不需要任何字幕或标注。它观察当前图像并预测下一幅图像在抽象空间中的状态，从中捕捉运动模式、物体遮挡以及场景的动态演变规律。这一过程不要求模型理解行为的意义，而是让它在海量视频中内化世界的“物理直觉”。 “有意识学习”则引入语言指令。训练团队将视频切成片段，每段配上一个描述状态变化的文字说明，让模型学习特定动作如何引起状态转移。与此同时，模型也通过经典的视频问答任务训练，确保它能够对自然语言查询作出响应。两种学习模式最终汇聚到同一个内部世界状态空间，使得视觉理解与语义理解相互支撑。 ## 冻结核心、可换“头”的模块化架构

Orca以预训练的语言-图像模型Qwen3.5为基础，训练完成后这个核心模块被完全冻结。针对不同的输出需求，研究团队附加了轻量级、可单独更换的专用模块：文本输出直接复用Qwen3.5的语言头，图像输出通过一个小型适配器连接冻结的Stable Diffusion 3.5，而机器人动作则从零训练一个名为“Action Expert”的控制模块。这种设计的用意十分明确：团队并不追求在单一基准上刷分，而是希望证明一个训练得当的内部世界状态能够成为差异巨大的任务所共享的通用底座。 ## 训练规模：十万小时视频加上亿描述

Orca的训练数据集包含12.5万小时视频、1.6亿条事件状态描述（action state-change descriptions）以及1150万个视频问答对。视频来源覆盖四类视角：日常交互的第一人称画面、物品操作的第三人称镜头、无动作标注的机器人录制视频，以及自然场景。值得注意的是，当前版本仅使用了全部视频数据的十分之一，显示模型仍有显著的扩展空间。训练采用智源自家的FlagScale库，配合多项内存与通信优化，每GPU每秒可处理2.91个训练样本，速度约为机器人领域常用代码库StarVLA的4.4倍。 ## 模型规模与缩放行为

Orca发布了两个参数量版本：0.8B和4B。实验显示，随着训练数据量和模型规模的增加，训练损失持续稳定下降；更重要的是，在预训练阶段得到的内部世界状态表征越好，三类输出（文本、图像、动作）上的表现就同步提升——这与“世界模型作为通用底座”的核心理念高度一致。 ## 文本基准：小模型击败大世界模型

在文本相关评测中，Orca-4B在MVBench、TemporalBench、3DSRBench和SWITCH四个基准上的平均得分为51.8%，不仅超过了同等规模的小型视觉语言模型（如Qwen3.5-4B、Gemma 4-4B、DeepSeek-VL2-3B），也平均领先于参数量大得多的世界模型Emu3（8B）和Emu3.5（34B）。虽然Orca并未在所有单项上夺魁（例如MVBench上Qwen3.5-4B仍占优），但其总体均衡性暗示了内部世界状态的多任务通用价值。 ## 图像预测：指令驱动的场景生成胜于纯图像模型

在图像预测方面，研究团队构建了专门的评测基准PRICE-V0.1，采用真实机器人和第一人称场景，要求模型根据“请关上微波炉门”这类指令生成结果图像。Orca-4B以平均59.8%的成绩领先于FLUX.2 small（56.1%）、FLUX.1-context（40.9%）和OmniGen2（39.6%）等专用图像生成器。定性分析表明，纯图像模型往往无中生有地添加无关物体或虚构人手，而Orca生成的结果能更准确地保持机器人自身形状、抓手与物体的接触点以及与指令的对应关系。 ## 机器人控制：零动作预训练，数十次演示即匹配专家

最引人注目的结果来自机器人操控实验：在一台双臂轮式人形机器人上执行的五个操作任务（包括书籍上架、叠碗、舀糖等）中，Orca的控制性能直接匹配了π0.5——一个完全使用机器人数据训练的专用系统。Orca的基模型在预训练时从未见过任何动作与图像之间的配对关系；真正用于控制的“Action Expert”模块是在后期单独训练的，每个任务仅使用200段真实操作记录（含摄像头图像与对应动作）。相比之下，同样接入该控制模块的V-JEPA 2.1和Qwen3.5基线表现远落后于Orca。 更具启发性的是Orca在错误恢复上的表现：当首次抓取失败时，Orca能够主动重试并最终完成任务，而π0.5在同样的情景下会陷入反复失败的循环。论文作者认为，这表明Orca基于世界状态的学习方式使模型对物理交互结果有了更深层的理解，而非单纯的动作记忆。 ## 当前局限与未来方向

尽管成绩亮眼，Orca目前仍存在多方面限制。模型仅从图像和文本中学习，完全缺乏声音、力反馈和触觉信号；视觉预测空间依赖于预训练图像编码器的嵌入空间，而非从头学习自主的世界表征；0.8B和4B的参数规模对于真正的“世界模型”而言仍显不足；事件状态描述也仅覆盖数分钟的短窗口。智源团队明确表示，从零开始训练、原生融合多信号类型的通用世界模型仍然是最终目标。 ## 世界模型的定义仍在演进

需要指出的是，“世界模型”这一概念在AI学术界尚无统一界定。北京大学团队曾提出OpenWorldLib框架，将纯文本到视频的生成模型（如Sora）排除在世界模型范畴之外；而清华大学的一项评测则显示，即便是Sora 2和Veo 3.1这类顶尖视频生成器，在场景演化的物理合理性方面仍然存在明显短板。在机器人领域，Shibo等团队提出的World Action Model已尝试将状态转移预测与动作生成结合，实现从日常视频中无动作标签地学习——而Orca正是这一方向上目前规模最大、验证最系统的尝试之一。 可以说，Orca提供了一个令人信服的“概念验证”：将视觉、语言和动作统一在一个共同的世界状态表征之下，不仅可能缓解机器人领域的数据瓶颈，更可能重塑我们对基础模型设计范式的认知。在通往通用人工智能的路上，理解世界如何运转或许比任何单一任务上的极致评分都更加重要。