完整中文翻译 · ARXIV:2607.06401V1 · 2026-07-07

世界模型的定义与路线图

上海人工智能实验室物理智能团队

58 页 · 10 幅图 · 观点文章

世界模型物理 AI具身智能模型式强化学习Physical AGI

ABSTRACT

摘要

世界模型——学习环境结构与动力学的内部模拟器——已经成为 AI 领域争论最为热烈的概念之一。

从模型式强化学习和视频生成，到具身机器人，再到最终的物理 AI，AI 各个子领域的研究者都在构建他们称为“世界模型”的系统，但对于世界模型从根本上说是什么、它应当预测什么以及应当如何构建，仍未形成共识。

本文是一篇观点文章，给出了世界模型的科学定义，讨论了其关键技术方面，并提出了一条分阶段开发有效世界模型的路线图。

CONTENTS

1　引言

“世界模型”一词已经积累了多种多样的语境用法，这些用法在揭示含义的同时也造成了同样多的遮蔽。早在 1943 年，Craik 就提出，生物有机体通过在心智中持有物理世界的“工作模型”来生存并繁衍 (Craik, 1943)。这些模型使心智能够模拟假设情景、预测候选行动的结果，并预先计算最优策略，而不必完全依赖缓慢的、反复试错的物理交互——这一算法化实例代表了我们今天所称“世界行动模型”的形式化实现。Craik 的假说为强化学习智能体和生成模型等一些重要 AI 架构奠定了基础 (Sutton & Barto, 2018)。这一概念被用于计算机视觉、机器人学和生成建模等领域，却往往指代非常不同的系统。近期最有影响力的消歧尝试是 Fei-Fei 的功能分类法，它把世界模型划分为三类：生成像素的渲染器、预测状态转移的模拟器，以及提出行动的规划器 (Fei-Fei, 2026)。

这种功能分类澄清了问题，但它的根本局限在于：它分类的是一种表示的解码（亦即投影），而不是表示本身。单个统一的内部 Model 可以依据所调用的查询接口，被解码为 RGB 像素、状态向量或候选行动建议。该分类法规定了世界模型输出什么，却没有定义内部 Model 是什么或应如何构建。如何构建能够支持这三种解码的共享内部表示这一上游问题，对功能分类法而言仍然悬而未决。

另一种竞争性观点最突出地由 LeCun 提出：生成式重建从来都不是正确目标；在潜在空间中预测的联合嵌入架构已经足够，而像素级重建会把表示容量浪费在光度层面的无关因素上 (LeCun, 2022)。尽管我们同意精确的像素级重建不应是世界模型的终极目标，但重建质量是追踪压缩表示未能保留哪些信息的一种好方法。归根结底，要验证重建对世界建模究竟有多重要，唯一的办法是通过测试。

与压缩表示相关，如今人们普遍接受，大语言模型（LLM）擅长压缩人类的语言知识。同样，世界模型实现了一种统一压缩机制，其核心目标是最大限度地压缩真实世界物理感知观测与智能体行动的联合分布。有损压缩在连续谱上造成了不可避免的表示权衡：潜在表示可以偏向紧凑的高层语义抽象，也可以优先保留细粒度物理动力学与感知保真度；所有实际世界模型都处在这两个极端之间的某种平衡点上。这种以压缩为中心的观点，或许更能捕捉当前工作所具有的架构决策、数据约束和经验瓶颈。

数据决定上限

我们的出发点是一个简单却影响深远的前提：就智能系统在物理世界中的泛化能力而言，其上限由训练数据所代表的物理经验多样性决定。在架构和计算预算固定时，决定这一上限的是数据多样性，而不是 Model 结构或训练超参数。架构和计算会影响接近这一上限的效率，却无法抬高上限 (Hoffmann et al., 2022)。

目前，唯一能够扩展到所需多样性的物理数据来源是开放互联网：规模达到数千亿样本的图像、视频和文本。专有数据源——灵巧操作 Dataset、第一人称具身记录和外骨骼安装式传感器——在多样性和规模上都受到结构性限制。在可预见的未来，没有任何硬件部署能够产生互联网规模的操作数据。因此，要实现某种能够泛化到物理世界的“世界模型”，我们必须从已有数据中提取最大限度的物理理解。

尤其是互联网视频，它是一种前所未有的大规模自然语料库，以完全隐式的形式编码了范围惊人的结构化物理世界知识。日常视频的原始像素流中蕴含着支配物理现实的基础先验：物体恒存性（物体离开视野后仍保持不变地存在）、区分固体与可变形材料的刚性和非刚性约束、物体运动与交互的运动学极限、光照与阴影的时间动力学、遮挡与显露的因果逻辑、事件的层级因果链，以及类人行动和交互的结构化先验。核心挑战在于，所有这些物理结构仍然是潜在的，并且在原始像素空间中不可访问。

我们在图 1 中提出倒金字塔工作流，以应对上述核心挑战。尽管原始互联网视频中含有埋藏在无标签像素里的潜在物理先验，但专有机器人硬件自身无法生成规模与多样性相当的数据。该流程以互联网中广度无可匹敌的真实世界物理影像为基础，首先通过自动筛选和标注释放其中潜在、隐式的物理知识，再借助无可比拟的数据多样性提高世界模型的泛化上限。连续收窄的漏斗起到精确蒸馏的作用：它剥离无关视觉内容，合成标准化行动表示，只保留机器人所需的、具有物理意义的运动与交互信号。最终得到紧凑、任务对齐的真实世界 Dataset，使 Model 能够高效收敛到具身操作任务，同时不牺牲从数十亿网络视频中提取的广泛物理先验。架构和计算只决定 Model 学习得多快，而这条倒置管线扩展了训练语料中的基础物理经验多样性——从而抬高世界模型对未见真实物体、运动和因果情景进行泛化的硬上限；规模有限的小型专有机器人 Dataset 无法捕捉这些内容。

图1：机器人与物理世界模型训练的数据金字塔倒置漏斗 — **图 1：数据金字塔倒置漏斗**该图展示了一个用于机器人和物理世界模型训练的数据金字塔倒置漏斗管线，它从海量、无结构的公共媒体逐步收窄为紧凑、针对任务优化的机器人训练数据。最宽的顶层是网络数据源：无结构且多样的公共视频，代表数十亿条人类物理交互的原始像素流。漏斗向中间层“合成与筛选 Dataset”收窄；这是一个被大幅剪裁的子集，针对目标机器人行动和特定操作任务经过精炼与合成。最窄的底端生成“真实世界任务数据”：一种规模小、经过高度整理、针对端到端机器人训练充分优化的 Dataset，足够紧凑，可以高效地对具身 Model 进行 Fine-tuning。

作为压缩机制的世界模型

高维视频观测主要由与任务无关的光度变化支配：视点、光照、纹理、传感器噪声和背景杂乱的变化会遮蔽底层物理规律。原始像素没有对恒存性、因果性或约束作出显式表示；它们只编码表面外观，而不编码产生视觉信号的生成式物理结构。因此，要提取这些隐式物理先验，需要一种专门设计的压缩机制：它必须能够把高维、嘈杂的视频观测蒸馏为紧凑、强大且具有语义结构的表示。该压缩的核心功能并非单纯降维，而是有针对性地保留信息：它必须准确保留下游物理推理与控制所需的结构化因果和物理信息，同时系统地舍弃支配原始像素数据、却无关紧要的光度干扰变化。我们认为，这正是世界模型具有定义意义的基础任务——从根本上说，它严格属于压缩问题，而不是生成或模拟问题。生成和模拟是从良好压缩表示中涌现出来的下游能力，但它们本身并不是目标；世界模型的核心目标，是解决一个信息论问题：把高维感知数据中的隐式物理知识蒸馏成可用而紧凑的形式。

SECTION 2

2　什么是世界模型？

2.1　定义与主要属性

图2：世界模型的本质及主要属性 — **图 2：世界模型的本质及主要属性**世界模型本质及其主要属性的示意图。

本节明确界定世界模型这一概念，具体从物理世界建模的视角出发，并概述它的基本属性。

宇宙中一切物质与波的状态转移过程都客观存在，但驱动这些物理过程的自然计算能力庞大到难以想象。由于人类工程系统无法复现这种无限复杂性，我们提出如下形式化定义。

定义 2.1（世界模型）世界模型是在有限计算资源约束下，对物理世界状态转移过程进行的压缩建模。¹

如图 2 所示，在这些内在计算约束下运行时，通用物理世界模型天然表现出三个主要属性：

全模态工作范围。世界模型必须具备跨所有感知模态进行数据建模的能力。它不局限于文本或视觉，而从根本上是一个能够进行统一潜在表示的全模态基础 Model。
多维异步性。由于计算和感知资源有限，在物理世界的诸多维度中感知到的数据以不同频率采样。因此，世界模型必须能够处理多维、异步（多频率）序列数据。
局部性。智能体的感知受其资源限制，因此它收集的数据往往局限在局部区域。外部区域持续对该局部区域施加影响，形成干预。因此，从局部视角对世界建模，通常被形式化为部分可观测马尔可夫决策过程（POMDP）。

要理解这种局部、全模态近似的必要性，我们必须考察当前 Model 如何试图回答有关现实的问题。当今主导 AI 领域的世界模型——无论是潜在空间预测表示、游戏智能体的强化学习 Model，还是具身模拟的视频预测 Model——都由一个共同的生成式框架统一起来：给定当前观测，接下来会发生什么？真正的物理世界模型重新定义了整个范式。根本问题从“会发生什么？”转变为“正在发生什么、为什么发生，以及将会发生什么？”这需要认识论推理²来理解物理系统的运行结构。它发现系统原生的运行本体：识别离散运行状态，确立健康行为与异常行为之间的边界，并描绘系统如何到达当前状态的因果轨迹。

这种方法的重要性源于物理世界与数字世界之间的巨大差异。数字数据一经创建，便能无限期保持可读；多年前训练的语言 Model 今天仍能回答量子力学问题。相比之下，物理系统天然非平稳且不断变化。关键在于，最重要的事件——例如安全关键故障和罕见故障模式——可能永远不会出现在静态训练语料库中。这正是静态世界模型不可避免地难以解决物理世界问题的原因。我们需要一种能够采用通用基础表示，并自主、实时地把它局部适配到各个应用独特物理规律的架构。这样的动力系统应具有自洽性，也就是说，当新的数据模态或通道进入时，世界模型仍能继续工作和演化，而不会面临崩溃风险。

归根结底，物理世界模型不只是一个模拟引擎。它代表一种根本不同的智能形式：在局部观测和有限计算的约束下，深入理解物理世界、世界的持续演化及其底层运行规则。

2.2　智能体—环境回路

图3：POMDP智能体—环境回路 — **图 3：POMDP 智能体—环境回路**使用本小节符号表示的 POMDP 智能体—环境回路示意图。智能体维持后验信念 \(b_t(\mathbf{s}_t)\)，选择行动 \(\mathbf{a}_t\)；环境依照真实转移核 \(P^\star\) 演化，通过观测 Model \(O\) 产生部分观测 \(\mathbf{o}_t\)，随后通过贝叶斯滤波更新信念。

一个在科学上有用的世界模型定义，应从智能体与其环境之间的序贯回路出发，而不是从任何特定 Model 家族出发。自然的形式化方式是部分可观测马尔可夫决策过程（POMDP）\(\mathcal{M}=(\mathcal{S},\mathcal{A},\mathcal{O},P^\star,O,R,\gamma)\)：环境处于潜在状态 \(\mathbf{s}_t\in\mathcal{S}\)，智能体选择行动 \(\mathbf{a}_t\in\mathcal{A}\)，状态依照转移核 \(P^\star(\mathbf{s}_{t+1}\mid\mathbf{s}_t,\mathbf{a}_t)\) 演化，而智能体只能接收从观测 Model \(O(\mathbf{o}_t\mid\mathbf{s}_t)\) 中抽取的部分观测 \(\mathbf{o}_t\in\mathcal{O}\)。由于真实状态通常是隐藏的，胜任的行为不能只依赖原始观测。它需要对可能状态形成内部信念，并具备随着新观测到来而更新该信念的机制。从这个意义上说，世界模型不只是像素、Token 或轨迹的预测器。它是潜在状态、观测形成过程和行动条件动力学的内部 Model，使智能体能够推断当前情况、想象接下来可能发生什么，并在不确定性下评估干预。图 3 总结了这一智能体—环境回路及其核心变量。

这一框架也澄清了该术语的历史传承。Craik 早期对心智 Model 的论述把智能视为构造内部替代物，使其能在采取外显行动前先于现实运行 (Craik, 1943)。Sutton 的 Dyna 架构把这一直觉转化为现代强化学习，在单一回路中明确耦合真实经验、Model 学习、规划和行动 (Sutton, 1990; 1991)。近期的批评进一步强调了同一点：世界模型的目标不是穷尽式复现世界，也不只是生成视觉上合理的未来，而是为了有目的的推理和行动，模拟真实世界中具有可行动性的可能性 (Xing et al., 2025)。“可行动”这一限定至关重要。有用的世界模型不仅必须预测观测如何共同变化，还要预测环境在干预下如何改变、哪些隐藏变量对控制至关重要，以及哪些不确定性仍未消除。按照这种观点，形式化目标是学习一个足够忠实的内部模拟器，对决策相关状态、转移和观测结构进行建模，从而使感知、反事实想象和策略选择都能在同一个闭环中完成。

2.3　理解与预测：世界模型的两种观点

上述定义把物理情境中的世界模型界定为对物理世界状态转移过程的有限资源近似，并强调三个主要属性：全模态性、多维异步性和局部性。在此定义范围内，近期文献显示，“世界模型”一词被用于两个部分重叠但哲学上不同的含义 (Ding et al., 2024)。第一种含义中，世界模型首先是一种理解工具：它把感知数据压缩为稳定的内部表示，显露出解释当前情境所需的实体、关系和机制。预测仍然重要，但主要充当训练信号或一致性约束，迫使表示捕捉正确的潜在结构。早期深度世界模型工作正是秉持这种精神，把紧凑的内部状态、记忆和潜在动力学视为构建下游控制的基础 (Ha & Schmidhuber, 2018)。第二种含义中，世界模型首先是一种预测工具：人们依据它向前推演世界、生成候选未来，并为规划与决策提供前瞻能力的表现来评价它。LeCun 的自主智能计划把这种预测性世界模型置于推理和行动的中心 (Dawid & LeCun, 2023)，而 Sora 等大规模视频生成器使这种预测性解释在可观测未来层面尤其突出 (OpenAI, 2024)。

这种区别很重要，因为它改变了我们要求 Model 表示、优化和证明什么。面向理解的 Model 通常偏好潜在抽象、以物体或关系为中心的结构、信念估计，以及对干扰细节的不变性；其训练目标往往强调表示学习、状态估计或紧凑的预测充分性，而评估则应询问学习到的状态能否为控制、解释和因果干预提供信息。只要支持准确且可控的前向模拟，面向预测的 Model 可以容忍较弱的可解释性；因此，它往往偏好下一状态或下一观测生成、长时域 rollout 稳定性、行动条件化，以及外部评判的一致性。两种观点还意味着不同的失败模式。一个 Model 可能推断出紧凑的决策相关状态，却仍然产生视觉质量很差的渲染。相反，视频生成器可能产生惊人逼真的未来，但如果不能保留隐藏状态、因果结构或干预语义，作为与控制相关的模拟器依旧不可靠 (Xing et al., 2025)。最强的系统最终需要同时具备两种属性：能够分离正确潜在变量的内部表示，以及通过反事实未来传播这些变量的预测机制。因此，这种分歧最好不要理解为在两个互不相容的定义之间做选择，而应理解为：在给定架构中，哪一种能力被视为主要能力，哪一种被视为派生能力。

我们的观点是，对物理世界模型而言，理解应当居于首位，预测应服务于理解。一个无法识别潜在运行状态、因果结构和干预相关不确定性的 Model，可能生成合理的未来，却仍不能作为科学推理或具身控制的基础。反过来，预测式 rollout 仍不可或缺，但它主要是通过反事实模拟检验和改进内部理解的机制。从这个意义上说，我们认为最有用的世界模型并非单纯的未来生成器，而是把部分观测转化为可行动理解，再利用预测支持决策的系统。

2.4　功能分类：渲染器、模拟器、规划器

面向理解与面向预测的世界模型之分，澄清了各自强调的能力，却尚未说明这些能力如何组织在一个行动系统中。因此，功能分类提供了有用的下一步：它不按哲学侧重点对世界模型分类，而是分解它们在智能体—环境回路中的作用。

Fei-Fei 的功能分类可以被重新表述为智能体—环境系统中的三种互补计算角色 (Fei-Fei, 2026)。第一，渲染器是一种生成观测的 Model：它根据场景描述、交互历史或预期行动序列，输出感知后果——最常见的是图像或视频。因此，它的功能是近似视觉上合理的观测分布，而不是恢复环境完整的底层状态。第二，模拟器是一种承载动力学的 Model，表示潜在或显式结构化的世界状态如何在干预下演化。它必须充分保留几何、物理约束、物体恒存性和行动条件下的时间规律，才能支持可靠的前向预测。第三，规划器是一种决策 Model，它评估反事实未来，并依据任务目标选择行动或行动序列。它不只预测可能发生什么，还决定应当追求哪一个可控未来。

这些角色自然映射到部分可观测马尔可夫决策过程（POMDP）的闭环 (Kaelbling et al., 1998)。由于真实环境状态无法直接访问，智能体维持关于可能状态的信念分布。模拟器近似转移 Model，在所考虑行动下传播候选状态；渲染器近似观测 Model，把这些状态投影为智能体随后可能接收的感知证据；规划器则评估由信念决定的未来并选择行动。所选行动执行后，环境产生新观测，修正智能体的信念并启动下一轮循环。因此，这三种功能既不是彼此隔离的模块，也不是相互排斥的 Model 类别。规划器查询模拟器以比较行动后果，也可以调用渲染器来预期与任务相关的感知结果。反过来，规划器的干预决定环境哪些方面变得可观测，从而产生能够同时改进感知预测和动力学估计的证据。三者的交互构成推断、想象、干预和修正的循环过程。

图4：POMDP回路中世界模型的功能角色 — **图 4：POMDP 回路中世界模型的功能角色**POMDP 回路中世界模型的各类功能角色。

贝叶斯推断为这一回路应如何管理不确定性提供了规范性解释。在接收当前观测之前，智能体通过转移动力学传播上一时刻的后验，形成预测先验。随后，新观测按照下式更新该先验：

公式（1）

\[\mathbf{x}_t(\mathbf{s}_t)\propto O(\mathbf{o}_t\mid\mathbf{s}_t)\sum_{\mathbf{s}_{t-1}}T(\mathbf{s}_t\mid\mathbf{s}_{t-1},\mathbf{a}_{t-1})\mathbf{x}_{t-1}(\mathbf{s}_{t-1}).\]

其中，\(\mathbf{x}_t\) 表示后验信念，\(T\) 表示状态转移 Model，\(O\) 表示观测似然。所得后验整合了累积知识与当前证据，同时显式保留不确定性，因此构成适用于决策的信息基础。随后，该后验成为下一次预测先验的来源，使序贯贝叶斯滤波成为 POMDP 回路的推断骨干。重要的是，理性规划应当在完整信念分布上优化期望效用，而不是只针对最可能的轨迹优化。因此，行动既可能具有工具价值，也可能具有认识价值：智能体可以为了实现外部目标而行动，也可以通过信息性观测来降低不确定性，或在两者间取得平衡。先验编码跨环境学习到的可复用规律，后验使这些规律适配当前情境，而反事实模拟则把两者连接到策略选择。因此，统一世界模型不应只被理解为可能未来的生成器，而应被理解为一个贝叶斯决策系统：它持续把不确定预测转化为以证据为条件、以目标为导向的行为。

2.5　二维分类：功能与架构

Fei-Fei 的渲染器—模拟器—规划器分类与我们提出的分类作用在不同抽象层级。Fei-Fei 的框架按照世界模型在智能体—环境回路中的功能角色进行分类：渲染器产生预测观测，模拟器在物理或动力学约束下传播世界状态，规划器则根据目标选择行动。我们的框架转而依据 Model 的表示基底和预测机制进行分类：观测级生成 Model 直接在像素或视频等感知空间中预测；潜在空间动力学 Model 把观测编码为紧凑状态，并在表示空间中预测其演化；3D 或其他结构化世界表示则显式建模几何、拓扑、物体、关系或物理属性。因此，第一种分类问的是系统做什么，第二种分类问的是相关世界知识如何表示和计算。两者互补而非竞争，通常应沿两个轴为一个 Model 指派一个或多个标签。

图 1 明确展示了这种多对多映射。Sora 和 Seedance 位于观测级渲染器区域，因为它们对外暴露的预测目标是视觉上合理的视频，而不是显式结构化且可独立查询的世界状态 (OpenAI, 2024; Gao et al., 2025)。Genie 3 在表示和输出上仍属于观测级，但向上延伸到 3D 世界表示 (Google DeepMind, 2025)：它响应导航命令、智能体行动和可 Prompt 的世界事件，逐帧生成环境，从而支持交互式 rollout、反事实探索，以及智能体研究与训练。JEPA 家族位于潜在空间模拟器区域，因为其定义性预测目标是抽象未来表示，而非重建像素 (Assran et al., 2023; Bardes et al., 2024)。VLA-JEPA 通过把与行动相关的潜在转移耦合到连续行动生成，将这一潜在预测机制向规划器区域扩展 (Sun et al., 2026)。Dreamer 同样位于潜在空间列，但采用不同的生成式状态空间范式 (Hafner et al., 2020)：它从观测学习紧凑的行动条件动力学，并利用想象的潜在轨迹训练 Actor 和 Critic，以实现长时域行为。因此，在系统层面，它把潜在模拟器与经想象训练的行动策略结合起来。更一般地说，当行动条件潜在世界模型的预测与显式规划或控制目标耦合时，它就可以从模拟扩展到规划，V-JEPA 2-AC 在图像目标机器人规划上的成果证明了这一点 (Assran et al., 2025)。

Marble 主要位于 3D／结构化表示区域 (World Labs, 2025; Kerbl et al., 2023)。它的 Gaussian Splatting 表示支持高保真渲染和新视角合成，而碰撞体网格则提供下游物理引擎可以操作的、可用于模拟的几何。因此，它连接了渲染和模拟，不过碰撞表示本身不应与完整学习式物理动力学 Model 混为一谈。Cosmos 3 被表示为一种跨域能力轮廓，而不是分类中的单个点 (NVIDIA Cosmos Team, 2026)。在共享全模态架构中，它的视听生成模式执行渲染器功能，行动条件前向动力学模式执行模拟器功能，而策略模式则共同预测行动及其预期视觉后果。因此，它在图 1 中的位置反映出：不同输入—输出配置和后训练程序能够从共享 Model 骨干中暴露不同功能角色。总体来看，这些系统表明，对能力日益增强的世界模型，更适合依据其运行配置和能力轮廓进行刻画，而不是把不可分割的 Model 名称硬性归入单一类别。

出于同样原因，我们不把目前备受关注的世界行动模型（WAM）视为第四种实现类别。如图 1 中横向的 WAM 区域所示，WAM 是一种面向具身决策的跨架构功能范式，而不是与三列架构平行的表示基底。它的定义性承诺是把预测性状态建模与行动生成耦合起来。在系统层面，WAM 对预期未来状态与行动之间的关系建模，即使该关系是通过级联分解而不是完全统一的网络实现。

WAM 可以通过显式未来视频进行推理，就像视觉规划管线那样；也可以通过紧凑的潜在未来表示或轨迹进行推理；还可以通过光流、3D 点流、RGB-D 轨迹或其他 3D 表示等结构化空间表示进行推理。因此，它可以使用观测级、潜在空间或结构化世界模型来实例化。在 Li 的功能轴上，WAM 主要面向规划器，但通常横跨规划器和模拟器功能，因为未来状态预测是行动生成的构成要素，而不只是辅助要素。把 WAM 视为以预测式行动生成为中心的功能家族，可以避免混淆输出功能与实现基底，也使级联系统与联合系统之间的比较具有意义：前者先预测未来状态表示再推导行动，后者则共同建模状态与行动轨迹。

图5：功能与架构的二维分类 — **图 5：二维分类——功能与架构**从功能和架构两个维度对世界模型进行分类。

2.6　将世界模型扩展到物理环境之外

前文讨论仍主要局限于日常宏观环境，包括场景、机器人、车辆和可操作物体。更广泛的研究议程应当询问：能否为科学领域构建类似的世界模型？在化学中，根据任务不同，状态可以包含分子种类和结构、反应进程，以及相关动力学或热力学变量；观测可以包括光谱、色谱图或测得产率；行动则可以对应实验控制的干预。在生物学中，相关状态可以跨越分子网络、细胞表型、组织和有机体层面的过程，并可能通过层级或多尺度表示来表达；干预可以包括遗传扰动、药物给药和其他受控操作。在天文学中，潜在天体物理状态通过仪器间接观测，而规划可以涉及根据天体物理动力学和依赖仪器的观测 Model 选择目标、仪器和观测日程。

现有科学 Model 已经展示了这一形式化框架的部分内容。在气象学中，GraphCast 学习全球大气状态的自回归转移 Model，通过反复把数百个大气变量向前传播来生成中期预报 (Lam et al., 2023)。在本文分类中，它可被理解为结构化科学模拟器，但不是智能体式世界模型，因为它不选择干预，也没有闭合预测与行动之间的回路。在分子尺度上，MDGen 学习分子动力学轨迹的生成 Model，可以针对前向模拟、转移路径生成和轨迹上采样进行条件化 (Jing et al., 2024)。它同样是学习式科学动力学建模的例子，但自身并不构成完整的实验规划系统。这些案例说明，即使没有被明确称为世界模型，世界建模的各个组成部分——状态表示、时间传播、不确定性感知生成和条件预测——也已经在不同科学领域出现。跨越这些领域，科学世界模型不应只生成合理的测量结果。它应捕捉机制性或其他具有科学意义的结构，在适用情况下遵守已知物理约束和不变量，量化不确定性，支持反事实干预，并帮助在实际约束下选择信息量最大或效用最大的实验。完整的智能体式科学世界模型还会把这些能力接入实验回路：提出假说或干预、预测结果、执行实验，再依据新证据更新 Model 的内部状态。

一种更加宽泛、也更具推测性的扩展涉及有边界的社会系统 (Zhou et al., 2025)。我们把这一概念限制在参与者、交互规则、观测通道、干预空间和时间范围均有明确界定的系统，例如小型团队、小型组织或边界狭窄的制度流程。这类系统可以被建模为部分可观测的多智能体动力过程。候选潜在变量可以包括激励、信念、组织结构、资源约束和交互网络；观测可以包括通信、交易和绩效轨迹；干预可以包括任务分配、组织重构或协商行动。在这些边界内，社会世界模型可以为团队协调和组织运行提供情景分析支持。

在继续讨论之前，我们强调，本文主要关注物理世界的世界模型，而非社会系统。此处对社会领域的讨论只是一种概念扩展，用于澄清范围和潜在局限，不应被理解为本文的中心研究对象。

这种形式化不能在没有限定的情况下扩展到国家、人口或全社会预测。大规模社会系统是开放的、反身的、非平稳的，并且存在规范争议：预测和干预可以改变被建模的行为，智能体可能对 Model 作出策略性反应，不同群体还可能追求互不兼容的目标。此外，信念、偏好和意图等变量只能被部分观测，并且可能依赖具有争议的理论假设。因此，在制度变化或公众知晓预测的情况下，历史预测准确性不能保证干预效果可靠。

伦理与治理风险十分重大。从通信和行为轨迹推断潜在状态可能助长侵入式监控，而带有历史偏差的数据可能复制歧视或不平等的风险分配。当 Model 输出被用于分配机会、执行政策或塑造行为时，它们还可能具有施为性，从而形成自我强化的反馈回路 (Perdomo et al., 2020)。因此，社会世界模型应显式表示不确定性，记录其因果和规范假设，并接受隐私保护、偏差审计、分布偏移测试和人类监督。它们应被视为有边界的决策支持工具，而不是社会神谕；不应被用于不受约束的人口规模预测、大规模画像、自动化治理，或针对个人和社会群体的高风险决策。

为避免术语含义被稀释，“世界模型”这一名称应保留给如下系统：它们维持状态的内部表示，对时间转移以及在相关情况下对以干预为条件的转移进行建模，并生成可检验的预测。在这些限制下，二维框架仍适用于边界明确且经过操作化定义的社会领域。不能仅凭规模或预测野心，就把一个不受约束地建模整个国家或社会的 Model 视为世界模型。

请注意，根据这一定义，本文使用的“世界模型”与“物理世界模型”含义相同，并且两者可以互换使用；但这确实意味着，“世界模型”与其他文献中的“物理世界模型”相同，例如交互式／3D 几何一致视频生成 Model。 ↩
认识论推理指用于评估知识、信念和有理据确信状态的逻辑过程，而不是聚焦世界的物理状态。它分析智能体如何根据部分观测、支持性证据以及关于其他智能体知道什么的元知识，构建、更新和评判其内部表示。 ↩

SECTION 3

3　架构范式

沿着以表示为中心的世界模型观点，本节依据现有系统如何表示和传播世界状态对它们进行分类。我们区分三类 Model：直接在像素、体素或视频 Token 中预测的观测级 Model；学习紧凑预测状态的潜在空间 Model；以及引入显式空间、几何或实体级结构的 3D 增强或以物体为中心的 Model。随后，我们讨论一种跨范式统一趋势，它把生成、理解、交互和多模态落地整合进共享架构。主要权衡和代表性系统汇总在表 1 中。

3.1　观测级生成式世界模型

观测级生成式世界模型把世界建模视为高维观测合成，直接预测未来像素、体素或视频 Token。近期的大规模视频生成器包括 Sora 风格 Model (OpenAI, 2024)、Wan (Wan Team et al., 2025)、Happy Horse (Alibaba ATH Innovation Unit, 2026)、Seedance 系列 (Gao et al., 2025; ByteDance Seed Team, 2026)、Movie Gen (Polyak et al., 2024)、HunyuanVideo (Kong et al., 2024)、CogVideoX (Yang et al., 2024) 和 Kling 系列 (Kling Team et al., 2025)；在严格的决策中心意义上，它们并非全都是世界模型，但它们代表了一条从大规模视频中学习物理先验的观测级路线。更明确的交互式系统包括 Genie 系列 (Bruce et al., 2024; Parker-Holder et al., 2024; Google DeepMind, 2025)、GameNGen (Valevski et al., 2025)、DIAMOND (Alonso et al., 2024) 和 Oasis (Decart & Etched, 2024)，它们从被动视频延续迈向可控环境生成。在物理和驾驶情景中，Cosmos (NVIDIA et al., 2025)、GAIA-1 (Hu et al., 2023)、DriveDreamer (Wang et al., 2023)、Drive-WM (Wang et al., 2023) 和 Waymo World Model (Jiang et al., 2026) 又进一步把观测级生成适配到以轨迹、行动或场景为条件的模拟。

它们的核心优势是规模：互联网视频为学习外观、运动、物体交互和场景动力学提供了巨大的弱监督语料库。因此，这些 Model 往往能实现很高的视觉保真度，并广泛覆盖真实世界现象。然而，视觉合理性不等于物理正确性。像素空间 Model 可能产生局部可信却全局不一致的 rollout，尤其在长时域上，物体恒存性、接触动力学、因果性或场景一致性方面的误差会不断累积。由于在高维观测空间中进行预测，它们的计算开销也很大。因此，Diffusion Forcing (Chen et al., 2024)、VideoPoet (Kondratyuk et al., 2024)、Wan (Wan Team et al., 2025) 和 Cosmos (NVIDIA et al., 2025) 等系统探索了如何把大型生成视频 Model 的感知优势扩展到时间连贯的序列级预测。由此可见，评价观测级世界模型的核心标准不只是感知保真度，还在于其生成轨迹能否在行动、指令、轨迹或其他条件信号下保持物理一致、因果连贯且可控。

表 1：主要世界模型架构范式的优势与局限
范式	优势	局限	代表性系统
观测级	高视觉保真度；输出直观；可随互联网视频扩展	生成成本高；物理不一致；长时域 rollout 漂移	OpenAI (2024) Bruce et al. (2024) Wan Team et al. (2025) Gao et al. (2025) NVIDIA et al. (2025) Chen et al. (2024)
潜在空间	高效的想象规划；紧凑潜在状态；长时域扩展	丢失关键细节；难以直观检查；目标不匹配	Ha & Schmidhuber (2018) Hafner et al. (2019) Hafner et al. (2020) Hafner et al. (2021) Hafner et al. (2023) Hansen et al. (2023) Schrittwieser et al. (2020) Assran et al. (2023) Bardes et al. (2024)
3D／以物体为中心	更好的空间一致性；物体级推理；视点／遮挡处理	需要结构化监督；难以处理动态场景	Zheng et al. (2024) Zhang et al. (2025) Mildenhall et al. (2020) Kerbl et al. (2023) World Labs (2025) Wu et al. (2023) Huang et al. (2025)
跨范式统一	结合生成、理解、交互和多模态落地	仍处早期；模态对齐问题；行动保真度；评估问题未解决	Liu et al. (2025) Ge et al. (2024) Zhou et al. (2025) Ye et al. (2026) Zhu et al. (2025) NVIDIA Cosmos Team (2026)

3.2　潜在空间世界模型

从像素空间世界模型转向潜在空间世界模型，并不只是一次效率改进，它反映了从视觉外观建模转向任务相关状态演化建模的根本变化。PlaNet (Hafner et al., 2019) 和 Dreamer 家族 (Hafner et al., 2020; 2021; 2023) 等早期潜在世界模型使用循环状态空间 Model（RSSM）等潜在动力学 Model，把高维观测编码为紧凑状态并高效开展基于想象的规划。通过 rollout 紧凑潜在状态而不是全分辨率像素，这些方法能更自然地扩展到长时域，更好地处理部分可观测性，并让智能体在固定计算预算下评估更多假设未来。

潜在建模除了提高效率，还改变了世界建模的优化目标。潜在空间 Model 不必把容量花在重建每个 RGB 细节上，而可以聚焦决定未来可控性的、变化较慢且与决策相关的因素，例如几何、物体关系、可供性、接触动力学和时间演化。TD-MPC 和 TD-MPC2 (Hansen et al., 2022; 2023) 等相关模型式控制方法进一步表明，规划可以直接在学习到的面向任务的潜在空间中进行，从而在不需要完整像素解码器的情况下高效优化轨迹。同样，对比式和无重建世界模型 (Kipf et al., 2019; Okada & Taniguchi, 2022; Poudel et al., 2023) 表明，避免像素级重建可以减少对纹理、光照和微小光度变化等高频外观干扰因素的过拟合，从而提高鲁棒性。包括 JEPA 风格预测表示学习在内的较新方法 (Assran et al., 2023; Bardes et al., 2024; Assran et al., 2025) 通过预测表示而非像素，进一步质疑完整视觉重建的必要性。更广泛地说，LDA-1B (Lyu et al., 2026) 和 Motus (Bi et al., 2025) 等具身学习系统表明，往往无需对完整视觉场景进行照片级重建，只依赖紧凑、面向任务的潜在表示就能学习有效策略。从这个意义上说，潜在世界模型不仅可能更快，也可能与控制更加一致：它们保留低频、具有因果相关性的结构，同时抑制表面视觉细节，从而支持更稳健、更准确的决策。

然而，主要风险在于过度抽象可能舍弃视觉上细微但对决策至关重要的信息，例如夹爪—物体接触、细小障碍物、微妙的物体姿态变化或形变。因此，核心挑战并不是简单压缩观测，而是学习一种潜在表示：既舍弃外观层噪声，又保留决定未来可控性的因素。这也使评估发生变化：不应只依据重建或预测误差评判潜在世界模型，还要考察其 rollout 是否保留了下游规划与控制所需的信息。

3.3　3D 增强与以物体为中心的世界模型

3D 增强和以物体为中心的世界模型推动世界建模摆脱纯帧预测，转向结构化场景理解。传统视频 Model 可以生成视觉上合理的未来帧，但其内部状态通常难以解释，也未必对应场景的真实 3D 布局。对具身 AI 而言，这是一个限制：Model 还应支持对自由空间、物体位置、遮挡、视点变化、物体恒存性和物理合理性的推理。为此，近期工作探索了 3D occupancy、BEV 表示、类似 NeRF 的辐射场、3D Gaussian Splatting 和物体 Slot，把它们作为世界模型中更为结构化的状态空间 (Mildenhall et al., 2020; Kerbl et al., 2023; Locatello et al., 2020; Wu et al., 2023; Zheng et al., 2024; Zhang et al., 2024; Zhang et al., 2025)。

其中一个方向是基于 occupancy 和 BEV 的世界建模。这些表示比像素更直接地显露场景空间结构，因此适用于推理自由空间、障碍物、语义区域和未来场景演化。在自动驾驶中，OccWorld、OccSora、Drive-OccWorld 和 BEVWorld 等系统在 occupancy 或类 BEV 空间中学习未来场景动力学 (Zheng et al., 2024; Wang et al., 2024; Yang et al., 2024; Zhang et al., 2024)。在机器人学中，RoboOccWorld 把这种结构化状态观点扩展到室内具身预测，根据空间观测历史和未来相机姿态预测 3D 语义 occupancy (Zhang et al., 2025)。这一家族的关键优势在于，预测变得可从空间上查询，而不只是视觉上合理。另一个家族使用连续或基于点的 3D 场景表示。NeRF 和 3D Gaussian Splatting 提供感知几何的状态，支持新视角渲染和更强的视点一致性 (Mildenhall et al., 2020; Kerbl et al., 2023)。Marble、RenderWorld、GaussianWorld 和 GWM 等近期系统又把这一思想扩展到持久 3D 世界生成、驾驶世界建模、流式 occupancy 预测和机器人操作 (World Labs, 2025; Yan et al., 2024; Zuo et al., 2025; Lu et al., 2025)。与纯视频生成相比，这些 Model 能更好地跨视角和时间保持空间结构，但在动态场景和长时域交互方面仍面临挑战。以物体为中心的世界模型解决一个互补问题：即使是稠密 3D 状态，也未必会分离出真正重要的实体。OP3、C-SWM、Slot Attention、SAVi 和 SlotFormer 等方法学习物体级或 Slot 级表示与动力学，从而支持更具组合性的预测和推理 (Veerapaneni et al., 2019; Kipf et al., 2019; Locatello et al., 2020; Kipf et al., 2022; Wu et al., 2023)。FOCUS 和用于语言引导操作的 Object-Centric World Model 等近期机器人系统又把物体级抽象连接到操作和指令条件预测 (Ferraro et al., 2023; Jeong et al., 2025)。这种抽象很有用，因为许多具身任务天然围绕持久实体及其关系定义，而不是围绕全局图像模式定义。

最有前景的方向是结合这些表示，而不是把它们当作相互竞争的选择。Occupancy 支持自由空间与碰撞推理，NeRF 和 3D Gaussian 表示支持视角一致渲染，物体 Slot 则支持组合推理。EnerVerse 和 EnerVerse-AC 等混合具身系统已经指明这一方向：它们连接多视角预测、记忆、4D 场景表示、指令或行动条件化以及具身未来生成 (Huang et al., 2025; Jiang et al., 2025)。更广泛的启示是，未来具身世界模型可能需要在共享物理表示中结合空间几何、时间记忆、物体结构和交互落地。

同时，加入 3D 结构并不会自动解决世界建模。一个 Model 可能准确重建空间，却仍然无法捕捉可供性、因果性、物体恒存性或任务相关语义。以物体为中心的 Model 紧凑且可解释，但在杂乱场景和遮挡下可靠发现物体仍很困难。NeRF 或 3D Gaussian Model 能渲染细致视图，但把它们扩展到动态场景、长时域预测和闭环交互仍富有挑战。因此，关键问题不在于世界模型看起来是否“更 3D”，而在于其状态是否形成对物理世界有用且连贯的表示。强大的具身世界模型应当具有几何一致性、时间稳定性、物体感知能力和物理合理性，并且能被下游推理、规划或控制模块访问。

3.4　统一趋势：全模态世界模型

图6：世界模型架构的统一趋势 — **图 6：世界模型架构的统一趋势**生成—理解统一 Model 首先通过纳入交互和行动落地，超越被动观测并催生世界行动模型（WAM）。随后，该范式进一步超越单模态或少模态建模，转向在共享物理表示中整合语言、视频、音频、行动、3D 结构及其他传感器信号的全模态 Model。

世界模型研究中逐渐形成的一项共识是：未来世界模型不应是纯生成器，而应是生成—理解统一 Model。世界的 Model 不仅应能合成未来观测，还应理解物体、空间关系、时间动力学、因果性和物理合理性。这一方向在 LWM (Liu et al., 2025)、WorldGPT (Ge et al., 2024)、HERMES (Zhou et al., 2025)、HERMES++ (Zhou et al., 2026)、GaussianDWM (Deng et al., 2026) 和 UniDrive-WM (Xiong et al., 2026) 等系统中体现得更加明确；这些系统试图在统一 Framework 中连接场景或视频理解与未来状态生成。Chameleon (Chameleon Team, 2025)、Janus／Janus-Pr (Wu et al., 2024; Chen et al., 2025) 和 Emu 系列 (Wang et al., 2024; Cui et al., 2025) 等相邻的多模态基础 Model 也支持这一趋势，它们表明理解与生成可以由共享的 Token 化或自回归架构处理。这些 Model 共同说明，世界建模正在超越视觉吸引力强的合成，转向联合表示、推理和生成动态世界的架构。

然而，物理世界不只被观测，还会被作用。从部分可观测决策视角看，具身智能体只能获得底层世界状态的部分观测，而它的行动会干预潜在状态转移并塑造未来观测，如图 6 所示。因此，仅统一生成和理解仍不够。面向物理 AI 的世界模型不仅应表示和生成未来状态，还应把想象的未来连接到可执行行动。这推动了世界行动模型（WAM）的兴起 (Wang et al., 2026)；WAM 在共享生成 Framework 中整合世界建模与行动或策略建模。WAM 不再把动力学预测和策略学习当作独立模块，而是旨在直接从视频—行动数据中学习二者的耦合。例如，DreamZero (Ye et al., 2026) 表明，联合建模视频和行动可以把世界模型转变为 Zero-shot 策略；LingBot-VA (Li et al., 2026) 在自回归视频—行动 Framework 中统一视觉动力学预测与行动推断；\(\tau\)0-WM (Zhou et al., 2026) 则为机器人操作整合行动生成、视频预测和未来状态评估。UWM (Zhu et al., 2025)、Cosmos Policy (Kim et al., 2026)、GigaWorld-Policy (Ye et al., 2026)、Fast-WAM (Yuan et al., 2026) 和 Flash-WAM (Akbari et al., 2026) 等相关系统进一步探索了耦合视频预测与行动生成的不同方式，包括联合 Diffusion、以行动为中心的预测，以及无需显式测试时视频想象的快速推理。这些 Model 共同标志着从被动世界模拟，转向既能想象物理未来又能生成以这些未来为落点的行动的生成 Model。

此外，世界模型正从单模态或少模态设定扩展到全模态物理建模，在物理世界的共享表示中整合语言、图像、视频、音频、行动、3D 结构和传感器数据，如图 6 所示。NVIDIA Cosmos 3 (NVIDIA Cosmos Team, 2026) 可以被视为这种更广泛尝试的清晰范例：它明确旨在通过 Mixture-of-Transformers 架构统一语言、图像、视频、音频和行动，从以视觉为中心的生成走向通用物理 AI 后端。其他近期系统为这一方向提供了重要构件，尽管它们尚未成为完整的全模态世界模型。Seedance 2.0 (ByteDance Seed Team, 2026) 探索从文本、图像、音频和视频输入进行统一多模态音视频生成；Wan／Wan2.1 (Wan Team et al., 2025) 提供可扩展的开放视频生成骨干；Tencent 的 HunyuanVideo 和 HunyuanWorld 系列 (Kong et al., 2024; Hunyuan Team, 2025) 把视频生成扩展到可探索、可交互的 3D 世界构建；Kling-Omni (Kling Team et al., 2025) 整合多模态指令遵循、视频生成、编辑和推理；Qwen-Omni (Xu et al., 2025) 则展示了如何在统一全模态基础 Model 中处理语言、视觉、音频和视频。这些工作共同表明，生成、理解、交互、空间推理和多模态物理预测正开始汇聚到共享 Model 骨干中。从这个意义上说，统一趋势由物理 AI 对单一 Model 的需求所驱动：这个 Model 能理解现在、想象合理未来、与世界交互并整合多模态物理信号。

SECTION 4

4　训练与学习范式

图7：世界模型的主要训练与学习范式 — **图 7：世界模型的主要训练与学习范式**世界模型主要训练与学习范式的概览。

4.1　自监督与生成式预训练

自监督与生成式预训练已经成为世界模型的自然入口，因为它能在任务奖励或稠密专家标签可用之前，把无标签经验转化为稠密监督。令 \(\mathbf{x}_{1:T}\) 表示像素级观测或视频帧，\(\mathbf{a}_{1:T}\) 表示行动，\(\mathbf{c}\) 表示可选条件，\(u_{1:T}\) 表示离散 Token。共同目标不是为重建而重建，而是通过预测经验中被遮蔽的、未来的或下一个元素，获得紧凑信念状态和转移先验。

视频预测是最直接的形式：

未来视频预测

\[p_{\theta}\!\left(\mathbf{x}_{t+1:t+K}\mid\mathbf{x}_{\le t},\mathbf{a}_{t:t+K-1},\mathbf{c}\right).\]

它把表示学习建立在时间之上：恒存性、遮挡、接触、运动和场景变化在每一帧都成为监督。然而，无行动预测学习观测动力学，而行动条件预测则开始近似干预动力学——这一区别对规划至关重要。像素预测也是一种脆弱的代理目标：照片真实感既不是可控物理理解的必要条件，也不是充分条件。因此，现代系统越来越多地预测随机化、Token 化或 Diffusion 潜变量，把目标从渲染合理未来转向保留行动相关动力学 (Finn et al., 2016; Ha & Schmidhuber, 2018)。

掩码自动编码提供了一条互补路线。MAE 风格目标从可见上下文重建被遮蔽 Patch，视频变体则通过管状掩码和极高遮蔽率利用时间冗余 (He et al., 2022; Tong et al., 2022)。它产生的有益效果是压缩：编码器不能简单复制像素，必须从上下文推断结构。但重建只是一种代理。对世界模型而言，最好的掩码目标应使其潜在空间在干预下仍具预测性；这促使 JEPA 风格表示预测舍弃外观干扰，同时保留对规划有用的语义与动力学不变量 (Bardes et al., 2024; Assran et al., 2025)。

下一 Token 预测提供了最具可扩展性的生成接口。一旦视频、行动、语言、地图、本体感知和奖励被 Token 化或嵌入，预训练就可以最小化：

下一 Token 预测损失

\[\mathcal{L}_{\mathrm{NTP}}=-\sum_{t=1}^{T}\log p_\theta\!\left(u_t\mid u_{

这使世界建模与 Transformer Scaling 对齐，并实现多模态 Prompt。GAIA-1 把自动驾驶世界建模表述为离散 Token 序列预测，而 Genie 结合了时空视频 Tokenizer、自回归动力学 Model 和从无标签视频训练的潜在行动 Model (Hu et al., 2023; Bruce et al., 2024)。隐藏瓶颈是 Token 化：Token 定义 Model 的本体，Tokenizer 丢弃的几何、接触或可控性无法单靠规模恢复。

Scaling Law 把这些目标变成一个系统问题。一种有用的抽象是：

Scaling Law 抽象

\[\mathcal{L}(N,D)\approx\mathcal{L}_{\infty}+A N^{-\alpha}+B D^{-\beta},\qquad C\approx\kappa N D,\]

其中 \(N\) 是 Model 大小，\(D\) 是训练数据，\(C\) 是计算量。语言 Model 结果表明，性能会随规模呈可预测的幂律提升，而计算最优训练要求在参数和 Token 之间取得平衡 (Kaplan et al., 2020; Hoffmann et al., 2022)。然而，对世界模型而言，\(D\) 不应只被理解为 Token 数，而应被理解为对状态、行动、具身体、视点、接触、罕见事件和时域的覆盖。具身预训练的早期研究发现了类似 Scaling 行为，但系数受到 Tokenizer、任务和架构影响 (Pearce et al., 2025)。因此，似然并不充分：可扩展世界模型还必须依据闭环一致性、可控性、长时域稳定性和对罕见状态的鲁棒性来评判。

因此，合成数据是一种实际的 Scaling 杠杆。Omniverse Replicator 和 Isaac Sim 等平台支持基于物理的合成数据生成，而 Cosmos-Drive-Dreams 和 GR00T-Dreams 等近期管线则使用世界基础 Model 生成可控驾驶情景或合成机器人轨迹 (NVIDIA, 2022; NVIDIA et al., 2025; NVIDIA, 2025)。它们最有力的作用不是替代现实，而是放大现实：真实数据锚定分布，模拟和生成式 SDG 则暴露长尾、危险和反事实状态。核心问题是校准——如何混合真实、模拟和生成数据，使更广的覆盖改善物理泛化，而不是让 Model 学到模拟器伪影。按照这种观点，预训练并非教 Model 渲染世界，而是教它掌握智能体可以借以改变世界的变量。

4.2　模型式强化学习

模型式强化学习（MBRL）(Moerland et al., 2022) 是最早赋予世界模型以决策中心定义的一种学习范式：世界模型是一种内部 Model，它足够准确地预测行动后果，从而被用于改进策略。典型 MBRL 管线由两个交错阶段组成：1）智能体与环境交互并拟合动力学 Model，即学习到的转移 Model \(\widehat P_\theta\)，通常还伴随学习到的价值函数；2）智能体把该 Model 当作廉价、可微且可重置的现实替代物来利用，要么直接在其中规划行动序列，要么在想象 rollout 上训练策略，从而摊销真实交互成本。

在形式上，MBRL 被定义为元组 \(\mathcal{M}_{\mathrm{MDP}}=(\mathcal{S},\mathcal{A},P^\star,R,\gamma,\rho_0)\)，其中 \(\mathcal{S}\) 是状态空间，\(\mathcal{A}\) 是行动空间，\(P^\star(\mathbf{s}_{t+1}\mid\mathbf{s}_t,\mathbf{a}_t)\) 表示真实转移动力学，\(R:\mathcal{S}\times\mathcal{A}\to\mathbb{R}\) 是奖励函数，\(\gamma\in[0,1)\) 是折扣因子，\(\rho_0\) 是初始状态分布。对于学习目标，智能体寻求一个策略 \(\pi_\phi:\mathcal{S}\to\Delta(\mathcal{A})\)，最大化如下期望累积回报：

MBRL 策略目标

\[J(\pi_\phi)=\mathbb{E}_{\pi_\phi,P^\star}\!\left[\sum_{t=0}^{H-1}\gamma^t r_t\right],\qquad r_t=R(\mathbf{s}_t,\mathbf{a}_t).\]

关键区别是学习一个由 \(\theta\) 参数化的近似转移函数 \(\widehat P_\theta\)，以近似预言机 \(P^\star\)：

近似转移函数

\[\widehat P_\theta:\mathcal{S}\times\mathcal{A}\to\Delta(\mathcal{S}),\qquad \widehat{\mathbf{s}}_{t+1}\sim\widehat P_\theta(\cdot\mid\mathbf{s}_t,\mathbf{a}_t),\]

其中，\(\widehat P_\theta\) 通过在回放缓冲区 \(\mathcal{D}=\{(\mathbf{s}_t,\mathbf{a}_t,\mathbf{s}_{t+1})\}\) 上最小化负对数似然来训练：

动力学学习损失

\[\mathcal{L}_{\mathrm{dyn}}(\theta)=-\mathbb{E}_{(\mathbf{s},\mathbf{a},\mathbf{s}')\sim\mathcal{D}}\!\left[\log\widehat P_\theta(\mathbf{s}'\mid\mathbf{s},\mathbf{a})\right].\]

通过学习 \(\widehat P_\theta\)，智能体可以完全在 Model 内优化策略，与无 Model 方法相比显著提高样本效率。

现有 MBRL 研究集中在两个方向：Model 学习与Model 利用。在 Model 学习方面，PILCO 等早期工作使用高斯过程捕捉动力学中的认识不确定性 (Deisenroth & Rasmussen, 2011)，后续方法则采用表达能力更强的 DNN，包括确定性网络 (Nagabandi et al., 2018)、概率集成 (Chua et al., 2018; Janner et al., 2019)，以及联合学习紧凑状态表示与动力学的潜在空间世界模型 (Hafner et al., 2020; 2021; 2023)。在 Model 利用方面，各方法的分歧在于如何利用学习到的 Model：Dyna 风格方法 (Sutton, 1990; Janner et al., 2019) 把 Model 当作生成器，扩充用于离策略优化的回放缓冲区；PETS (Chua et al., 2018) 和 MPPI (Williams et al., 2017) 等基于规划的方法通过模型预测控制（MPC）开展在线轨迹优化；模型式策略梯度方法 (Heess et al., 2015; Clavera et al., 2020) 则穿过 Model rollout反向传播梯度，直接优化策略。这两条研究路线共同凸显了 MBRL 的核心挑战：学习足够准确的 Model，同时高效利用它进行下游策略优化。因此，下文描述的推理和决策程序应被理解为 Model 利用的具体形式：主要区别在于 Model 被用于后台训练、决策时规划还是因果诊断。

作为 Model 利用的推理与决策

拥有世界模型不等于善于使用它。文献把 Model 使用分为两个范式，Sutton 和 Barto 将其区分为后台规划和决策时规划 (Sutton & Barto, 2018)。在后台规划中，Model 充当数据生成器：想象轨迹被视为策略改进的额外经验，例如 Dyna 风格更新 (Sutton, 1991)、为了限制 Model 误差而刻意截短的 MBPO 短 Model rollout (Janner et al., 2019)，以及 Dreamer 在潜在想象中的 Actor—Critic 学习 (Hafner et al., 2020)。计算成本在训练期间支付；部署时，智能体通过摊销后的策略作出反应。相比之下，在前向搜索中，Model 在决策时接受查询：给定当前状态，智能体模拟候选未来，选择想象后果得分最高的行动。决策时规划可以即时适应目标变化并利用更多推理计算，但每一步都会重新继承 Model 的误差。两种范式互补而非竞争——MuZero 等现代系统使用学习策略提出行动，再通过搜索加以优化——而摊销式反应与审慎搜索之间的权衡，越来越被视为认知中 System 1／System 2 区分的类比 (Kahneman, 2011)。

前向搜索本身横跨两种方法传统。在连续控制中，规划被表述为行动序列上的轨迹优化，通常嵌入模型预测控制（MPC）：智能体针对 Model 优化一个 \(H\) 步行动序列，只执行第一个行动，下一步再重新规划，从而用频繁反馈修正 Model 漂移。内部优化通常使用交叉熵方法（CEM）完成；CEM 是一种无导数采样器，它反复把采样分布重新拟合到想象轨迹中的精英子集，PETS 就采用了这种方法 (Chua et al., 2018)。其改进包括模型预测路径积分控制 (Williams et al., 2017)，以及 TD-MPC 中使用学习策略与价值函数对采样进行 Warm-start 的混合方案 (Hansen et al., 2022)。在离散领域，主导工具是蒙特卡洛树搜索；它在学习到的策略先验和价值估计引导下逐步构建搜索树 (Silver et al., 2016; 2017)。MuZero 证明搜索可以完全运行在学习到的隐式 Model 内，而 Stochastic MuZero 和 Sampled MuZero 又把这一方法扩展到随机动力学以及大型或连续行动空间 (Antonoglou et al., 2022; Hubert et al., 2021)。

每当不完美 Model 被用于决策时，都会反复出现三种失败模式，它们推动了近期研究议程的大部分内容。第一种是复合误差：自回归 rollout 把 Model 自身的预测反馈给它，因此单步不准确会不断累积，想象状态分布逐渐偏离训练中见过的一切，误差随时域超线性增长 (Talvitie, 2017; Lambert et al., 2022)。实际系统通过保持短 rollout (Janner et al., 2019)、在 MPC 下频繁重新规划、使用 \(\lambda\) 风格多时域估计对想象回报加权，或按集成分歧惩罚轨迹来应对；但有原则的长时域 rollout 稳定性仍未解决，我们也把它视为基于视频生成的世界模型的一级瓶颈。第二种是目标不匹配：Model 的训练目标是最大化预测似然，评估标准却是它所支持的策略或规划的回报，两者并不对齐；一个把容量用于视觉显著但与决策无关细节的 Model，可能比准确度更低却与决策更相关的 Model 更不适合规划 (Lambert et al., 2020)。价值等价和决策感知 Model 学习 (Grimm et al., 2020; Farahmand, 2017) 通过直接针对规划器使用的量来训练 Model 作出响应，而这正是 MuZero 所体现的设计哲学。第三种是乐观—悲观偏差：规划器是自身 Model 的对抗性使用者，会主动寻找预测回报很高的行动序列，因此系统性发现并利用 Model 的乐观误差——这种现象有时称为 Model 利用，在离线环境中也可称为规划器在缺少数据支持的区域“幻觉”出价值。在线学习中，面对不确定性的校准乐观是一种优点，因为它能推动探索 (Curi et al., 2020)；在离线或安全关键环境中，它则是一种负担，MOPO 和 MOReL 等保守方法会从想象奖励中扣除不确定性惩罚，或终止离开数据流形的 rollout (Yu et al., 2020; Kidambi et al., 2020)。系统应在乐观—悲观谱系的何处落位，不是超参数细节，而是关于智能体在多大程度上信任其世界 Model 的表态；正如下文所述，这一问题可以原封不动地从 MBRL 推广到部署在物理环境中的基础规模世界模型。

两种代表性范式实例化了这些 Model 利用形式。与显式近似物理状态转移函数 \(\widehat P_\theta\) 的传统 MBRL 方法不同，MuZero (Schrittwieser et al., 2020) 学习价值等价的潜在动力学 Model，并完全在潜在空间内执行蒙特卡洛树搜索，无需显式环境先验便在游戏中达到超人性能。此外，Dreamer 家族 (Hafner et al., 2020; 2021; 2023) 使用 RSSM（循环状态空间 Model）想象潜在 rollout，并通过 Actor—Critic 学习优化策略，在视觉连续控制中展现出很高的样本效率。尽管两种范式都显著推进了 MBRL，但其世界模型仍然针对特定任务，并且局限于可控情境，每个新任务都需要从头训练。因此，近期工作开始探索在大规模异构数据上预训练的通才世界模型。例如，DreamZero (Ye et al., 2026) 在预训练视频 Diffusion 骨干上构建 World-Actor-Model（WAM），联合预测未来视频帧和机器人行动。它把视频视为物理动力学的稠密表示，无需重复演示便学习多样技能，在物理情境中实现 Zero-shot 任务泛化和 Few-shot 具身体适配，同时以 7Hz 维持实时闭环控制。这条研究路线把 MBRL 从环境特定的 Model 学习扩展到预训练通才世界模型，使世界模型不再只是策略改进的代理，而成为封装广泛物理先验的 Foundation。

MBRL 中的 Sim2Real 鸿沟

MBRL 方法部署到真实世界具身系统时面临的一个根本障碍是 Sim2Real 鸿沟，即 \(\widehat P_\theta\) 学到的动力学与目标环境真实物理动力学 \(P^\star\) 之间的差异。在 MBRL 中，这一鸿沟表现为两个层面：其一，\(\widehat P_\theta\) 学习不完美造成的Model 偏差，即使在训练分布内也会引入系统性预测误差；其二，分布偏移，即部署期间策略 \(\pi_\phi\) 访问的状态偏离 Model 训练时遇到的状态，导致学习到的 Model 进行不可靠外推 (Janner et al., 2019; Ross et al., 2011)。我们可以从 Model 差异和策略部署的视角来表述这一问题。

我们把缩小鸿沟的方法概括为：提高 Model 利用期间的保真度，或提高策略执行期间的鲁棒性。DreamZero (Ye et al., 2026) 对该问题采取了最直接的方法。通过在由大规模真实世界视频数据训练的预训练视频 Diffusion 骨干上构建世界模型，DreamZero 的动力学先验锚定于真实物理观测，而不是模拟观测。然而，DreamZero 并未从理论角度真正解决协变量偏移和复合误差，只是通过技术手段减轻了它们。不过，这种范式在若干方面也存在局限：1）预训练期间计算开销较大，但仍远低于动态或灵巧操作任务所需的高频控制速率；2）在具身体层面高度依赖数据，因为它依靠从完整真实世界数据中学习；3）行动预测质量从根本上与视频生成质量绑定；4）当前 Framework 不支持多具身体联合训练，限制了跨具身体泛化的可扩展性。

由于 MBRL 智能体拥有显式预测 Model，它们也能对探索问题给出一种有原则的回答：寻找 Model 出错的经验。好奇心驱动探索通过把 Model 误差或 Model 不确定性转化为内在奖励来落实这一点。Intrinsic Curiosity Module 等预测误差方法根据智能体在学习特征空间中的前向 Model 惊讶程度给予奖励 (Pathak et al., 2017)，Random Network Distillation 则为状态新颖性提供稳健代理 (Burda et al., 2019)。信息论形式把探索重新表述为对动力学的主动学习，奖励有关 Model 参数的期望信息增益 (Houthooft et al., 2016)；Plan2Explore 表明，智能体可以利用世界模型规划如何获得惊讶，寻找潜在动力学 Model 集成存在分歧的状态，从而学习与任务无关、可 Zero-shot 迁移到下游奖励的世界模型 (Sekar et al., 2020)。因此，内在奖励在世界模型研究议程中扮演双重角色：它既是获取互联网视频无法提供的稀疏具身交互数据的机制，也是 Model 自身指导数据收集、继而改进自身的早期案例——这种自我改进回路贯穿本文讨论。

4.3　在世界模型内部学习策略

在转向如何把想象未来转化为行为之前，有必要明确一个结构性区别，它把经典 MBRL 与上文介绍的 WAM 范式区分开来。如前文的形式化描述，传统 MBRL 将 Model 学习与策略优化解耦：首先通过最小化状态预测似然（动力学学习损失公式），拟合显式转移 Model \(\widehat P_\theta\) 以近似 \(P^\star\)；随后才通过后台规划、决策时搜索或想象 rollout 上的 Actor—Critic 学习来利用该 Model，以改进一个独立参数化的策略 \(\pi_\phi\)。WAM 偏离这种两阶段方法，把动力学预测与行动生成耦合在单一生成过程中，并从视频—行动数据中联合学习，而不是使用专门的 \((s,a,s')\) 转移目标 (Ye et al., 2026; Wang et al., 2026)。在 WAM 中，预测未来状态与实现该未来的行动被共同建模——可以通过先想象未来再推导行动的级联分解，也可以通过状态与行动的完全联合分布 (Ye et al., 2026)——因此在系统层面，“Model”与“策略”之间不再有清晰分界。

这种架构转变以一组优势换取另一组优势。解耦式 MBRL 保留了可检查、可替换的动力学 Model，其训练目标可以具有决策感知能力 (Grimm et al., 2020; Farahmand, 2017)，认识不确定性也可以被显式量化并用于保守规划 (Chua et al., 2018; Janner et al., 2019)；但它也更容易受到预测似然与下游控制性能之间目标不匹配的影响 (Lambert et al., 2020)，而且其动力学 Model 通常针对特定任务和具身体，对现有物理数据中占主导地位的互联网规模、基本无行动视频几乎无能为力。相反，WAM 直接继承视频—行动预训练中的广泛物理先验，并已被证明可支持 Zero-shot 任务泛化和 Few-shot 具身体适配，同时维持实时闭环控制 (Ye et al., 2026)；代价则是失去解耦式 Model 学习提供的模块化与校准不确定性：联合形式让动力学误差与策略误差更难分离，预测行动的保真度与底层视频生成骨干的保真度绑定；并且如上所述，当前实例在具身体层面仍然相对依赖数据，也不适合基于集成或不确定性的 MBRL 所提供的那类有原则的 OOD 检测。

世界模型只有在其内部未来能够转化为行动时，才会对具身智能有用，而不只是在它能预测未来观测时。这使重点从经典 MBRL 中的 Model 利用，转向在 Model 表示空间内部学习策略。Dreamer 家族是典型示例。Dreamer 学习循环状态空间 Model（RSSM），把观测历史压缩为随机潜变量，预测奖励和延续性，并在候选行动下展开潜在轨迹 (Hafner et al., 2020; 2021; 2023)。Actor 和 Critic 网络在这些想象轨迹上训练：价值估计提供长时域学习信号，Actor 则把规划摊销成反应式策略。因此，Model 不只是合成数据生成器；它定义了行为改进所依赖的状态抽象、想象时域和可传递梯度的接口。DreamerV2 与 DreamerV3 进一步表明，这一方法可以借助离散潜变量、稳健的奖励／价值变换，以及跨多样领域基本固定的超参数，从连续控制扩展出去。

在具身 Foundation Model 中，同一个问题以不同接口重新出现：策略应直接解码行动，还是应让行动以显式未来预测为落点？RT-2 等视觉—语言—行动（VLA）Model (Zitkovich et al., 2023) 通过把机器人行动表示为以图像和语言为条件的输出 Token，扩展预训练视觉—语言 Model。它们的优势是语义迁移：网络规模预训练帮助机器人解释机器人 Dataset 中罕见的物体、指令和关系。然而，把行动连接到未来后果的物理动力学，大多仍隐含在行动 Token 映射中。世界行动模型（WAM）把这一通道显式化。按照具身世界模型可以充当数据引擎、策略评估器、规划模块或设备端机器人“大脑”的观点 (Shang et al., 2026)，WAM 联合预测未来感知状态和行动，把视频视为物理变化的稠密载体。DreamZero 是这一范式的范例：它建立在预训练视频 Diffusion 骨干之上，共同生成未来视频和机器人行动，因此策略成为想象世界演化的读出，而不只是直接模仿 Head (Ye et al., 2026)。简言之，VLA 问“在这条指令和这份观测之后，应当接哪个行动 Token？”，WAM 则问“应当出现什么未来，以及什么行动序列能实现它？”

因此，在世界模型内部学习策略与 MBRL 相邻，但范围更广。MBRL 提供了决策理论基础：预测 Model 应当改进控制。本小节强调该思想的架构演化：从 Dreamer 中针对特定任务的潜在想象，到 VLA 中的 Foundation Model 策略，再到预测与行动生成相耦合的 WAM。同样的风险依然存在——Model 偏差、复合误差、延迟和分布偏移——但世界模型从辅助性的转移近似器，转变为策略得以表示、优化和泛化的计算基底。

4.4　想象链：通过世界模型进行推理

经典世界模型把想象用作规划基底：智能体把经验压缩为潜在状态，rollout 可能未来，并在学习到的模拟器内优化行动或价值 (Ha & Schmidhuber, 2018; Hafner et al., 2020; Schrittwieser et al., 2020)。想象链（CoI）标志着一次更鲜明的转变。世界模型不再只是由外部规划器查询的模拟器，而成为推理本身展开的计算介质。在这种观点中，思维不一定是一句话；它可以是学习动力空间中以行动为条件的转移。

这种重构由潜在推理推动。思维链 Prompt 表明，中间计算可以使困难推断变得可处理 (Wei et al., 2022)，但自然语言是具身决策的低效基底：它把几何、动力学、不确定性和可供性串行化为 Token，而这些 Token 与控制的耦合可能仍然很弱。Coconut 允许 LLM 把连续隐藏状态作为“连续思维”反馈给自身，避免过早承诺离散文本，并在潜在空间中保留尚未解决的替代方案，从而明确揭示这一表示问题 (Hao et al., 2024)。对具身智能体而言，类似的工作空间是时空信念状态：

当前时空信念状态

\[\mathbf{z}_t=E_\eta(\mathbf{o}_{\le t},\mathbf{a}_{

它在策略承诺行动前，总结当前场景、交互上下文和不确定性。

因此，通用 CoI 轨迹应当区分审慎推理深度与假设多样性。令 \(B_t\) 表示想象分支数量，\(K_b\) 表示分支 \(b\) 的 rollout 深度，则：

想象链轨迹

\[\mathcal{C}_t=\left\{\left[(\mathbf{a}_{b,1},\widehat{\mathbf{z}}_{b,1\mid t}),\ldots,(\mathbf{a}_{b,K_b},\widehat{\mathbf{z}}_{b,K_b\mid t})\right]\right\}_{b=1}^{B_t},\qquad \widehat{\mathbf{z}}_{b,k\mid t}=W_\theta(\widehat{\mathbf{z}}_{b,k-1\mid t},\mathbf{a}_{b,k}),\quad \widehat{\mathbf{z}}_{b,0\mid t}=\mathbf{z}_t,\]

最终决策同时以当前信念和想象反事实为条件：

基于想象链的最终决策

\[\widehat{\mathbf{a}}_t=\pi_\phi\!\left(\mathbf{z}_t,\operatorname{Agg}_\psi(\mathcal{C}_t)\right).\]

这一抽象捕捉了 CoI 的本质：推理是由想象的行动—后果对构成的结构化集合，而不是事后生成的语言理由。

近期系统实例化了这一设计空间中的不同位置。MineDreamer 提供了 CoI 的视觉形式：它逐步想象目标图像，并把它们用作低层控制的视觉 Prompt，使中间想象可以直接转化为行动 (Zhou et al., 2024)。LCDrive 把这一思想带入端到端驾驶的紧凑潜在空间。它的潜在 CoT 交错排列行动提议 Token 与潜在世界模型预测 Token，使每个候选机动在最终轨迹解码前，都通过其预测后果接受评估 (Tan et al., 2025)。关键在于，提议 Token 与策略共享行动词表，而世界模型 Token 让轨迹以反事实动力学为落点；因此，推理与控制在表示层面对齐，而不是通过事后解释连接。FutureX 增加了一条系统层原则：审慎推理应当按需分配，而不是盲目耗费。它的 Auto-think Switch 让常规场景通过即时策略处理，只在困难场景中激活潜在世界模型 rollout，此时由汇总器利用想象未来潜变量改进初始轨迹 (Lin et al., 2025)。更一般地说，自适应 CoI 可以被视为学习：

自适应推理预算

\[(B_t,K_t)=\rho_\omega(\mathbf{z}_t),\]

使推理预算由风险、不确定性、交互复杂性和延迟约束支配。

因此，CoI 是思维链推理与世界模型想象的汇合。CoT 提供审慎的中间计算，世界模型提供有落点的反事实动力学，CoI 则把两者融合为想象行动与后果的时空链。它的训练目标不应奖励听起来合理的解释，而应奖励能改进决策的内部未来。高质量 CoI 需要潜在未来监督、行动—推理一致性、轨迹级或奖励级反馈、不确定性校准和选择性计算。它的核心风险同样明确：未经校准的世界模型会把推理变成结构化幻觉。CoI 的前景不在于智能体能更好地解释行动，而在于它们会使用自身必须借以行动的同一组变量来思考。

4.5　物理信息与约束学习

与纯数据驱动世界模型学习互补的一个方向，是把物理结构直接注入学习过程。动机很直接：世界模型不应只生成看起来合理的未来，还应产生在物理世界规律下保持可容许的轨迹。这些规律可以采取微分方程、守恒定律、边界条件、物体恒存性、接触约束、稳定性要求或已知因果机制的形式。从这个意义上说，物理信息学习提供了一种归纳偏置，把假设空间从所有统计上可能的未来，缩小到同时具有物理连贯性的未来。

然而，物理知识的嵌入方式千差万别，它所提供的保证强度以及在 Model 内起作用的位置也不相同。按照结构承诺逐渐增强，可以把现有方法组织为三个层级：基于惩罚的（软）约束，把物理规律编码为辅助损失项；基于架构的（硬）约束，把物理定律内置到 Model 中，使其由构造天然成立；以及物理—学习混合方案，在双通路设计中把可微物理引擎与学习组件耦合起来。这些层级在灵活性与所得 Model 的可靠性及 OOD 行为之间进行权衡。

基于惩罚的（软）约束

最常见且侵入性最低的方法，是把物理残差作为软惩罚加入训练目标。通用目标可以写为：

物理约束训练目标

\[\mathcal{L}=\mathcal{L}_{\mathrm{pred}}+\lambda_{\mathrm{dyn}}\mathcal{L}_{\mathrm{dyn}}+\lambda_{\mathrm{cons}}\mathcal{L}_{\mathrm{cons}}+\lambda_{\mathrm{bc}}\mathcal{L}_{\mathrm{bc}},\]

其中，\(\mathcal{L}_{\mathrm{pred}}\) 衡量观测或潜在空间中的预测误差，\(\mathcal{L}_{\mathrm{dyn}}\) 惩罚对已知运动方程的违反，\(\mathcal{L}_{\mathrm{cons}}\) 强制守恒或不变性属性，\(\mathcal{L}_{\mathrm{bc}}\) 编码边界、接触或可行性约束。这一形式与物理信息神经网络（PINN）密切相关；PINN 使用神经函数近似器，同时以控制方程和边界条件对其进行正则化 (Raissi et al., 2019)。对世界模型而言，同一思想不仅可以应用于连续物理场，还可以应用于潜在状态转移、物体轨迹、接触事件和行动条件 rollout。由于物理规律只作为加权惩罚进入，约束是被鼓励而非被保证的：该方法很容易附加到几乎任何可微 Model 上，但当惩罚被数据项压过时，预测轨迹仍可能违反目标定律；而对尺度和优化刚度不同的各项平衡乘子 \(\lambda\)，往往也很棘手。

基于架构的（硬）约束

一种更强的物理信息学习形式，是把约束构建进架构，而不是把它当作附加损失，使相关物理定律由构造天然满足。Hamiltonian、Lagrangian、Symplectic 和 Port-Hamiltonian 神经网络不直接预测任意状态更新，而是参数化能量函数或结构化动力系统，并从中推导演化规律，使能量或动量在积分误差范围内精确守恒 (Greydanus et al., 2019; Cranmer et al., 2020; Zhong et al., 2020)。同样，基于图的神经模拟器把粒子、网格或物体表示为节点，把物理交互表示为边，从而编码局部性与关系交互，把平移不变性和成对交互结构内置进 Model (Sanchez-Gonzalez et al., 2020; Pfaff et al., 2021)。这种保持结构的设计对长时域预测特别有吸引力，因为无约束 rollout 误差常常累积为物理上不可能的状态，而把不变量编码进架构可以减少能量漂移、提高稳定性，并改善训练分布之外的泛化。代价是灵活性降低，并且依赖假设结构的正确性：编码错误不变量的硬约束会以软惩罚不会出现的方式使 Model 带上偏差。

物理—学习混合方案

第三条路线在双通路设计中把显式可微物理引擎与学习式神经组件耦合，结合前两个层级的优势。当部分底层物理规律已知时，可以把可微模拟器嵌入世界模型，使梯度穿过物理状态更新、碰撞处理或控制目标 (de Avila Belbute-Peres et al., 2018; Hu et al., 2020; Freeman et al., 2021)。学习随后聚焦未知或难以建模的组件，例如摩擦、阻力、执行器延迟、可变形接触、材料参数或残余 Sim2Real 鸿沟。这种混合策略通常比从头学习整个转移函数更节省数据：解析物理提供粗粒度因果骨架，神经组件补偿 Model 不匹配。在具身环境中，这一点特别有价值，因为真实交互数据昂贵，而微小预测误差就可能导致不安全或无效的规划。实践中，本层级与上一层级的边界并不清晰：当控制形式只部分已知时，Lagrangian 和 Hamiltonian 网络等基于架构的组件可以在混合方案中充当解析通路。

然而，对视觉世界模型而言，物理规律提供信息但并不完整。原始观测包含光照、纹理、遮挡、相机运动、背景杂乱，以及其他本身并非物理状态组成部分的因素。因此，直接在像素空间中强制物理定律可能过于严格。更合适的策略，是约束与行动相关物理量对应的潜在变量，同时让与外观相关的因素交给更灵活的生成组件。这意味着一种分层设计：感知模块从观测推断紧凑物理状态；结构化动力学模块在行动下演化这些状态；渲染或解码模块把潜在状态映射回观测。在这种设计中，物理约束无需解释每个像素，但应当规训对预测、干预和控制至关重要的变量。

物理信息学习还澄清了视觉合理性与物理正确性之间的重要区别。视频预测 Model 可能生成看似真实的帧，却仍违反物体恒存性、动量、接触一致性或对行动的因果响应。反过来，具有物理结构的 Model 可能准确预测粗粒度轨迹，却产生视觉上不完美的图像。这种张力是世界模型的核心：Model 最终必须同时支持高保真感知和可靠物理推理。因此，物理信息与约束学习不应被视为大规模自监督的替代品，而应被视为使学习表示与规划和决策所需不变量对齐的机制。

尽管前景良好，约束学习也带来自身困难。软物理惩罚可能很难与重建或预测损失平衡，尤其当不同项具有不同尺度或优化刚度时。假设结构正确时，硬约束可以改善外推；但先验不完整或错误时，也可能使 Model 带上偏差。真实世界系统还涉及部分可观测性、不连续接触、隐藏材料属性、耗散、多物理场耦合和随机外部扰动，这些都使精确物理建模变得困难。因此，核心问题不在于世界模型应当纯数据驱动还是基于物理，而在于应在何处、以多强的程度施加物理结构。

最可能的前进道路因而是混合式的。未来世界模型很可能从广泛观测与交互数据中学习，同时在可靠性最重要的层面选择性施加物理约束：潜在状态表示、转移动力学、数值积分、接触处理和规划时可行性。按照这种观点，物理信息学习不只是提高预测准确度的技术，也是在世界模型部署到物理世界时，使其更具因果性、更可解释且更可信的方法。

4.6　反事实推理

传统世界模型回答预测问题：给定当前情况，在不同行动下哪些未来是合理的？反事实推理提出一个更尖锐、更具诊断性的问题：给定实际发生的 Episode，如果某个决策不同，在同一个 Episode 中会发生什么？从这个意义上说，反事实推理把世界模型从可能未来的模拟器，转变为因果归因工具。关键不是简单生成另一条合理 rollout，而是在只对所分析决策进行外科式改变的同时，重放同一个世界。

这一思想可以使用结构因果 Model 形式化：

结构因果 Model

\[\mathcal{M}_{\mathrm{SCM}}=(\mathcal{U},\mathcal{V},\mathcal{F},P_{\mathcal{U}}),\]

其中，\(\mathcal{U}\) 表示外生背景变量空间，\(\mathcal{V}\) 表示 Model 内部的内生变量，\(\mathcal{F}\) 表示决定变量如何相互影响的机制，\(P_{\mathcal{U}}\) 表示潜在情境的分布。像 \(Y_x(u)\) 这样的反事实意味着：保持同一背景情境 \(u\)，用干预 \(X=x\) 替换 \(X\) 的机制，然后询问 \(Y\) 在修改后的 Model \((\mathcal{M}_{\mathrm{SCM}})_x\) 中会取什么值。观测到事实证据 \(E=e\) 后，相应查询为：

事实证据下的反事实查询

\[\mathbb{P}_{\mathcal{M}_{\mathrm{SCM}}}(Y_x\mid E=e)=\int\mathbb{P}_{(\mathcal{M}_{\mathrm{SCM}})_x}(Y\mid U=u)\,p_{\mathcal{M}_{\mathrm{SCM}}}(u\mid E=e)\,du.\]

这个公式只是三步程序的形式化版本：推断哪些隐藏情境造成了事实 Episode；通过干预改变一个机制；随后在保持所推断背景不变的情况下预测后果 (Pearl, 2009; Rubin, 1974)。

这通常被称为“溯因—行动—预测”管线。溯因重建观测轨迹背后的潜在情境：隐藏状态、未观测上下文、物理参数、随机噪声或其他智能体的意图。行动执行外科式编辑，例如把事实行动 \(A_t=\mathbf{a}\) 替换为 \(do(A_t=\mathbf{a}')\)。预测在同一组经溯因得到的情境下向前 rollout 编辑后的 Model。因此，反事实不是询问行动 \(\mathbf{a}'\) 之后通常会发生什么，而是询问在这里、在这一次 Episode 中，如果选择了 \(\mathbf{a}'\)，会发生什么。这就是为什么一般而言：

反事实与条件预测并不等价

\[\mathbb{P}(Y_{\mathbf{a}'}\mid E=e)\neq\mathbb{P}(Y\mid A_t=\mathbf{a}',E=e).\]

右侧与其他恰好采取了 \(\mathbf{a}'\) 的 Episode 比较；这些 Episode 可能具有不同的状态、目标、噪声、对手或环境。左侧则保持事实世界不变，只改变决策 (Pearl, 2009; Pawlowski et al., 2020)。

这种区别在实践中的重要性就是同一世界约束。在两个行动下产生两条视觉上合理 rollout 的 Model，如果两条 rollout 的隐藏背景因素不同，仍然不能作为反事实 Model。例如，评估机器人抓取时，改变抓取方向应当改变物体后续运动，而不应改变其质量、身份、光照或摩擦。如果这些背景因素悄然改变，Model 就没有分离决策效果，而是改变了世界本身。因此，真正的反事实对比采取如下形式：

同一背景下的反事实对比

\[\Delta_Y(\mathbf{a}',\mathbf{a}\mid E=e)=\mathbb{E}_{\mathcal{M}_{\mathrm{SCM}}}\!\left[Y_{\mathbf{a}'}-Y_{\mathbf{a}}\mid E=e\right],\]

这里的差异归因于决策，因为潜在情境保持固定。这类对比是因果信用分配、后悔分析、策略调试、离策略解释和安全评估的核心。

这一视角还澄清了为什么反事实世界模型需要的不只是准确的下一步预测。观测预测可以学习某些事件往往跟随另一些事件，却无法独自决定在同一潜在情境下采取另一行动会发生什么。为了支持反事实推断，Model 不仅要学习时间规律，还要学习把可操纵变量、稳定机制和干扰上下文分开的因果结构。干预或带有行动标签的数据有助于区分 \(P(Y\mid A)\) 与 \(P(Y\mid do(A))\)；成对模拟和反事实数据增强提供直接的同上下文对比；不变表示目标则鼓励 Model 从变化背景条件中分解出稳定因果机制 (Schölkopf et al., 2021; Pitis et al., 2022; Richens & Everitt, 2024; Gupta et al., 2024)。溯因步骤尤其重要：如果没有针对外生因素的校准后验，所谓反事实 rollout 只是在因果语言包装下进行的条件生成。

其局限同样根本。一般而言，仅凭观测准确性无法识别反事实。多个结构 Model 可以在观测分布上相符，有时甚至在干预分布上相符，却对 \(Y_x\) 等反事实量得出不同结论，因为它们对事实世界与假设世界之间的耦合进行了不同编码。深度生成参数化不会消除这种歧义。单调性、可逆性、模块化、已知机制或足够丰富的干预等假设，都是结构性承诺，不是规模增大就会自动产生的结果 (Bareinboim et al., 2022; Nasr-Esfahany et al., 2023)。因此，具备反事实能力的世界模型应把反事实有效性视为语义约束，而不只是视觉或预测约束。它必须保留事实证据，保持外生身份固定，只修改受到干预的机制，遵守因果支持，并避免不可能或 OOD 的行动。当这些条件无法验证时，适当的输出不是一条信心十足的想象轨迹，而应是不确定性、边界，或对所假设因果结构的敏感性。

4.7　长时域与层级规划

世界模型让长时域规划变得可处理，并不是因为它 rollout 得更远，而是因为它改变了规划单位。对原始行动进行平面规划会面对指数级分支、薄弱的信用分配，以及被优化器放大的 Model 误差。因此，有用的世界模型会学习可控性的决策几何：哪些潜在区域可达、哪些转移可靠、哪些事件应成为子目标。在部分可观测性下，这一几何由循环信念承载，并通过紧凑潜在动力学想象：

信念世界模型

\[b_t=\mathcal{B}_\theta(b_{t-1},\mathbf{a}_{t-1},\mathbf{o}_t),\qquad \widehat{\mathbf{z}}_{t+1\mid t}\sim\widehat p_\theta(\cdot\mid\mathbf{z}_t,\mathbf{a}_t),\]

从而把规划转化为信念上的反事实搜索。这连接了 Dyna 风格模拟与 World Models、PlaNet、Dreamer 和 MuZero 风格的价值等价规划；在这些方法中，Model 的效用取决于它能否保留奖励、价值、可达性和行动相关因果结构 (Sutton, 1991; Ha & Schmidhuber, 2018; Hafner et al., 2019; 2020; Schrittwieser et al., 2020)。

层级规划把这种几何变成时间分解。经典 Options 和 MAXQ 形式化了时间扩展行动与价值分解；现代世界模型智能体则学习目标空间本身 (Sutton et al., 1999; Dietterich, 2000)。高层策略选择潜在子目标、技能或瓶颈状态，低层策略通过反馈控制实现它们：

层级策略

\[\mathbf{g}_k\sim\pi_{\mathrm{hi}}(\cdot\mid b_{t_k},\mathbf{m}_{t_k}),\qquad \mathbf{a}_t\sim\pi_{\mathrm{lo}}(\cdot\mid b_t,\mathbf{g}_k),\quad t_k\le t

收益不只是 rollout 变短，而是搜索问题熵更低：当每次承诺对应一个可执行闭环技能时，\(H\) 个原始行动被替换为 \(K\ll H\) 个抽象承诺。Director 通过从像素规划潜在目标来实现这一思想，THICK 则展示了层级世界模型如何揭示多时间尺度、可解释的时间抽象 (Hafner et al., 2022; Gumbsch et al., 2024)。无法执行的子目标不是抽象，而是由 Model 诱发的虚构。

记忆提供时间连续性。工作记忆在信念状态中维持隐藏变量、指令、承诺和近期失败。情景记忆检索具体轨迹——罕见成功、死路和地标转移——以初始化子目标、约束 rollout 或提供非参数价值证据。MERLIN、Neural Episodic Control、GEM 和 R2I 展示了用于决策的互补预测记忆、情景记忆和序列级记忆形式 (Wayne et al., 2018; Pritzel et al., 2017; Hu et al., 2021; Samsami et al., 2024)。因此，记忆不是辅助缓存，而是对规划器可以把什么视为可能的约束。

主要失败模式是 Model 设定错误下的幻觉式规划。由于规划在学习到的 Model 内优化，它会主动搜索 Model 误差：策略可能在想象中最优，在环境中却不可行或不安全。一项诊断指标是时域受限的价值差：

Model 设定错误造成的时域价值差

\[\Delta_H(\pi_\phi;b_t)=\left|V_{\widehat p_\theta,H}^{\pi_\phi}(b_t)-V_{P^\star,H}^{\pi_\phi}(b_t)\right|,\]

当 rollout 离开数据支持区域时，该差值可能增长。层级结构缩短 rollout，并允许在子目标边界重新规划；但如果抽象转移没有根据真实执行进行校准，它也会放大幻觉。因此，稳健智能体把想象视为建议机制而不是预言机：rollout 长度、价值扩展、不确定性、情景检索、可行性检查和在线修正都必须把想象未来锚定于经验 (Talvitie, 2017; Aminmansour et al., 2020)。世界模型不会消除规划风险；它只是把风险转移到表示、记忆与校准中。

SECTION 5

5　应用领域

5.1　机器人与具身 AI

在机器人系统中，世界模型扮演多种互补角色：它们可以充当用于策略评估和规划的预测模拟器、从大规模观测中捕捉任务相关动力学的表示学习器，并且越来越多地充当为下游策略训练生成合成经验的数据引擎。这些能力在具身环境中尤其重要，因为收集真实世界交互数据成本高昂，而智能体必须跨多样任务、环境、物体和具身体进行泛化。

生成建模的近期进展显著拓宽了机器人世界模型的范围和效用。受到大规模视频生成 Model 成功的启发 (Rombach et al., 2022)，越来越多的工作超越紧凑潜在状态预测，转向基于视频的世界建模：显式生成未来视觉观测，并将其用于决策。此类 Model 已被用于机器人操作、导航、策略评估、强化学习和合成数据生成，利用大规模视频 Dataset 所编码的丰富时空知识。在这一趋势之上，近期世界行动模型（WAM）在统一生成 Framework 中联合建模未来观测和机器人行动 (Hu et al., 2024; Ye et al., 2026)。WAM 不把规划和控制当作独立阶段，而是学习未来世界状态与行动的联合分布，使行动预测直接受益于学习到的环境动力学。代表性工作表明，把世界建模目标与行动预测结合，可以提高样本效率、鲁棒性、跨具身体迁移能力，以及对新任务和新环境的泛化。更重要的是，通过继承互联网规模视频预训练中的视觉和物理先验，WAM 指明了一条通向可扩展具身智能的有前景路径，使生成式世界建模的进步可以直接转化为机器人能力提升。因此，人们越来越不把世界模型仅视为规划模块，而是将其视为为未来具身智能体整合感知、预测、模拟与行动生成的统一 Framework。

除了 WAM 所体现的统一感知—预测—行动形式外，还可以沿三条互补轴线更清晰地划分世界模型对机器人系统的功能贡献；这些轴线的区别在于：预测未来在具身智能体管线中的何时、以多大计算预算被使用。

数据引擎

在离线范式中，学习到的世界模型可以脱离实时控制反复接受查询，合成大量视觉和物理上合理的交互数据，以补充或替代成本高昂的遥操作演示。近期的组合式和具身体感知世界模型具体展示了这一角色：RoboDreamer 把语言条件视频生成分解为可复用原语，为物体与行动的未见组合合成规划 (Zhou et al., 2024)；UniSim 则把异构图像、机器人和导航数据编排成通用交互模拟器，高层和低层策略都可以在 Zero-shot 迁移到真实世界之前，纯粹在想象中接受训练 (Yang et al., 2024)。

环境模拟器

Model 不再生成训练数据，而是在评估时接受查询，通过 rollout 所预测的后果，为候选策略、行动序列或超参数打分和排序，从而在部署前降低物理试错成本与风险。这一思想可以追溯到 Ha 和 Schmidhuber 最初的 World Model；其中，策略完全在学习到的“梦境”环境中训练和评估，随后才迁移回真实环境 (Ha & Schmidhuber, 2018)。在机器人与驾驶环境中，MILE 联合学习世界模型和驾驶策略，使复杂机动可以纯粹通过想象规划和评估，再在 CARLA 模拟器中验证 (Hu et al., 2022)；ReSim 则明确以这种计算机模拟评估的可靠性为目标，解决仅使用安全专家数据训练的驾驶世界模型在危险或非专家行为上失败的倾向 (Yang et al., 2025)。另一条互补的非生成路线通过高保真渲染模拟，而不是学习动力学，来追求同一功能目标：SIMPLER 表明，精心构建的模拟环境可以充当可扩展、可复现的真实世界操作策略评估代理，在避免物理测试成本和复现性问题的同时，与真实机器人性能保持高度相关 (Li et al., 2024)。

行动规划器

第三种角色把世界模型直接嵌入控制回路，使它在物理部署的实时约束下，以低延迟在线接受查询，推断以候选行动为条件的合理近期状态，从而支持滚动时域或基于想象的规划。DayDreamer 是这一范式的早期实例：它学习潜在动力学并直接控制物理四足机器人和操作器，无需借助外部模拟器 (Wu et al., 2022)。

具身体世界模型

上文综述的角色都涉及以智能体行动为条件，对外部环境的动力学建模。另一条正交且相对探索不足的路线，则以智能体自身的具身体为目标：它不预测给定行动后世界会发生什么，而是询问智能体自身身体能产生哪些行为，以实现目标或满足控制目标。近期提出的 Behavior Foundation Model（BFM）是面向人形机器人全身控制的这一方向范例 (Zeng et al., 2025)。BFM 的动机是观察到，现有全身控制 Framework 大多针对特定任务，依赖劳动密集型奖励工程；它在大规模行为数据上预训练，将掩码在线蒸馏 Framework 与条件变分自动编码器结合，对广泛、可复用的人形机器人可行行为分布建模，随后可以在多种控制模式下引导该分布，或无需从头重新训练便快速适配新行为。世界模型编码外部场景如何演化的生成先验；BFM 及相关行为 Foundation Model 则编码具身体自身受形态约束的技能流形的生成先验，它更类似于内部身体图式，而不是外部场景 Model。

我们主张，这两类生成先验——一类针对世界，一类针对身体——互补而非竞争；对于既要预期环境后果、又要知道自身身体能做什么的通用具身智能体，整合二者构成了一个有前景且基本开放的方向。

驾驶模拟器

已经出现了一类驾驶世界模型，它明确把驾驶场景的演化表述为以历史观测和自车行动为条件，对未来感知观测进行条件生成的问题。GAIA-1 根据视频、文本和行动输入联合生成逼真的未来驾驶视频，表明大规模视频—行动预训练赋予 Model 对交通惯例和交通参与者动力学的隐式理解，使其还能充当生成训练与验证数据的神经模拟器 (Hu et al., 2023)。DriveDreamer 完全由真实世界驾驶情景构建世界模型，利用 Diffusion Model 表示结构化交通约束，既支持可控视频生成，也支持未来驾驶行动预测 (Wang et al., 2023)。Vista 又进一步把这一范式扩展到跨异构行动表示的通用、高保真预测和多样可控性，明确针对早期驾驶世界模型对未见环境泛化有限以及安全关键细节损失的问题 (Gao et al., 2024)。在这些系统中，时间维度不是附带因素，而是构成要素：自动驾驶必须同时推理短时域反应预测（例如即将发生的碰撞规避）与面向路线级决策的长时域轨迹预测；驾驶世界模型在学习到的潜在或像素空间中，通过自回归 rollout 摊销两者。按照这种观点，场景预测和轨迹预测不是独立子模块，而是同一底层预测基底在时间上耦合的两种实例；它们在显式生成且时间扩展的 Framework 中，重新获得了 UniAD 最早突出显示的联合感知—规划目标。

5.2　科学发现

图8：世界模型在科学发现中的应用 — **图 8：世界模型在科学发现中的应用**世界模型在科学发现中的应用。

世界模型已经成为支撑 AI for Science（AI4S）的基础范式，使科学发现平台得以由智能全面驱动升级和优化 (Wang et al., 2026)。这些 Model 提供系统化数字 Framework，对客观世界的底层动力学、物理定律和运行原理进行建模，以两种高度互补的方式促进科学发现：赋能自主实验系统，以及充当复杂科学现象的预测基础。

第一，世界模型与 AI 智能体、机器人仪器和实验反馈整合，支持 AI 驱动的自主实验室 (Szymanski et al., 2023; Wei et al., 2025; Wu et al., 2025)。它们跨越复杂机器人操作和动态仪器状态变化等关键模态，通过协同闭环机制与认知型大语言 Model 共同运行。从真实世界平台部署中产生的海量实验数据流会被持续回收，以迭代训练和改进世界模型。由此形成双向、应用驱动的范式：物理执行提高 Model 准确性，Model 模拟则赋能实际执行。在湿实验室环境中，这种整合显著提高具身系统的运行效率，使预测性的计算机内 rollout 能够在执行前预见程序和安全风险，从而降低危险并稳定工作流 (Lewis & Zueco, 2026)。

第二，世界模型通过学习科学状态如何在不同条件或干预下演化，充当预测基础。它们把具身 AI 中的“状态 + 行动 \(\rightarrow\) 下一状态”概念扩展到科学领域，此时目标变为建模“科学状态 + 干预／条件 \(\rightarrow\) 未来状态／响应”。Intern-S1 (Bai et al., 2025)、Intern-S1-Pro (Zou et al., 2026) 和 Intern-Discovery 等科学 Foundation Model 与发现平台日益支持这一角色，提供推理、多模态理解、工具使用和工作流基础设施。同时，特定领域的预测世界模型正在各学科出现。在天气和气候领域，GraphCast (Lam et al., 2023)、GenCast (Price et al., 2025)、FengWu (Chen et al., 2023) 和 FengWu-W2S (Ling et al., 2024) 等 Model 把地球系统视为高维动力状态，并学习其未来演化。医学与生命科学中也出现了类似进展：Medical World Model (Yang et al., 2025) 模拟以治疗为条件的肿瘤演化，Delphi-2M (Shmatko et al., 2025) 则建模长期疾病进程。

最终，世界模型通过描绘超越现有人类认知边界的自然规律，推动前沿科学发现。它们借助符合物理规律的前向推演和反事实分析，分离潜在研究路径并启发新假说。这种能力不仅降低真实世界实验成本、加速闭环迭代，还使研究者能够探索难以直接观测的复杂过程，保障 AI4S 生态的长期演化与突破。

SECTION 6

6　开放挑战与瓶颈

世界模型代表了物理 AI 的决定性前沿，但它们迈向真正自主性的轨迹，从根本上受到感知合成与物理执行之间系统性割裂的限制。当前范式能够毫不费力地在互联网规模的被动视觉数据上扩展，却在面对真实世界的交互式、安全关键约束时依然极其脆弱。本节从整体视角分解世界模型面临的开放挑战：从使 Model“视觉丰富但物理盲目”的结构性数据不对称，到表面保真度与可行动精确性之间的分歧，再到开环 rollout 中不断累积的漂移。我们主张，要突破这些瓶颈，需要一次根本性的范式转变——超越仅仅作为生成式渲染器的世界模型，转向有物理落点的模拟器和闭环交互规划器。这种转变不仅需要物理感知归纳偏置和持续的环境数据采集，还要求彻底重构评估 Framework、三元安全保证和去中心化治理 Model，使集体智能与局部物理主权能够协调一致。

6.1　数据不对称

在渲染器、模拟器和规划器的功能分类下 (Fei-Fei, 2026)，世界模型面临明显的数据不对称。渲染器可以在互联网规模的图像和视频数据上扩展，推动图像／视频生成快速进步 (Kong et al., 2024; Gao et al., 2025; ByteDance Seed Team, 2026; Alibaba ATH Innovation Unit, 2026)。然而，这类数据大多是被动的、视觉性的：它捕捉世界看起来如何，却只提供有限的行动、物理属性、接触动力学或任务结果监督。

相比之下，模拟器和规划器依赖更结构化、更具可行动性的数据。对模拟器而言，瓶颈在于可用于模拟的 3D 资产。尽管 3D 生成 (Zhao et al., 2025; Hunyuan3D, 2025; Li et al., 2025) 正在迅速增加视觉资产数量，大多数生成物体仍只是“可渲染”，而不是“可物理执行”，通常缺少尺度、材料、碰撞几何、质量、摩擦、关节结构和可供性。PhysX-Anything (Cao et al., 2026) 和 PhysX-Omni (Cao et al., 2026) 等近期研究，以及 Lightwheel (Lightwheel, 2026) 和 Genesis World (Genesis-Embodied-AI, 2026) 等产业平台，都直接针对这一鸿沟；但真实感、非刚性动力学、长尾交互和可扩展性仍是开放挑战。对规划器而言，瓶颈进一步转移到行动条件交互数据，例如机器人演示、状态—行动轨迹和任务结果。Cosmos 3 等近期 Model (NVIDIA Cosmos Team, 2026) 明确把行动序列纳入全模态世界建模，凸显行动条件数据对物理 AI 的重要性；然而，这类数据的可扩展性和透明度远不及互联网视频。合成数据与模拟 (Chang et al., 2017; Savva et al., 2019; Puig et al., 2024; Dosovitskiy et al., 2017; Gan et al., 2020; Gao et al., 2026) 可以部分缓解瓶颈，却会引入视觉、几何、物理、行为和任务层面的分布偏移。这些局限共同构成具身 AI 数据金字塔：底部有丰富的被动视频，中部是数量更少的可模拟资产和交互轨迹，顶部则是稀缺却价值很高的触觉与力反馈。

面对这些系统性局限，需要从根本上改变物理智能摄取世界的方式。认识到现有数据获取方法受到可扩展性边界和分布偏移的固有约束，未来世界模型数据获取架构必须转向普适、非侵入且持续的 Framework。第一，数据采集必须无处不在，利用广泛、异构的收集机制覆盖多样物理环境，充分捕捉长尾情景。第二，摄取管线必须完全非侵入，在后台无缝运行，确保数据采集不会成为人类参与者的负担，也不会打断日常工作流；理想情况下，这种环境式采集还应通过协同式人机合作主动提高运行效率。最后，数据收集必须连续，建立不中断的、永久的真实世界交互反馈回路，实时、动态而迭代地更新底层 Model。

6.2　保真度与精确性

世界模型的一项关键挑战，是感知保真度与物理精确性之间的不匹配。近期 Benchmark 和研究为这种不匹配提供了经验证据。物理推理评估 (Kang et al., 2024; Motamed et al., 2025; Tragoudaras et al., 2025; Meng et al., 2024; Gu et al., 2025; Zheng et al., 2025) 表明，即使视觉质量不断改善，视频生成 Model 在物理定律、守恒约束和 OOD 泛化方面仍然表现不佳。具身 Benchmark (Jiang et al., 2026; Shang et al., 2026) 进一步揭示，视觉逼真的预测不一定转化为物理上合理或可执行的机器人行为，暴露出用于操作和规划的世界模型存在感知—功能鸿沟。

近期工作 (Zhao et al., 2026; Chen et al., 2026; Wang et al., 2025; Lin et al., 2026) 使用物理奖励、偏好对、DPO 风格对齐或结构化物理条件，在保持视觉质量的同时改善物理合理性。然而，当前奖励与偏好信号仍然只是真实物理正确性的不完整代理，尤其无法充分表示细粒度接触、空间一致性和长尾交互。因此，感知保真度与物理精确性之间的鸿沟仍是重要开放挑战。

面对感知保真度与物理精确性的不匹配，需要从保真度优先的生成，转向以物理精确性为中心的世界建模。第一，预训练应加入可扩展且物理信息丰富的监督，把视觉结果与潜在物理状态连接起来，例如 3D 几何、物体运动、接触、力、材料属性和任务结果。第二，后训练应超越视觉偏好对齐，引入衡量约束满足、反事实有效性、长时域稳定性和任务成功的物理奖励与评估。最后，世界模型应通过来自真实或高置信物理环境的闭环反馈进行校准，把预测与实际结果对照检验并迭代改进。目标不只是生成逼真的未来，而是让世界模型预测在物理干预下可行动、可验证且可靠。

6.3　复合预测误差

即使世界模型在局部上准确，长时域部署仍可能因为微小单步误差被递归反馈到未来预测而失败。在自回归 rollout 中，每个预测观测、潜在状态或信念状态都会成为下一步上下文的一部分。因此，几何、速度、接触时机、物体恒存性或隐藏状态估计中的轻微不准确都可能累积，把想象轨迹推出数据流形，最终偏离物理上可实现的行为。长期以来，这种现象一直被认为是模型式强化学习与规划中 Model 偏差的核心来源 (Talvitie, 2017; Lambert et al., 2022)。类似失败模式在视频预测和自回归视频生成中也有充分记录；暴露偏差和时间漂移会降低长时域 rollout 质量 (Nair et al., 2019; Chen et al., 2024; Huang et al., 2025)。它还是一个决策问题，而不只是预测问题：规划器一旦开始针对不完美 Model 优化，就可能利用 Model 误差，为在真实环境中永远不会成功的轨迹赋予高价值；Dyna 风格规划把这种失败模式称为“幻觉价值” (Aminmansour et al., 2020)。在视觉丰富、接触密集的领域，挑战尤其严峻，因为部分可观测性、未来分支和动力学中的尖锐不连续性，使长时间开环 rollout 天生脆弱。

多种缓解策略已证明有用，但没有一种能消除问题。第一条路线是在紧凑潜在状态空间中预测，而不是在原始像素中预测，从而减少无关感知噪声并迫使 Model 聚焦决策相关动力学，PlaNet 和 Dreamer 家族就采用了这种方式 (Hafner et al., 2019; 2020; 2021; 2023)。第二条路线是使用概率动力学 Model、集成和保守 rollout 时域，使规划感知不确定性；这样，行动选择对单条脆弱想象未来的依赖较小，而更多依赖对可能未来经过校准的不确定性 (Chua et al., 2018; Janner et al., 2019; Hansen et al., 2022; 2023)。第三条路线是通过自我修正目标、层级抽象和多尺度规划改善时间一致性；它们周期性地把长时域推理重新锚定到观测证据，而不是无限期信任单条开环 rollout (Talvitie, 2017; Hafner et al., 2022; Gumbsch et al., 2024)。总体而言，这些方法表明，关键目标不只是降低单步预测损失，而是构建这样的世界模型：在真实规划所需的时域内，其误差保持有界、经过校准且与决策兼容。

6.4　Sim-to-Real 迁移

把世界模型部署到机器人系统时，一项根本挑战是学习式模拟与真实世界物理规律之间的鸿沟。世界模型旨在根据数据近似环境动力学，但即使很小的建模误差也会在长时域 rollout 中快速累积，造成复合分布偏移和不可靠的真实世界预测。该问题在机器人领域尤其严重，因为接触丰富的动力学、部分可观测性和高维行动空间使准确的长期预测极其困难。

为缩小这种 Sim-to-Real 鸿沟，人们探索了多种策略。经典方法是域随机化，它在训练时让策略或动力学 Model 接触多样模拟变化，鼓励对视觉和物理扰动保持不变，从而提高鲁棒性 (Tobin et al., 2017; Peng et al., 2018)。另一条研究路线聚焦系统识别，从有限真实世界观测中推断未知物理参数，并用它们校准模拟器或学习到的动力学 Model (Nagabandi et al., 2018)。近期还出现了在线适配方法，使世界模型能够利用真实世界反馈持续更新动力学，从而降低分布偏移下的预测误差 (Hafner et al., 2020; Nagabandi et al., 2018)。

在基于视频的世界模型和世界行动模型（WAM）中，Sim-to-Real 挑战更加突出，因为这些 Model 在高维像素空间中工作，高度依赖从大规模预训练中学到的视觉动力学先验。这类 Model 受益于跨多样互联网规模视频的强泛化能力，但由于物理规律、具身体和行动语义存在差异，把这些先验迁移到精确机器人控制仍非易事。此外，机器人系统只依赖视觉观测往往不够，因为视频缺少底层物理状态、本体感知反馈和细粒度行动动力学的显式信息。加入本体感知、触觉感知、力反馈和结构化机器人状态等额外模态，可以为环境动力学提供互补约束并帮助缩小 Sim-to-Real 鸿沟。解决这条鸿沟需要更好地整合物理感知归纳偏置、结构化状态表示和推理时自适应修正机制；这些仍是世界模型在真实机器人系统中可扩展部署的开放挑战。

6.5　评估与 Benchmark

世界模型的评估版图仍然碎片化。由于世界模型横跨视觉预测、物理模拟、行动规划和下游决策，不同研究社区往往依赖不同评估指标与 Benchmark。对预测和生成 Model，常用指标包括 MSE 等成对重建误差，以及 FID、FVD 等分布或感知指标；后者衡量生成图像或视频相对于真实数据的质量。对控制和规划任务，评估通常依据任务级表现，例如奖励、Episode 回报、成功率或任务完成情况。泛化通常在 OOD 或 Zero-shot 环境中评估，在未见环境、物体、任务或动力学上衡量相同预测或任务指标。在机器人与自动驾驶等安全关键环境中，不确定性校准等以可靠性为导向的指标同样重要，因为为了进行安全轨迹 rollout 和风险感知规划，智能体必须知道自身预测或规划何时不可靠。

在 Benchmark 层面，这些评估矩阵被用于一系列代表性 Benchmark。对预测和生成视频 Model，VBench (Huang et al., 2024) 与 VBench-2.0 (Zheng et al., 2025) 等套件评估视频质量、时间一致性、Prompt 对齐和内在忠实度；Cosmos 3 随附的人类评估协议 Cosmos-HUE (NVIDIA et al., 2025) 则评估生成式和全模态世界模型输出。对 3D／4D 世界生成，WorldScore (Duan et al., 2025) 与 4DWorldBench (Lu et al., 2026) 把评估从 2D 视频质量扩展到可控性、动力学和时空一致性。对物理一致性与世界模拟器保真度，PhyGenBench (Meng et al., 2024)、WorldModelBench (Li et al., 2025) 和 PhyWorldBench (Gu et al., 2025) 等物理导向 Benchmark 评估生成视频是否遵守物理常识与物理真实性；WorldSimBench (Qin et al., 2024) 则进一步从感知和行动两个层面，把视频生成 Model 作为世界模拟器进行评估。对行动条件和下游功能评估，Atari／ALE (Bellemare et al., 2013) 与 DM Control (Tassa et al., 2018) 常用于模型式强化学习和连续控制；Habitat (Savva et al., 2019) 与 CARLA (Dosovitskiy et al., 2017) 评估模拟中的具身导航和自动驾驶；RoboArena (Atreya et al., 2025) 把评估扩展到真实世界机器人策略；EWMBench (Yue et al., 2025) 从场景一致性、运动正确性和语义对齐角度评估具身世界模型；WorldArena (Shang et al., 2026) 则评估具身世界模型的功能效用。对交互式世界模型，WBench (Ying et al., 2026) 和 WorldMark (Xu et al., 2026) 等近期 Benchmark 评估 Model 能否遵循多轮交互、保持控制一致性并维持物理合理性。作为补充，MBench (Zhang et al., 2026)、WorldPrediction (Chen et al., 2025) 和 WorldReasonBench (Wu et al., 2026) 等长时域状态推理 Benchmark 评估世界模型能否维持持久状态、支持程序性规划，以及生成状态演化在物理、社会、逻辑和信息上都保持一致的未来视频。

近期 CoW-Bench 又围绕“相态、空间与时间一致性的三位一体”来组织世界模型评估，检验生成 Model 能否在复杂多模态情景下保持跨模态对齐、3D 感知空间结构、物体恒存性，以及物理上合理的时间演化 (Wei et al., 2026)。

关键在于，现有 Benchmark 往往忽视推理效率，而真实世界物理交互要求闭环控制频率不能容忍高延迟 rollout。亚秒级生成速度不只是一项计算指标，而是一项基础安全要求，因为在高度动态环境中，推理延迟会直接触发控制不稳定。

归根结底，当前评估范式面临一个根本瓶颈：缺少物理落点。虚拟模拟器运行在简化物理引擎上，使世界模型可以利用在现实中失效的非因果捷径。真正的验证需要真实世界部署和持续物理交互，以面对未建模的随机动力学。然而，转向物理平台会在真实感与实验严谨性之间造成关键权衡。核心开放挑战在于 Benchmark 的标准化与公平性。与可复现软件容器不同，物理评估会受到硬件退化、初始状态不一致和极高复现实验成本的影响。开发能够归一化异构机器人具身体，并将硬件噪声与 Model 能力分离的协议，仍是下一个关键前沿。

6.6　安全、透明与可持续性

安全探索与三元交互安全

具身 AI 和自主智能体的部署会引入显著物理风险，因为在无约束环境中进行实时决策，比孤立的数据分析危险得多。由于模拟与现实之间的残余鸿沟永远无法完全闭合，在真实世界环境中进行未经测试的探索具有固有危险性 (Billard et al., 2025)。物理世界模型可以充当学习式内部模拟器，在部署前于想象 rollout 中严格优化智能体策略，从而降低这种风险。在推理期间，这些 Model 提供连续状态表示和多步规划，以预测行动后果。为了保证与重型或高吞吐机器交互时的安全，必须把约束方法与严格不确定性阈值嵌入 rollout 引擎，只要预测外推到不安全状态区域就停止执行。关键在于，环境、具身体和任务会在智能体整个运行寿命中不断演化，因此安全探索必须作为一种持久能力，与终身学习相耦合。

此外，在一个包含人机对齐、环境反馈共同演化和异构多智能体同步的动态三元生态中，这一安全范式会非线性扩展。第一，在人机交互方面，安全超越单纯的反应式避障，成为博弈论层面的认知对齐；由于人类反行动会随机器人轨迹动态变化，世界模型必须把心智理论 Framework 纳入潜在 rollout，从而主动适应隐含人类意图。第二，在机器—环境回路中，世界模型必须具有因果双向性——不仅预测智能体如何改变周围环境，还要预测非平稳环境反馈（例如结构疲劳或热形变）如何反过来破坏控制保证。第三，当形态各异的异构智能体共同存在时，首要风险会从单个控制器失效转变为系统共振；独立世界模型之间的不对称错位可能级联成分布式碰撞。

透明性、可解释性与可验证控制

为了使世界模型得到合乎伦理且可靠的部署，可解释性对于建立操作员信任和归属责任至关重要。不同于传统黑箱端到端策略，世界模型依赖对环境动力学的显式表示，因此为透明性提供了更结构化的路径。然而，深度 Neural Network 天然不可解释，把这些动力学转化为可验证预测仍是开放工程挑战。只依赖经过工程设计的可解释性层，维持易于理解的潜在维度，以便在运行时验证不变量（例如速度边界或能量守恒）并不足够。相反，这些学习组件必须与控制理论或形式化验证 Framework 系统整合，才能实现可证明稳定性和约束满足，使预测继承严格数学保证，而不是充当无约束外推。

此外，一旦人类操作员被纳入回路，单纯的技术可解释性并不能消除系统风险。世界模型高度逼真的模拟输出可能诱发自动化偏差等认知脆弱性——已有记录表明，即使 Model 预测有缺陷或处于 OOD，操作员仍倾向于过度依赖看似权威的 Model 预测 (Parasuraman & Riley, 1997)。由于这种脆弱性源自人们在认知层面如何接收解释，而不是底层 Model 的准确性，因此不能单靠提高可解释性来解决。缓解自动化偏差需要面向用户的接口显式可视化认识不确定性——例如标记偏离已验证训练分布的 rollout——确保人类信任与系统客观可靠性保持准确校准。

伦理部署与隐私保护治理

伦理部署构成一项独立且必要的要求，涉及根据世界模型关于人的预测采取行动是否合法正当。这带来三项核心义务。第一，当预测人类行为以规划机器人行动时，世界模型不得依赖基于偏差的画像 (Billard et al., 2025)；这一约束极难落实，因为这些预测会直接进入物理行动，而不是可以拒绝的信息建议。第二，数据收集面临严格隐私边界：物理交互 Dataset 中的人类受试者必须保持不可识别，不得推断敏感属性，记录也不得被重新用于原始范围之外的目的 (Billard et al., 2025)。这些约束虽有必要，却严重限制了大规模人类交互 Dataset 的构建。第三，透明性是事故责任分配的前提，但这一要求与商业中普遍存在的闭源感知和控制栈直接冲突；后者抗拒独立审计，使问责仍是一项开放治理挑战 (Billard et al., 2025)。

为解决跨机构数据聚合障碍并兼顾商业机密，协作 Framework 必须转向联邦世界模型。在这一范式下，局部数据孤岛保持不动，参与实体只交换潜在梯度或网络权重。为了保护这些架构免受梯度反演攻击，它们必须整合安全多方计算，或利用硬件强制的可信执行环境（TEE）开展加密联合训练。关键在于，为了适应不同机构环境具有非独立同分布（Non-IID）的特性，这些 Framework 必须将不变的物理常识——在全局学习并普遍共享，以锚定集体智能——与高度变化、特定领域的潜在表示——保留在本地——解耦，从而成功平衡集体智能与局部数据主权。

然而，一个关键警告依然存在：当前优化几乎只关注训练和推理的运行阶段能耗，完全遗漏硬件的完整生命周期足迹。完整的可持续性评估必须纳入生命周期管理 Framework，计算材料提取、制造和寿命终结处置的成本 (Billard et al., 2025)。上游环境成本——包括稀土开采、软体执行器的聚合物合成和半导体制造——在当代 AI Benchmark 中基本被忽略。可持续计算文献表明，隐含碳与运行碳往往处于权衡状态；孤立优化其中一项可能无意间放大另一项 (Lee et al., 2025)。因此，只依据计算指标作出的效率主张从根本上不完整，必须谨慎解释。

SECTION 7

7　路线图

图9：下一代世界模型的分阶段路线图 — **图 9：下一代世界模型的分阶段路线图**开发下一代世界模型的分阶段路线图。

在前文讨论基础上，开发稳健的未来物理世界模型需要经历图 9 所示的三个递进阶段。第一，世界模型必须使用多种统一模态，整合以不同步方式采样的各种信号，确保 Model 能在大多数物理环境中工作。第二，这些多样模态必须被蒸馏为统一物理表示，即单一、高度压缩的内部状态；各种下游任务所需的渲染、模拟和规划都可以从中直接解码。第三，通过使用先进架构和有物理落点的数据扩展这些表示，该领域可以实现基础规模的交互模拟器。在这一最终阶段，世界模型转变为闭环、可复用的环境，使智能体能够在真实世界执行之前安全探索、评估和改进行动。

7.1　迈向统一多模态世界模型

统一多模态性是未来世界模型的核心，因为准确预测要求把外观、空间结构、状态、行动和长时域推理共同表示。视频捕捉运动，3D 结构支持视角一致的记忆，行动—状态信号解释可控变化，语义推理则把局部预测连接到长期目标。因此，统一世界模型不应只合并模态，还应把这些信号与世界如何变化关联起来。统一多模态性对该问题至关重要，原因有以下几点。

第一，长时域推理需要多模态信息。视频 Diffusion Model 可以生成合理的未来，但许多任务（例如操作）需要长期未来规划，而简单视频 Diffusion Model 在计算资源有限时可能很难完成。因而，Model 需要搜索、策略或价值信号，以便在生成分支中作出选择。基于 Diffusion 的控制系统通常把生成与树搜索或行动策略配对 (Huang et al., 2025; Chi et al., 2023)。有了额外模态，Model 在长期感知、预测和行动选择方面具有更大的 Scaling 潜力。

第二，数据稀缺时，3D 等模态是有益补充并能改善泛化。机器人和驾驶 Dataset 很少覆盖智能体可能遇到的每个相机视角、物体姿态或空间配置。稀疏视角重建和以几何为落点的视频生成，可以为可控 Model 的训练或测试合成缺失视角、姿态和运动一致样本 (Yu et al., 2020; Liu et al., 2023; Kang et al., 2026)。这使多模态性成为改善泛化的实际路径，因为没有任何单一模态能够很好地覆盖罕见空间情况。

第三，行动与状态信号把视频预测从被动预测转变为具身预测。视觉观测本身不能决定哪种抓取会成功，因为同一个场景在推动、抓取或不行动之后会通向不同未来。近期视频—行动世界模型把视觉上下文与显式行动和状态输入配对 (Zhou et al., 2026; Al Radi et al., 2026)。这表明，单凭视觉规模并不够；Model 还必须编码使变化可控的变量。

一条实际路径是把统一视为课程，而不是单一混合 Token 流。训练可以从静态表示学习开始，让 JEPA 等图像目标构建语义特征 (Assran et al., 2023)。随后可以加入视频、状态、行动和具身数据，同时利用紧凑潜在行动把可控变化与背景外观分离 (Bruce et al., 2024; Bi et al., 2025)。

7.2　迈向统一物理表示

如前所述，信息压缩是实现统一世界模型的关键。为了把高维感知观测压缩为保留世界物理结构的共享内部状态，表示的选择比任何单独的渲染器、模拟器或规划器更加重要。当前大多数系统反而维持三种彼此分离的世界定义：面向渲染的外观中心原语，例如辐射场或 Gaussian 原语 (Mildenhall et al., 2020; Kerbl et al., 2023)；面向模拟的网格或粒子；以及面向规划的 occupancy grid 或物体 Slot。在它们之间转换既有损又临时拼凑。因而，必须同时支持感知、模拟和控制的世界模型，会提出一个这些解码器尚未回答的先验问题：什么样的单一内部状态能够被解码为三者？

最有前景的长期方向，不是孤立地改进渲染器、模拟器或规划器，而是构建一种共享物理表示，使每一项能力都可作为解码操作从中恢复。这种表示应具有如下属性。第一，它应具有物理落点并可用于模拟，使同一状态携带前向预测所需的动力学和接触结构，而不只是表面外观。第二，它应具备几何适应性，能容纳真实场景中异构而不规则的几何，而不强加规则网格或固定模板。此外，它应当内在紧凑，编码结构化状态而不是稠密场，使容量花在变化缓慢、与决策相关的物理因素上，而不是像素级细节上。在这种表示下，几何、运动、材料属性、外观、语义身份、不确定性和交互状态都会被共同编码进单一持久状态；渲染、模拟与规划不再需要三种独立世界定义，而会成为同一压缩物理状态上的不同解码操作——为渲染解码成像素或 Splatting 原语，为模拟解码成形变、应力与接触变量，为行动规划解码成物体—部件—可供性结构。

这种“一个状态，多种解码器”原则已经有部分先例：例如 PhysGaussian (Xie et al., 2024) 使用同一组 Gaussian Kernel 同时驱动物理模拟和渲染。更广泛的挑战是设计满足全部要求的统一表示：1）它可解码外观、以模拟为落点、几何灵活且紧凑；2）它可以从互联网规模视觉数据中学习，并把这类数据压缩成持久物理状态；3）该状态可以通过解析或学习动力学演化，并通过特定任务查询接口暴露感知预测、反事实模拟与控制。具体选择什么基底仍是开放问题。最终，通往物理世界模型道路上的核心问题是：什么样的紧凑内部结构能够保留足够的物理和语义信息，以支持具身智能的所有下游投影？

7.3　基础规模的交互模拟器

最后，世界模型的另一种用途是构建支持行动想象、任务生成、反馈整合或持续改进的交互模拟器。世界模型帮助模拟器扩展成可复用环境，使智能体和科学系统可以在真实世界实验前测试行动、评估风险并探索可能结果。

这一愿景受到大语言 Model 与近期视频生成 Model 中 Scaling 成功的启发：更大的 Model、更广的数据和更多计算，已经带来推理与泛化的系统性改进。这为世界模型提出一个核心问题：物理动力学能否出现类似 Scaling 行为？更具体地说，更大的 Model、更多样的数据、可扩展交互训练 Dataset 和物理信息丰富的标注，能否改善世界模型保持物理一致性、预测长时域动力学、可靠响应智能体行动以及充当交互模拟器的能力？

要实现这一目标，需要考虑三个关键方面。第一，需要可扩展 Model 架构同时支持高保真世界预测和可靠的行动条件交互。近期 Diffusion 和 Flow Matching Model 为视觉未来提供高质量，而自回归及 LLM 风格架构则在长上下文序列建模和推理方面具有优势。Cosmos 3 等较新的统一多模态 Model，以及 Bernini 等规划器—渲染器 Framework，进一步表明语言、视觉、视频、音频和行动可以在更加统一的建模 Framework 中处理或协调。对基础规模交互模拟器而言，关键架构问题仍然开放：什么样的 Model 设计既能扩展到可控交互，又能纳入力、触觉反馈、接触状态和本体感知等更丰富物理模态？

第二，基础规模交互模拟器的发展既依赖互联网视频，也依赖可扩展物理 Dataset 的构建。互联网视频引入通用视觉与行动先验；第一人称操作视频用行动或手部运动标注加以补充；真实机器人轨迹则提供有落点的控制信号。除这些来源外，更丰富的物理监督也很重要，包括 3D 状态、物体运动、接触事件、力、触觉反馈、热信号和材料属性。

第三，物理交互模拟器必须在闭环环境中验证。学习式模拟器可以为策略训练和评估提供低成本交互环境，但它自身的预测仍必须根据真实世界结果或可靠物理约束加以验证。因此，未来系统需要超越视觉合理性的评估协议，衡量预测未来是否与行动保持因果一致、能否在长时域中稳定，以及能否预测机器人或 AI 驱动自主湿实验室中的真实执行。

SECTION 8

8　展望：通往物理 AGI 之路

大语言模型（LLM）赋予机器前所未有的人类句法、语义和存储知识掌控能力。然而，尽管 LLM 对我们如何描述现实有百科全书式理解，它们却缺少在物理现实本身中的根本落点。我们正迅速逼近离身智能的极限 (Coveney & Succi, 2025)。

语言 Model 与世界模型之间的关系定义了 AI 发展的下一次重大范式转变。为了描绘通往 AGI 的更广泛轨迹，我们必须认识关于人工认知的一项基本事实：i）语言让机器能够谈论世界；ii）世界模型则是机器理解、想象、推理并在世界中行动的方式。如果 AGI 必须在物理领域中导航和操作，它不能只靠预测序列中的下一个词来完成这些任务。它必须以原生方式对物理、因果、空间推理和时间具有直觉把握。它必须能够在采取行动之前模拟行动后果——预测现实本身的下一状态；更重要的是，它需要评估在当前物理智能体条件下，哪些任务可能在真实世界中实现。

三位一体架构：自主演化的引擎

为了实现物理 AGI 的这一愿景，被动使用历史数据训练的静态 Model 并不够。AGI 需要一个动态、自我演化的系统，能够持续与真实世界交互并进行自我导向学习。为此，我们用三位一体架构来概念化这一愿景；它是一个由三部分组成的认知回路，旨在自主连接数字推理与物理能力之间的鸿沟。该架构包含三个相互依赖的组件：

智能体：任务执行引擎。Actor，也就是物理智能体，接收任务指令，并在物理环境（或模拟物理环境）中尝试完成任务。它把高层意图转化为环境中的细粒度序贯行动。
评估器：任务完成情况的裁判。智能体运行时，评估器观测轨迹数据。它评估任务完成得多有效、多高效，并针对失败、物理规律违反或次优运动提供精确反馈。
世界模型：核心模拟器与课程设计器。世界模型摄取由智能体生成、经评估器评分的轨迹数据。通过观测这些交互，它学习世界的底层物理、动力学与因果性。关键在于，世界模型准确理解智能体当前能力的边界。它利用内部模拟，想象并提出新的、逐渐复杂且刚好超出智能体当前极限的任务，充当自动课程生成器。

请注意，这里的世界模型组件发挥关键作用：i）内化世界知识；ii）了解当前 Actor 可行任务的边界；iii）通过提出新任务来引导下一轮智能体—世界交互。这也类似于人类如何学习并使用大脑中的世界模型 (Taniguchi et al., 2023; Deng et al., 2025)。此外，Actor 和 Critic 组件当然可以由 LLM 赋能，例如实现为基于 LLM 的多智能体系统 (Yang et al., 2025)；因而，这些组件的规划、推理和决策部分自然依赖来自 LLM 的认知智能。以这种方式，三位一体架构为 LLM 与世界模型提供了一种相互增强的协议。

图10：三位一体架构概览 — **图 10：三位一体架构概览**三位一体架构的总体结构。

与世界交互以接近 AGI

这一三位一体结构的真正力量在于它与现实的持续交互。该回路同时运行在数字模拟与物理世界中。世界模型可以安全地想象数千种情景，并提出任务，让 Actor 在高保真数字孪生中尝试。一旦 Actor 掌握这些任务，系统就把学到的直觉部署到物理世界；Critic 在那里评估现实中不可避免的摩擦和噪声，再把新数据反馈给世界模型。

通过这个行动、评估和更新内部模拟的无休止循环，AI 不再只依赖人类整理的 Dataset。它开始以与生物智能完全相同的方式学习：通过物理试错和想象。这一三位一体架构不只是改进机器人系统的蓝图——它是把 AI 从被动对话者转变为主动物理 AGI 的演化引擎。

CONTRIBUTORS

贡献者

以下为本文贡献者，按姓氏字母顺序排列：

Xinyuan Chen、Haoyu Guo、Shi Guo、Bingqi Jiang、Chunhua Shen、Xing Shen、Tianfan Xue、Yufei Xue、Mulin Yu、Weinan Zhang、Bin Zhao、Bowen Zhou、Ming Zhou。

摘要

目录

1 引言

数据决定上限

作为压缩机制的世界模型

2 什么是世界模型？

2.1 定义与主要属性

2.2 智能体—环境回路

2.3 理解与预测：世界模型的两种观点

2.4 功能分类：渲染器、模拟器、规划器

2.5 二维分类：功能与架构

2.6 将世界模型扩展到物理环境之外

3 架构范式

3.1 观测级生成式世界模型

3.2 潜在空间世界模型

3.3 3D 增强与以物体为中心的世界模型

3.4 统一趋势：全模态世界模型

4 训练与学习范式

4.1 自监督与生成式预训练

4.2 模型式强化学习