推进开源 World Model：从视频生成走向可交互模拟
这篇论文发布 LingBot-World，一个源自视频生成的开源世界模拟器。它的目标不是只生成被动观看的短视频，而是用高保真视频先验、动作控制、长时记忆和实时推理，把视频模型推进到可交互、可导航、可用于游戏与机器人学习的 world model。
论文将系统拆成三根支柱：可扩展的数据引擎，三阶段演化训练管线，以及面向具身 AI 的应用。相较闭源系统，本文的核心价值是把模型权重和推理代码开放出来，降低开源社区研究 world model 的门槛。
摘要与定位
LingBot-World 是一个开源 world simulator，源自视频生成，但定位为更高层的 world model。它强调三件事：广泛环境中的高保真和稳健动态、分钟级 horizon 下的上下文一致性，以及低于 1 秒延迟的实时交互。
作者认为，当前最强的 world model 方案多为闭源，这阻碍了社区创新。本文提供公开代码和模型，希望缩小开源与闭源技术之间的差距，并为内容创作、游戏、机器人学习等应用提供基础设施。
短视频生成模型能渲染漂亮片段，但往往缺少因果、物体持久性和交互后果的 grounded understanding。
高质量交互数据稀缺；长轨迹会遗忘和漂移；传统 diffusion sampling 太慢，难以现场控制。
先建立强视频先验，再注入世界知识和动作控制，最后后训练成实时自回归系统。
1. 引言
让 AI 理解并模拟物理世界，长期被视为 computer vision 与 Machine Learning 的“圣杯”。生成模型正在经历范式变化：从静态的 text-to-video 生成，走向更雄心勃勃的 text-to-world 模拟。虽然先进视频生成模型已经能生成高保真的短片段，但它们更多是“做梦者”而不是“模拟器”：它们基于统计相关性幻觉式预测像素变化，却常常缺少对因果、物体持久性和交互后果等底层规律的 grounded understanding。
从视频生成转向世界模拟面临三类挑战。第一，高质量交互数据稀缺；不同于被动 web 视频，能够捕捉 agent 决策与环境反应复杂关系的数据很难规模化。第二，标准 diffusion 架构很难在分钟级轨迹上维持叙事和结构连贯，容易 catastrophic forgetting。第三，传统 diffusion sampling 计算昂贵，使 live control 几乎不可能，很多模型只能离线渲染。
LingBot-World 是一个完整开源框架，试图打破这些限制。它不是单纯生成模型，而是一个被工程化为学习虚拟世界动态并实时渲染的系统。作者提出三大战略支柱：层级语义数据引擎、多阶段演化训练管线，以及面向 embodied AI 的应用。
| 维度 | Matrix-Game 2.0 | Yume-1.5 | HY-World 1.5 | Mirage 2 | Genie 3 | 本文 |
|---|---|---|---|---|---|---|
| 领域 | 游戏 | 通用 | 通用 | 通用 | 通用 | 通用 |
| 生成 horizon | 短 | 短 | 中 | 长 | 长 | 长 |
| 动态程度 | 低 | 低 | 低 | 中 | 中 | 高 |
| 分辨率 | 480p | 480p | 720p | 480p | 720p | 720p |
| 实时 | 是 | 否 | 是 | 是 | 是 | 是 |
| 开源 | 是 | 是 | 是 | 否 | 否 | 是 |
论文希望通过开源模型权重和推理代码，推动社区从被动视频观看走向无限、可玩、可交互的虚拟世界构建。
2. 数据引擎
要构建能处理新视角、复杂动态和长时规划的 world model，需要严谨的数据策略。本文的数据引擎由三个协同组件构成：数据获取、数据画像和数据 captioning。
数据获取
数据获取阶段采用混合收集策略，确保训练语料丰富、高质量且具有交互性。首先，作者整理大规模高质量多样视频，包括第一人称和第三人称视角，覆盖人、动物和车辆。其次，为捕捉精确的 action-contingent dynamics，作者采集游戏数据，其中 RGB 帧与用户控制输入（如 W/A/S/D）和相机参数严格配对。最后，作者用 Unreal Engine 构建合成渲染管线，生成与 ground-truth camera intrinsics/extrinsics 对齐的 RGB 流。
平台同步记录视觉、agent actions 和相机运动，覆盖自由导航、闭环漫游、场景转场、观光、静止观察、后退导航以及世界交互。
随机采样语义位置和朝向，自动生成相机轨迹并做碰撞检测，输出视频和同步 camera poses，用来补足真实数据中的轨迹偏置。
数据画像
由于通用视频缺少游戏或 UE 数据中的相机信息，数据画像首先利用 pose estimation 模型为 camera intrinsics/extrinsics 生成 pseudo-labels。系统还基于分辨率、时长等做基础过滤，并用切片算法把 footage 切成适合训练的 clips。随后，VLM 做语义分析，评估视觉质量、运动幅度、场景类型和视角等属性。
层级 Captioning
数据 captioning 模块使用 VLM 为语料添加语义元数据。作者设计三类 caption：一是 comprehensive narrative caption，把环境、相机运动和时间演化编成全局故事；二是 scene-static caption，只描述静态环境和审美细节，刻意省略相机运动或角色动作，用于把运动控制和场景生成解耦；三是 dense temporal caption，把视频切成时间区间并描述每段事件，支持时间对齐训练。
这种层级 caption 使每个视频 clip 都配有丰富、结构化的文本条件：既捕捉静态视觉细节，也编码动态演化和相机意图。
3. 方法：LingBot-World
作者把 world model 形式化为由 agent actions 驱动视觉状态演化的条件生成过程。设视频帧序列为 V = {x_1, x_2, ..., x_T}，控制信号序列为 A = {a_1, a_2, ..., a_T}。模型目标是学习环境 transition dynamics，而不是只做单步预测。
该式约束模型根据历史帧和当前到未来一段控制信号，预测长度为 L 的未来状态。它用于把标准视频生成器连接到可交互 world simulator，减少模型只生成随机视频、却不跟随动作控制的错误。
Stage I：Pre-Training
第一阶段关注自然视频序列的通用分布建模，建立视觉动态先验。作者采用 14B 参数 Wan2.2 image-to-video diffusion model 作为预训练模型。该模型提供视觉真实感、物体持久性和时间动态等强内部先验，可显著加速交互物理和可控视觉世界生成的学习。
Stage II：Middle-Training
第二阶段把预训练视频 diffusion model 转换成 bidirectional world model。它不再只生成短视频，而是通过专门数据引擎学习动作控制、时间一致性和领域规则。该阶段包含 fundamental world model、action-conditioned world model 和并行训练基础设施。
继承 Wan2.2 的双专家设计：高噪声 expert 负责全局结构和粗布局，低噪声 expert 负责细粒度空间和时间细节。
先用 5 秒视频训练，再逐步扩展到 60 秒，让模型学习长时一致性，并促进空间记忆涌现。
同时训练 image-to-video 与 video-to-video continuation，使模型可从单帧或历史视频预测未来世界状态。
Action-Conditioned World Model
在 fundamental world model 建立长时一致性和空间记忆后，作者进一步 finetune 模型以支持交互控制。动作表示结合连续相机旋转和离散键盘输入：相机旋转用 Plucker embeddings 表示，离散交互用 multi-hot vectors 编码，两者沿 channel 维拼接。动作通过 AdaLN 注入 DiT blocks，动态调制 normalized features，使 denoising 过程生成与指定动作一致的视频帧。
为保护基础生成质量，作者采用参数高效 finetuning：冻结 pre-trained fundamental world model 的主 DiT blocks，只微调新加入的 action adapter layers。这既能解耦视频生成能力和动作控制能力，也能避免稀缺或合成动作数据导致主模型 catastrophic forgetting。
并行基础设施
训练 28B 参数、一分钟视频序列的 world model 对 GPU 显存要求很高。作者使用 FSDP2 分片参数、梯度和优化器状态，并用 Ulysses context parallel 把输入 tensor 沿时间/序列维分区到多张 GPU，降低每卡 activation 与 attention 中间量开销。
4. 后训练：从双向模型到实时自回归系统
后训练阶段把 bidirectional world model 转换为高效 autoregressive model，适合实时交互生成，同时保留 middle-training 学到的丰富动态。方法有两步：通过 diffusion forcing 做 causal architecture adaptation，再用 long-horizon few-step distillation 把 teacher 能力转移到 student。
Causal Architecture Adaptation
middle-trained 模型是双 expert MoE image-to-video diffusion model。为简化训练与推理，作者用高噪声 expert 初始化 causal student，因为它在 dynamics modeling 上更强。架构上，将 full bidirectional temporal attention 替换为 block causal attention：每个 temporal chunk 内 token 双向 attention，以捕捉短程时间依赖；chunk 之间则保持因果约束，当前 chunk 只能关注同一或之前 chunk，从而消除未来帧依赖。
该式约束 student 在选定 timesteps 上从 noisy state 和 action condition 恢复 clean latent。它用于桥接高噪声 expert 和 clean frame 编码能力，减少 causal adaptation 后无法生成干净帧或动作动态不稳的问题。
Few-Step Distillation with Long-Horizon Training
causal-adapted model 已能根据动作生成合理帧，但超出训练 horizon 后仍会因训练/推理分布不匹配而漂移。作者使用 self-rollout extended horizon training，让 student 在自己生成的序列上训练，条件来自 rolling KV cache 中此前生成帧。为了控制开销，只对最近 K 个生成步反传梯度，同时保持完整 forward context。
该式用 real score 与 fake score 的差异来更新 student，使 student 的 noised distribution 接近数据分布。它用于 few-step distillation，减少 teacher 与 student 之间的质量差距，并缓解长自回归 rollout 中的分布漂移。
stop-gradient 形式使 DMD 变成可直接优化的 regression-like 目标。fake score network 用 student 生成视频上的标准 diffusion loss 训练，real score network 固定，减少 few-step student 偏离 teacher 动态的错误。
DMD 之后 student 与 teacher 之间仍存在视觉质量差距。原因包括 student 由高噪声模型初始化，没有继承低噪声模型的细节知识；attention mask 换成 causal 变体；推理时只用少数采样步。作者因此加入 adversarial training：生成器尝试欺骗 discriminator，discriminator 区分真实视频与合成视频。该监督来自真实数据，使 distilled generator 不被 teacher 的偏差完全限制。
该目标只更新 discriminator head D，fake score network 仍只用 DMD loss 更新。它为蒸馏生成器引入真实数据监督，减少画质退化，同时尽量保留动作跟随和长时一致性。
5. 评测
定性结果
作者分别分析 middle-trained 的 LingBot-World-Base 和 post-trained 的 LingBot-World-Fast。Base 模型展示高保真、复杂空间配置和顺滑逻辑一致的帧间转移。Fast 版本在单 GPU 节点处理 480p 视频时达到 16 fps，虽然加速引入理论上限质量折中，但感知退化较小，仍保持 teacher 的结构完整性和物理逻辑。
涌现记忆能力
LingBot-World 的一个关键属性是，在不依赖 Gaussian Splatting 等显式 3D 表示的情况下，涌现出维持全局一致性的能力。模型能让雕像、Stonehenge 等静态 landmark 在离开视野长达 60 秒后仍保持结构完整。更重要的是，模型还能推理未观测状态的演化：例如摄像机向前移动后再回到正面视角，远处桥梁会更接近；车辆离开画面后会继续沿道路行驶，并在合理位置重现。
超长生成边界
作者将时间连贯性的边界推到最多 10 分钟。结果显示模型可以在超长时长内维持稳定、高保真环境，视觉质量和叙事一致性没有显著退化。
定量分析
由于 world model 的评测协议仍处于早期阶段，作者基于视频生成评测工具 VBench，在一个包含 100 个生成视频、每个超过 30 秒的测试集上进行分析，并与 Yume-1.5、HY-World 1.5 比较。
| 模型 | Imaging Quality | Aesthetic Quality | Dynamic Degree | Motion Smooth | Temporal Flickering | Overall Consistency |
|---|---|---|---|---|---|---|
| Yume-1.5 | 0.5838 | 0.5185 | 0.7612 | 0.9709 | 0.9545 | 0.1994 |
| HY-World 1.5 | 0.6512 | 0.5487 | 0.7217 | 0.9897 | 0.9773 | 0.2016 |
| LingBot-World | 0.6683 | 0.5660 | 0.8857 | 0.9895 | 0.9648 | 0.2178 |
LingBot-World 在多数指标上领先，尤其 Dynamic Degree 达到 0.8857，明显高于 Yume-1.5 和 HY-World 1.5。这说明它能生成更丰富的场景转移和复杂运动，同时仍保持较好的整体一致性。
6. 应用
自回归框架把视频生成转成交互式模拟，合成过程可由自然语言 prompts 和离散动作共同控制。论文展示三类应用：promptable world events、action agent 和 3D reconstruction。
Promptable World Events
用户不再只是被动导航静态环境，而是可以通过自然语言主动引导未来轨迹。给定同一个初始 context，模型可根据不同语义 prompt 分支到完全不同未来。全局事件包括天气、光照和渲染风格变化，如 winter、night、pixel art、steampunk；局部事件则是在场景中注入特定物体或动态 agent，如烟花、鸟、鱼等。
Action Agent
除训练 action-conditioned world model 外，作者还使用相同数据训练 action agent，让它从单个视觉观测推断运动动态并鼓励环境探索。具体做法是微调 Qwen3-VL-2B backbone，输入视觉观测，输出未来 10 秒动作，包括 W/A/S/D 离散移动和 I/J/K/L 离散鼠标方向。预测动作再转换成运动轨迹，驱动 world model 生成视频 rollout。
3D Reconstruction
受益于长时高质量训练，LingBot-World 涌现出 3D 空间一致性与长期空间记忆。作者使用大规模 3D reconstruction foundation models 将生成视频转换成点云，室内、科幻、户外场景都展示出较强跨帧空间一致性。这缓解了常规视频生成模型常见的跨视角不一致问题。
7. 结论、局限与下一步
本文提出一个完整框架，为开源 world model 建立新的前沿，有效连接视频生成与可行动模拟。贡献覆盖完整管线：可扩展自动采集的数据引擎、面向动作控制的 causal transformer 架构、用于高效推理的实时蒸馏，以及 agentic actions、world editing 和 3D reconstruction 等应用。
当前记忆来自 context window 的涌现能力，而不是显式存储模块，因此长时模拟中仍可能不稳定。
推理成本仍高，需要企业级 GPU，尚难在消费级硬件上运行。
可控动作范围有限，主要处理导航和基础运动，复杂交互还不足。
细粒度对象级交互很难，例如在杂乱桌面上精确拿起某个杯子。
作者下一步计划扩展动作空间、增强 physics engine、设计更好的显式 memory module，并继续解决长视频 drifting 问题，目标是支持无限时长 gameplay 和更稳健模拟。
阅读路径
快速读法：先看摘要和引言，抓住“开源 world model”的动机；再看数据引擎，理解动作、相机、长时记忆为什么需要游戏/UE/层级 caption；然后重点读方法中的三阶段训练和 post-training 公式；最后看评测中的 memory 图、VBench 表格和应用部分，判断模型到底能做什么、还差什么。
本 HTML 的插图均来自 arXiv 源码包中的独立 figure 文件。PDF 格式的图是从对应单个 figure PDF 转换为 PNG；没有从整篇论文 PDF 中裁剪图片。