一个可实时交互、可长时展开的开放世界生成模型
这篇论文提出 LingBot-World 2.0，也称 LingBot-World-Infinity。它把交互式世界模型从“短片段可控视频”推进到“可长时间持续、可实时响应、多动作交互”的系统：模型从初始画面出发，根据历史视觉上下文、相机控制和文本事件，因果地生成后续世界状态。
论文的核心不是单一模型技巧，而是一整套系统：因果预训练抵抗长时误差累积，few-step distillation 让生成达到实时，Director-Pilot agentic harness 负责交互推理和事件编排，前端界面则把 WASD/IJKL 控制、事件热键和多人体验接起来。
摘要与定位
本文提出 LingBot-World 2.0，它是 LingBot-World 的高级迭代版本，包含四个关键升级：无界交互时长、快速响应、多样交互元素，以及用于世界建模的 agentic harness。
第一，模型通过精心设计的因果预训练范式，在保持输出质量一致的同时获得无界交互 horizon。第二，作者从 base model 蒸馏出实时变体，使系统响应足够快，可以驱动 720p、60 fps 视频流。第三，相比上一版，本次更新引入更丰富的交互元素，包括攻击、射箭、施法、射击等动作，以及更多由文本驱动的事件。第四，作者把 agentic harness 引入世界建模：pilot agent 负责规划和执行角色行为，director agent 负责在场景推进时合成新的环境元素。
每一帧依赖之前生成的帧，错误会反馈进模型并累积，导致纹理糊化、几何扭曲和场景偏离。
先训练能抵抗误差累积的 teacher，再蒸馏成可实时交互的 student。
VLM 做导演式因果推理，视频模型做底层物理和视觉 rollout，前端提供可玩的交互表面。
1. 引言
交互式世界模型是一类生成系统，它们响应连续的用户或 agent 动作，并逐帧合成环境。受因果视频生成进展推动，这类模型原则上可以渲染一个可探索、可无限展开、并实时响应居住者行为的世界。但把这个原则变成可用系统仍然困难，主要有两个原因。
第一是 长时稳定性。因为每一帧都以前面生成的帧为条件，错误会被重新输入模型并不断累积。随着时间推移，纹理会被抹平，几何会变形，场景会漂移到不再像一个合理世界。大多数现有系统只能在数秒到数分钟内保持视觉稳定，距离“可居住世界”的持久性仍然很远。
第二是 高保真交互 的计算成本。实时响应输入的同时渲染细节丰富的视频，会对计算预算造成压力。过去工作常常通过牺牲分辨率、流畅度或控制能力来换取交互性，用户只能粗略移动相机，而场景本身基本是惰性的。
作者认为，这两个限制正是当前模型与真正开放式世界之间的障碍。本文从一个因果视频生成模型出发，使它抵抗误差累积；这个稳定 backbone 又成为干净的 distillation teacher。蒸馏后的 student 让系统变得实用，可以在足够高的分辨率和帧率下保持响应。作者通过一小时不中断 session 压测稳定性，并展示模型不仅支持漫游，还支持战斗、射箭、施法、远程射击，以及按需召唤雪、雨等环境变化。
| 维度 | M-G 3.0 | D-W | LingBot-World | HappyOyster | Genie 3 | 本文 |
|---|---|---|---|---|---|---|
| 生成时长 | 分钟 | 分钟 | 分钟 | 分钟 | 分钟 | 小时级 / Infinite |
| 语义交互 | 无 | 无 | 无 | 少量 | 少量 | Infinite |
| 领域 | 游戏 | 通用 | 通用 | 通用 | 通用 | 通用 |
| 动态程度 | 中 | 中 | 高 | 中 | 中 | 高 |
| 实时 | 是 | 是 | 是 | 是 | 是 | 是 |
| 开源 | 是 | 是 | 是 | 否 | 否 | 是 |
论文的贡献可以概括为：一个开放的先进因果世界模型，一个可实时渲染无界世界的 distilled model，一个远超导航的丰富动作空间，以及把模型组织成可持续互动体验的 pilot/director harness。
2. 数据管线
为训练能够响应随时间变化的指令与控制信号的交互式世界模型，作者构建了统一数据引擎，把异构原始视频转换成时间局部化的训练数据集。数据引擎有三个阶段：数据获取、数据画像、多粒度标注。
数据获取
语料来自三类互补来源：自采集第一人称视频、游戏与 Unreal Engine 环境中的合成数据，以及大规模 web 视频。第一人称视频捕捉真实手-物交互和自然行为；合成数据提供准确场景几何和时间对齐交互信号，例如跳跃、攻击、驾驶和飞行；web 视频则带来开放域覆盖和长尾视觉分布。
数据画像
原始视频在质量、视角和语义内容上差异很大，因此管线首先验证解码、移除无效样本并检测 shot boundary。长视频用 TransNet V2 切成时间连贯片段，再按时长、分辨率、解码稳定性等基本约束过滤。随后使用技术评分过滤器，以较低成本筛除明显不适合的 clip，评分聚合视觉质量、亮度范围、OCR 文本占比、运动统计和编码稳定性等信号。
保留下来的候选 clip 再由 VLM 做画像，输出两组属性：一组描述样本质量，如剪辑伪影和模糊视觉证据；另一组描述语义内容，如视角、活动类别和交互模式。技术过滤负责低成本质量控制，VLM profiling 则用于数据均衡和 prompt routing。
多维视频标注
许多视频数据集只为每个视频配一个全局 caption，它能提供视频级语义摘要，却不足以训练实时交互模型。因为推理时条件信号可能随用户指令或动作变化，模型需要理解局部时间段发生了什么。只用全局 caption 会造成 train-inference mismatch。
作者因此构建多维标注，把视频级全局上下文和时间局部化 chunk-wise 描述结合起来。对每个 chunk，标注过程根据 clip profile 和可用输入模态自适应，不把所有语义属性强行绑定到同一时间边界，而是独立标注多个 event tracks，包括主体可见性、运动状态、交互状态、环境动态和静态场景状态。
它避免把无关的视觉变化、交互变化和场景变化混进单一描述，减少时间歧义。
把活跃 track 状态组合成局部 caption，再轻量修正术语一致性和时间平滑性，并移除泄露未来、猜测性或冗余表达。
3. 方法：LingBot-World-Infinity
LingBot-World-Infinity 接收初始帧，并与用户输入流交互，以 autoregressive 方式实时生成无限延展、无明显漂移的世界。作者先把交互式世界模拟形式化为因果生成过程，再用两阶段策略训练模型：预训练阶段学习因果、动作条件世界模型；后训练阶段把模型蒸馏成实时生成器并抑制长时漂移。
因果生成形式
作者以“原因必须先于结果”为原则，把世界模拟建模为沿时间轴的因果生成过程。设视频帧序列为 V = {x_1, x_2, ..., x_T}，用户输入序列为 A = {a_1, a_2, ..., a_T}。在因果假设下，每个状态只依赖历史视觉上下文和当前及过去的用户输入。
它约束模型不能看到未来帧或未来动作，只能用过去视觉观测和当前/历史输入预测当前状态。该式用于定义整个世界 transition 学习目标，减少未来信息泄露和非因果生成带来的部署不一致。
预训练：因果世界模型
预训练阶段训练一个因果世界模型，目标是生成无界、动作可控、视觉保真度高的视频世界。模型支持两类用户输入：相机姿态和 prompts。相机姿态用 Plucker embeddings 表示，编码每个像素 viewing ray 的六维坐标，并通过 AdaLN 注入 diffusion 过程，以尽量不破坏预训练视觉先验。文本控制采用 chunk-wise prompts，每个视频 chunk 都有自己的 caption，使模型具备时间局部化语义控制能力。
Mixture of Bidirectional and Autoregressive Attention Mask
纯 teacher forcing mask 让模型从 clean context 预测当前状态，适合自回归生成。但作者发现，context 越长，模型越容易只依赖 context 而不是预测未来帧，造成过拟合和视觉质量下降。因此提出 MoBA mask：在 teacher forcing mask 中加入一个 bidirectional component，用 hybrid attention 抑制这个问题。
self-attention 的 MoBA mask 从 teacher forcing 开始：每个 noisy frame x_i^t 只能关注自己和 clean context x_<i。随后加入 full attention 的 bidirectional component，帮助模型适应灵活长度视频生成，并促进从双向生成向自回归生成过渡。cross-attention 也相应设计：teacher forcing 部分只能看背景 prompt a_B 和 lower-triangular 的当前/历史 chunk prompts a_≤i，防止未来语义泄露；bidirectional 部分则使用描述全视频事件的 global prompt a_G。
该损失约束模型在给定历史帧、历史/当前相机姿态和 prompts 时，预测从当前干净帧到噪声的 rectified-flow velocity。它用在因果预训练阶段，减少模型在局部状态转移上的预测误差，并让部署时的自回归条件与训练条件对齐。
4. 后训练：Few-Step Distillation
预训练 teacher 能生成高质量帧，但每帧需要多步 denoising，交互使用成本太高。后训练阶段把多步因果 diffusion 世界模型压缩为 few-step generator，同时缓解长时自回归 rollout 中的误差累积。作者结合 consistency distillation 和 distribution matching distillation (DMD)。
Consistency Distillation
Consistency model G_theta 从中间 noisy latent 预测 trajectory-invariant target。直观地说，落在同一 teacher PF-ODE 轨迹上的 latent states，应该映射到相同预测。
这里 c = (x_<i, p_≤i, a_≤i)，theta^- 是 student 参数的 EMA。该式约束同一 teacher trajectory 上相邻时间点的 student 输出保持一致，用于把多步 denoising 轨迹蒸馏成 few-step 生成，减少交互时的采样成本。
Distribution Matching Distillation
Consistency distillation 降低采样成本后，few-step student 仍可能视觉保真度下降，并在长时自 rollout 中漂移。DMD 使用 noised student distribution 与 noised data distribution 之间 KL divergence 的梯度来优化生成器。
s_real 和 s_fake 分别近似真实数据噪声分布与当前 student 噪声分布的 score。该式用于进一步提高 few-step student 的分布匹配质量，尤其作者把 DMD 应用到长 self-rollout trajectory 上，而不是只在 teacher-forced states 上训练，从而减少学生模型在自身预测分布上不断累积的漂移。
5. 部署
部署目标是低延迟、交互能力丰富、视觉质量高且用户友好的实时交互视频生成。推理栈包含四个部分：系统性优化、agentic interaction harness、视觉质量增强和用户界面设计。
系统性优化
推理效率分成两个维度：第一是模型推理效率，即提高视频生成 backbone 吞吐，使其接近实时；第二是流式响应，即降低从用户输入到第一个可见响应之间的端到端延迟。
为提高生成吞吐，作者对 distilled DiT backbone 应用编译优化和高效 attention kernels，加速迭代 denoising。还采用混合并行推理策略，把计算分布到多张 GPU 上，并异步 pipeline latent generation 和 frame reconstruction：latent generation 不等待图像解码，VAE decoding 则由专门 worker 并行处理。为了降低感知交互延迟，系统不会等完整 video chunk 解码完成，而是将已解码结果增量式流式传输给客户端。
Agentic Interaction Harness
标准视频生成模型擅长短期视觉动态，但缺少开放式逻辑世界模拟需要的因果推理。本文引入 Director-Pilot co-simulation framework：VLM 是世界的 Director，负责宏观语义规则和因果推理；Video Generator 是 Pilot，负责模拟低层物理动态并渲染高保真视觉转移。
VLM 直接分析当前帧，为主体生成动态 event cards。用户触发交互后，VLM 基于场景上下文提出即时、合逻辑的后果，不需要显式对象 mask。
面向精确对象操作，系统集成 SAM-based action proposal loop。VLM 识别可交互对象，SAM 跨 video chunk 跟踪对象，用户选中后触发特定动作。
世界干预与视觉质量增强
除物理交互外，用户还可以通过文本 prompt 直接干预世界状态，例如改变昼夜、天气，发起节庆等全局事件，或注入一群鸟、某类生物等局部实体。VLM agent 会处理这些干预，使其合逻辑地接入当前叙事。
视觉质量上，系统在远程 VAE decoding 后接一个轻量时空 refiner。它先做空间 refinement，上采样并恢复更锐利局部细节；再做时间 refinement，合成中间帧以获得更平滑运动和更高帧率。两阶段均编译成 TensorRT engines，并通过多 GPU 并行执行。
动态 KV cache 管理也是实时系统的关键：系统不会为每个 inference chunk 维护固定 context，而是根据当前控制信号和输入状态动态调度 cache，保留对当前 chunk 最有信息量的历史，丢弃贡献较小的内容。这样同时降低有效 context、加速推理，并减少陈旧或无关内容对当前生成的干扰。
6. 结果
Causal Distilled Model
作者首先评估用于交互部署的实时 causal distilled model，将其与闭源系统 HappyOyster、Genie 3，以及多个开源交互式世界模型比较。评价维度包括视觉保真度、长时 rollout 的时间稳定性、动作响应能力和实时吞吐。论文认为，该模型达到或超过最强闭源 baseline 的视觉质量，同时保持完全开放，并且是比较中唯一能实时维持高分辨率生成且无明显退化的系统。
长时稳定性
交互式世界模型的关键能力是长时间保持稳定。作者生成一个超过一小时的单次不中断 session。整个过程中视觉质量没有可感知衰退，世界从开始到结束保持连贯和可探索。这被作者视为模型稳定性的结构性证据，而不只是某个 favorable clip 的短暂效果。
Causal Pretrained Model
作者还评估支撑 distilled model 的 causal pretrained backbone。与 MAGI-1、Worldplay 等先前因果世界模型在匹配设置下比较时，该 backbone 在视觉保真度和长时稳定性上持续领先。先前模型会在数秒到数分钟内因误差累积退化，而本文 backbone 能在更长 rollout 中保留清晰纹理、稳定几何和连贯场景。作者将优势归因于 anti-drift training，它显式抑制模型复合自身错误。
7. 结论、局限与讨论
本文提出 LingBot-World-Infinity，一个面向交互式世界建模的开放因果视频生成模型。它将先进视觉质量和抗漂移能力结合起来，并从中蒸馏出实时模型，在 720p、60 fps 下维持无界、无明显漂移的世界。除导航外，模型支持战斗、射箭、施法、射击等动作，以及雪、雨等即时环境变化。pilot/director agentic harness 将模型组织成自维持、目标导向、开放式体验。
模型能长时间视觉稳定，但不真正记住已经生成过的世界。离开 context window 后再回到某区域，往往是重新生成而不是回忆。
非常长的 rollout 中，特定角色外观可能细微变化，整体艺术风格也可能逐渐漂移。
模型只从 pixels 学动力学，没有显式几何或碰撞概念，因此可能出现角色或物体相互穿透等不合理现象。
蒸馏模型已经实时，但高保真世界建模要在普通消费硬件上运行，还需要进一步效率提升。
阅读路径
如果只想快速把握论文，可以先读摘要和引言，理解问题是“长时漂移 + 高保真实时交互”。接着读方法中的因果分解和 MoBA mask，因为这是模型为什么能按时间因果展开的核心。然后读后训练部分，理解 consistency distillation 如何降步数、DMD 如何抑制 student 自 rollout 漂移。最后看部署章节的 Director-Pilot harness 和 UI，因为这决定了模型如何从帧预测器变成可玩的世界系统。
本 HTML 的插图均来自 arXiv 源码包中的独立 figure 文件。PDF 格式的图是从对应单个 figure PDF 转换为 PNG；没有从整篇论文 PDF 中裁剪图片。