面向具身智能的大规模 MoE 视频预训练
这篇论文提出 LingBot-Video，一个基于 DiT 的视频预训练范式，目标不是只做“看起来漂亮”的视频生成，而是把视频模型推向具身智能需要的物理一致性、动作理解、机器人场景泛化和高效推理。
作者把工作拆成三条主线：架构上用 Sparse Mixture-of-Experts 扩大总容量但控制每个 token 的计算量；数据上构建面向机器人、第一人称、导航和交互场景的数据画像与课程；训练上加入多维奖励和后训练，让模型更关注物理合理性和任务完成。
摘要与领域定位
机器人控制中的视频生成模型近期显示出潜力，但这些模型长期以内容创作为核心目标，因而与具身智能之间存在领域错配。它们通常优先追求视觉保真度和创造性，而不是计算效率与物理真实性。
本文提出 LingBot-Video，一种专门面向具身智能的 DiT 视频预训练范式。从架构角度，作者采用 Mixture-of-Experts (MoE) 而不是 dense 框架，以在建模容量和推理效率之间取得更好平衡，并从零开始完成规模化。从数据角度，作者构建数据画像引擎，将标准互联网视频与大量机器人取向素材结合起来，覆盖操作、导航和第一人称视角，使基础模型获得对动作和世界动态的内在理解。从训练角度，作者设计多维奖励系统，在美学、prompt 跟随和运动一致性之外，引入物理合理性与任务完成度对齐。
互联网视频提供视觉多样性，但不保证接触、刚体、长时状态和交互约束。
用稀疏专家扩大容量，用机器人数据补足交互先验，用奖励对齐物理和任务。
作者称其为首个面向具身智能的大规模开源 MoE 视频基础模型。
1. 引言
除了在内容创作上的成功，基于 diffusion 和 autoregressive 的视频模型已经能够在文本、图像和其他控制信号条件下，合成时间一致且照片级真实的视频序列。这种能力促使越来越多研究把视频模型理解为物理世界的隐式模拟器，并将其用于机器人、自动驾驶和交互式环境。在这一范式中，视频模型不仅是生成系统，也可以作为支持规划、策略学习和基于想象控制的预测式世界模型。
但是，把这些模型从被动视频生成转向主动具身推理，仍然是一个开放挑战。大多数视频基础模型优化的是感知质量，例如真实感、美学和文本对齐，而不是物理正确性或可控性。这样的目标能带来视觉上引人注目的结果，却不会显式约束接触稳定性、刚体动力学、干预下的长时状态一致性等物理交互条件。
现有尝试通常在三方面不足：第一，架构上，多数 diffusion 视频 transformer 依赖 dense 计算，所有参数在 token 和 timestep 上都被统一激活，推理成本高、扩展受限。第二，数据上，训练语料主要来自互联网视频，缺少机器人具身先验和精确交互动态。第三，训练目标上，当前对齐策略主要优化审美和文本-视频对应，没有显式纳入物理可行性、任务完成或长时奖励信号。
本文提出的 LingBot-Video 通过三个集成组件回应这些限制：其一是 MoE 视频框架，用稀疏条件计算提高推理效率并扩展时空动力学建模容量；其二是 机器人增强预训练语料，统一互联网规模视频与机器人操作、导航、第一人称数据；其三是 多维奖励系统，把优化目标从审美扩展到物理合理性和任务成功信号。
- 作者引入稀疏 MoE 视频 diffusion 框架和可扩展训练范式，使时空建模可以在扩展性与效率之间折中。
- 作者开发数据画像引擎，用于系统分析、过滤和重平衡异构视频来源，从而改进物理交互、动作语义和具身动态的 grounding。
- 作者提出多维奖励系统，将物理可行性和任务级成功信号纳入对齐，超越传统感知质量和文本对齐目标。
2. 方法：任务统一的 Single-Stream Diffusion Transformer
LingBot-Video 采用级联设计，由任务统一的 base generator 和 refiner 组成。base generator 使用 Single-Stream Diffusion Transformer 处理紧凑视觉 latent 与多模态条件。作者使用 Qwen3-VL-4B 从多模态指令中提取条件，并使用 Wan2.1-VAE 做高效视觉 latent 压缩。
统一输入形式
每个训练样本被表示为单一 token 序列，由视觉 latent patch 和 condition token 构成。视觉 patch 与条件特征先投影到同一 hidden dimension，再沿序列维拼接成统一输入。在这种形式下，Text-to-Image (T2I)、Text-to-Video (T2V) 和 Image-to-Video (TI2V) 都能被放进同一框架，图像生成被视为特殊的单帧视频生成，即 T=1。
为了解决条件 token 与视觉 token 的结构差异，作者使用 3D MM-RoPE，把它们放入不重叠的时间坐标范围，从而避免为不同任务设计单独架构或编码器。
Single-Stream Diffusion Transformer
该设计受 LLM decoder-only 架构可扩展性和 single-stream 参数效率启发。经过轻量的模态特定输入投影后，所有视觉 token 与条件 token 共享同一组 transformer block。与 dual-stream 架构相比，统一 backbone 把所有 token 当作单一序列处理，使多模态特征进入更大的统一 GEMM 计算，有助于提高 MFU 并降低 kernel launch 开销。
在分布式扩展场景中，single-stream 设计还减少了 dual-stream 在每个 block 内反复拼接和拆分 condition/latent token 的张量重组成本，通信模式更简单，也更容易避免额外负载不均衡和同步开销。
Multi-Modal 3D RoPE、QK-Norm 与 AdaLN-Single
为了在单流中区分条件与视觉 token，同时保留视频几何结构，作者把所有 token 映射到 Multi-Modal 3D RoPE 坐标系统。给定 L 个条件 token 和 F x H x W 的视觉 latent 网格，条件 token 使用时间坐标 (i,0,0)，视觉 patch token 使用 (L+1+f,h,w)。query 和 key 的 head dimension 被分到时间、垂直、水平三轴，分别应用 rotary 频率。
为稳定深层 transformer 的 attention，模型在计算 attention 前对 query 与 key 做 per-head RMSNorm。每个 block 在 attention 和 feed-forward 残差分支周围也使用 RMSNorm，以控制高分辨率训练中的 logit 增长和激活尺度。AdaLN-Single 则通过在 transformer stack 前计算一次共享 timestep modulation，降低调制开销；每层再加入可训练的 layer-specific modulation table 来得到 shift、scale 和 gate 参数。
3. Sparse Mixture-of-Experts 扩展
MoE 的根本动机是用专门化子网络捕捉不同模式或领域，从而建模高度多样和复杂的数据分布。视频生成需要模拟连续物理世界，既要捕捉流体运动、三维空间一致性等复杂物理过程，也要表达变化的运动轨迹和丰富材质纹理，因此 MoE 是扩展视频 diffusion 模型的自然候选。
在 dense 模型中，FFN 迫使所有 token 共享同一参数路径。对于统一视频预训练，这会导致严重子任务干扰：同一组参数要同时处理空间纹理与时间运动，也要适配 T2I、T2V 和 TI2V 等多种任务格式。对于 diffusion 模型，不同噪声区间还会带来训练动态迁移，例如低噪声下的细节重建和高噪声下的全局布局形成。
Sparse MoE 架构
在每个 transformer block 中，作者保留 single-stream FFN 残差分支结构，仅把 dense feed-forward 计算替换成 token-choice sparse MoE layer。该 MoE 设计吸收 DeepSeekMoE 的关键原则，包括细粒度专家切分和共享专家隔离，从而鼓励专家专门化，同时保持通用先验通路。
该式表示 token t 的 FFN 输入 u_t 会同时经过 always-on 的 shared experts，以及路由选中的 routed experts。shared experts 捕捉通用物理原则和空间一致性，routed experts 捕捉更专门的特征。
alpha_{t,j} 是 token t 与第 j 个 routed expert 的亲和度，r_j 是可学习路由 embedding。为控制分布式通信成本，作者采用 group-limited routing：先把专家分组，选 top K_g 组，再在选中组内选 top K_r 个专家。
无辅助损失的在线负载均衡
为保持负载均衡且不牺牲表示容量，作者为每个专家维护动态校正 bias b_j。该 bias 只用于 top expert 选择，不改变最终 gate 的原始 affinity 归一化。
被选中的专家保留原始亲和度，未选中专家置零。最后用路由缩放因子 gamma 对选中专家权重进行缩放。
如果某专家负载高于平均值，bias 被向下调；低于平均值则相反。可选的 mean-centering 保留相对负载信号，同时维持路由稳定。
Sequence-Wise Auxiliary Loss
视频生成包含长时空 token 序列，batch 级专家均衡可能掩盖单个视频内部的路由不均衡。因此作者采用 DeepSeek-V3 的 sequence-wise auxiliary balance loss，鼓励每个 packed video sequence 内部的专家使用也保持均衡。
f_j^(s) 是序列 s 中专家 j 的归一化分配频率，P_j^(s) 是该专家的平均路由概率。该损失被加到 diffusion loss 上，帮助路由在长视频序列内部更平衡。
MoE 配方探索与扩展实验
作者系统探索两类 MoE 设计空间：在固定 active compute 下扩大专家池总容量，以及在固定总参数量下比较细粒度路由与粗粒度路由。专家数从 64 到 128 带来明显改进，但 128 到 256 的收益边际变小，因此默认选用 E=128。固定 13B 总参数下，MoE 13B-A1.4B-E128 的细粒度路由优于 MoE 13B-A1.5B-E64 的粗粒度路由，说明更多小专家带来的组合路由空间更有利于视觉 token 的专门化执行路径。
在 active-parameter 可比设置下，MoE 13B-A1.4B 明显优于 Dense 1.3B。作者认为，稀疏 MoE 在不增加每 token 计算预算的情况下提供了约十倍总参数容量，从而缓解 dense baseline 的特征容量瓶颈。扩展到 30B、60B、120B 时，较大稀疏模型在对齐训练步数下持续获得更低训练损失，显示出可预测的 scaling law 趋势。推理方面，MoE 30B-A3B 在 1M token 长度下接近 Dense 3B 延迟，并相对 Dense 6B、14B、30B 显著更快。
Cascaded Refiner
直接生成高分辨率视频计算成本很高，因此作者采用级联设计：高容量 base generator 在较低分辨率下建模整体运动与场景布局，第二阶段 refiner 将视频从 480p 提升到 1080p。训练时，作者通过下采样目标视频模拟 base 输出，再加入高斯模糊、压缩等合成退化，构造低分辨率条件输入。
refiner 不是从纯高斯噪声开始，而是从退化条件 x_lr 附近的 noisy latent 开始，学习朝干净目标 latent x_0 的条件 rectified flow。这样能保留 base model 的全局语义和运动，把容量集中在高频细节、纹理锐化和局部伪影修正上。
4. 数据
视频生成模型性能与训练数据的规模、质量和多样性密切相关。但朴素扩大数据收集会遇到边际收益递减，并受到采集成本和计算开销限制。为此，作者建立了由多个协同模块组成的数据基础设施：Data Profiling Engine 提取每个样本的多维属性；World-Knowledge Topological Graph 将视觉概念组织成层级语义结构；Dense Structured Captioning 生成层级文本描述；Caption Rewriter 在推理时把简短用户 prompt 映射到结构化格式；最后用 Data Curriculum 管理每个预训练阶段的数据量和组成。
Data Profiling Engine
数据画像引擎把原始多模态样本转换成结构化多维记录，覆盖结构、语义、运动、相机和质量属性。它不是依赖自由形式标注，而是把每个样本投影到固定 schema，使异构图像和视频数据能被统一查询和处理。核心标注由强 VLM 生成，并辅以专门评分和检测模型。
记录分辨率、原生帧率、时长。视频使用 TransNetV2 检测 shot boundary，将视频切成时间连贯的 clip 级单元。
为每个样本分配语义标注和类别置信度，并提取前景/背景物体、环境、世界知识实体、视觉风格、动作和渲染文字。
结合 VLM 对相机运动和主体运动的估计，以及 LocoTrack 点跟踪得到的 tracked-motion 信号，过滤近静态或退化片段。
使用 HPSv3 计算美学分，使用 OmniAID 估计是否为 AI 生成，并由 VLM 标注清晰度、曝光、水印、logo、字幕、偏色和噪声。
World-Knowledge Topological Graph
为了让数据整理不仅感知质量，还理解分布，作者构建 World-Knowledge Topological Graph。它沿两个互补轴组织样本：图像与视频共享的语义概念树，以及仅用于视频样本的 action tree。语义树提供物体、场景、视觉风格和世界知识实体的共同词表；action tree 描述物体操作、运动、日常活动和人体姿态等动态行为。
语义概念树通过扩展标签的视觉含义并与常用 Wikipedia 概念聚类，形成 50,000 个细粒度叶子概念和 1,000 个中间视觉类别。顶层则用 LLM 辅助的 Discover-Classify-Consolidate 流程合并成 25 个视觉一致的顶层组。动作树则先规范化短而噪的 action tag，再用 VLM 生成说明并聚类成数百个规范动作节点。
Dense Structured Captioning 与 Caption Rewriter
作者为图像、普通视频、VLA 视频和第一人称视频生成 dense structured JSON captions。图像 caption 包括整体描述、相机标签、世界知识列表和突出元素；视频 caption 在图像 schema 上增加时间信息，将全局描述拆成场景发生了什么、相机如何移动，并为每个突出元素添加带时间戳的动作。VLA 视频把机械臂和夹爪视作突出元素，第一人称视频则描述佩戴者头部/身体运动与双手交互。
推理时用户通常只给短 prompt，而训练使用长而结构化的 JSON caption。为弥合这个 train-inference 分布差距，作者设计两阶段 Caption Rewriter。第一阶段 Expand 用 zero-shot LLM 把用户 prompt 扩展成简洁、动作中心的自然语言描述，避免幻觉化地补全过细属性；第二阶段 Map 用 LoRA 微调的 Qwen3.6-27B 将中间 prose 转成最终结构化 JSON，并受到 bounded completion 约束，只能保留显式信息并合理补低风险缺失字段。
Data Curriculum
作者将数据组织成与 progressive pre-training 对齐的五阶段课程。模态混合和数据源比例从低分辨率图像-only，逐步过渡到联合图像-视频、具身丰富视频、更高分辨率数据，以及最终的高质量视频 refinement 子集。
- 阶段 1：只使用 192p 图像，保留通过美学质量和最低分辨率过滤的样本。
- 阶段 2：在 192p 引入视频，同时加入超过 70,000 小时的具身取向素材，包括机器人操作、导航和第一人称视频。
- 阶段 3：图像与视频提高到 480p，并相应收紧美学与运动过滤。
- 阶段 4：使用 source-aware curation，把语料对齐到具身智能需求，上调稀缺但高价值的操作、导航、第一人称和 benchmark 数据。
- 阶段 5：使用小而高质量的 1080p 视频 refinement 子集训练级联 refiner，只保留极少比例视频池。
5. 基础设施
预训练基础设施
大规模视频预训练的系统瓶颈不同于图像-only 或语言-only 训练。训练管线必须读取异构图像和视频流，并管理由分辨率、时长和条件长度决定的可变序列长度。作者共同设计基础设施以解决六个核心问题：token-budgeted data loading、可组合多维并行、activation memory 管理、compile-first graph capture、显式通信预取，以及非阻塞 runtime I/O。
异构数据管线与 token-budgeted packing
数据管线不是按固定样本数 batching，而是按目标 token 预算构造 mini-batch。dataset 在采样配置下估计视觉与条件 token 长度，sampler 根据批内剩余 token 容量决定是否追加样本。经过 VAE 和条件编码后，每个样本产生视觉 token x_i 和条件 token y_i，所有有效段被拼成一维序列：[x_1, y_1, x_2, y_2, ..., x_N, y_N]。配套的 cumulative sequence lengths 和 attention masks 使 FlashAttention 等变长 attention kernel 能一次 forward 处理 packed batch，同时避免跨样本 attention 泄漏。
可组合并行训练
分布式训练栈包括四个可组合并行维度：Data Parallelism (DP)、Fully Sharded Data Parallelism (FSDP)、Sequence Parallelism (SP) 和 Expert Parallelism (EP)。DP 负责外层吞吐扩展；FSDP 分片参数、梯度与优化器状态；Ulysses SP 将长视频序列沿 token 维切分，使序列长度成为集群共享资源；EP 则把 expert pool 分布到不同 rank，并通过 all-to-all 将 token 派发到托管其选中专家的设备。
Activation checkpointing 与 compile-first
activation checkpointing 通过在 backward 中重算部分 forward 激活来控制长 packed 视频序列的显存。系统支持 full block、layer-level、operation-level 和 memory-budget-driven checkpointing。图编译不是可选兼容功能，而是关键吞吐优化。训练管线在 FSDP2 sharding 前应用 torch.compile + Inductor，使 local block computation 先融合，再挂接 sharding hooks。内部 benchmark 中，full-block activation checkpointing 结合 compilation 使 MFU 提升约 1.9x。
后训练与服务基础设施
语言模型的 RLHF/RLVR 框架通常以 token sequence 和 per-token probability 为中心，而视频 diffusion 的优化目标与 denoising 过程或 latent trajectory 紧密耦合，中间状态是高维视频 latent，log-probability、credit assignment 和 reward evaluation 都与语言建模不同。作者因此设计 diffusion-native RL infrastructure，统一管理 conditioning、latent trajectories、rewards 和 transition-level training data，并支持 GRPO 风格反向过程优化与 forward-process objective。
性能方面，30B 模型全参数权重同步每步约 20 秒，rollout 与 training 间的 GB 级中间状态跨多 GPU 节点传输在 50 毫秒内完成，完整 RL step 的端到端 MFU 达 43.9%。服务上，LingBot-Video 通过 Diffusers-compatible model package 和 SGLang Diffusion runtime 部署，支持 T2I、base T2V、TI2V，并可调用第二阶段 refiner。
用于回归测试和数值一致性检查，尽量贴近主训练代码，在 scheduler、routed expert 执行和精度策略上保持保守。
面向高吞吐、快速视觉筛查和低延迟交互，用 FP8 SGLang Triton kernels 优化 routed expert 执行，并结合序列分片与并行 CFG。
6. 训练
Progressive Pre-Training
如果从一开始就同时引入高分辨率视频、多种条件模态和异构数据源，大规模视频预训练非常难优化。对 sparse MoE diffusion model 而言，router 还需要在不同任务与模态之间建立专门化专家路径，这进一步增加了优化不稳定、路由塌缩和样本质量不佳的风险。
作者设计 progressive pre-training curriculum，让学习目标以更友好的顺序进入：先建立稳定的帧级视觉先验，再加入时间建模，扩展任务条件，调和数据分布，最后细化高分辨率细节。五个阶段分别是：
- 图像-only 先验获取：把图像视为 T=1 的视频序列，学习物体形状、纹理和场景美学，并为 sparse router 提供稳定 warmup。
- 低分辨率时间学习：引入视频数据和 T2V 任务，让模型专注于时间动态、相机运动和帧间一致性。
- 多任务条件：将视频任务从纯 T2V 扩展到 T2V + TI2V，学习保留给定初始帧并预测连贯未来帧。
- 加权分布调和：切换到 weighted sampler，用预定义权重从高价值、高质量数据源采样。
- 高分辨率细化：训练 refiner，把上采样的低分辨率 base 输出映射到干净高分辨率目标。
多方面奖励的强化学习后训练
视觉生成的 RL 后训练常用整体 reward model 输出单一标量，代表总体人类偏好或文本对齐。但视频生成天然是多维的，并容易出现静态模式塌缩、时间幻觉和物理不合理等复杂失败模式。作者把评价解耦为六个专门 reward model：视觉质量、文本-视频对齐、动态程度、运动连贯性、人类动作一致性和物理合理性。
用 HPSv3 等信号综合评价视觉保真度、清晰度、伪影和 caption 级对齐。
基于 temporal VQA 的细粒度 action-centric 奖励，按实体、动作和时间窗口检查生成是否满足 caption。
由 VLM 评估 motion intensity，鼓励适当动态，打破静态图像式视频塌缩。
估计生成帧中的真实运动速度，惩罚 24 fps 播放下显得像慢动作的结果。
评估人体拓扑、脸、手、肢体数量和半透明身体等问题，并用推理轨迹监督模型。
检查运动因果、物体持久性、非穿透、材料运动真实性和任务状态变化是否实现。
On-Policy GRPO
作者用 Group Relative Policy Optimization (GRPO) 最大化多方面奖励。设置遵循 Flash-GRPO 的 single-step exploration：每个 rollout 仅在一个去噪步骤随机，该步骤在组内共享；噪声通过 Coefficients-Preserving Sampling (CPS) 注入；policy gradient 按 timestep 重加权；训练严格 on-policy，不使用 KL regularization。
CPS 避免常见 SDE 转换注入过多噪声，使样本停留在 deterministic sampler 的 marginal path 上，reward 始终在干净视频上评估。
不同 reward 的尺度和方差不同，因此在组内逐 reward 归一化后按权重融合。每个 rollout batch 只用于一次梯度更新，因此重要性比率始终为一。
Negative-Aware Finetuning with Real-World Videos
仅依赖 reward model 会带来 reward hacking 风险。作者因此把真实世界视频用作直接偏好信号：真实 clip 是 positive/chosen，同 prompt 下模型生成视频是 negative/rejected。优化采用 DiffusionNFT 的 forward-process 框架，避免对 denoising trajectory 反向传播。
在每个训练步，真实视频经 VAE 得到 clean latent x_0^w，当前 policy 为同一 prompt 生成 N 个视频形成 rejected pool。chosen 与 rejected latent 用同一随机 timestep 和同一噪声扰动。模型维护 active policy 与 EMA old policy 两条预测路径，并构造 implicit positive policy 与 implicit negative policy：前者鼓励贴近目标，后者外推 old policy 用于抑制负样本。
Distillation
为提升推理效率，作者按照 improved Distribution Matching Distillation (DMD2) 框架将 LingBot-Video 蒸馏成少步生成器。学生生成器 G_theta 以统一条件 c 和噪声 z 为输入，生成 x_0。对采样 timestep t，作者扰动生成 latent video 并最小化 reverse-KL 风格的 distribution-matching objective，使学生分布匹配教师视频 diffusion 模型。同时保留轻量 GAN 目标以提供真实数据监督并改善视觉质量。
7. 评测
内部 benchmark
为验证 LingBot-Video 作为物理世界模型的能力，作者在内部 benchmark 上从两个维度评估：General Quality 和 Embodied Domain。General Quality 关注基础视频生成能力，包括 motion quality、prompt following、visual consistency 和 aesthetic quality。Embodied Domain 则聚焦与具身 AI 和现实交互相关的高难场景，包括 human interaction、physical simulation、robotics、egocentric perspective 和 navigation。
论文将 LingBot-Video 与五个开源模型比较：NVIDIA Cosmos 3 Super-Image-to-Video、Wan 2.2 A14B、LongCat-Video、Hunyuan Video 1.5 和 LTX-2.3。TI2V 任务中，LingBot-Video 在 general quality 与 embodied domain 分数上都取得开源模型第一。T2V 任务中，它在 general quality 中排名第二，但在 embodied domain 上仍超过 Cosmos 等竞争 baseline。这说明即使没有初始图像条件，模型也具有较强的内在物理先验。
公开 benchmark
作者进一步在 RBench 与 Physics-IQ Verified 上评测。RBench 面向机器人中心交互正确性，包含 650 个 text-image prompt，分为 250 个任务取向场景和 400 个 embodiment-specific 场景。Physics-IQ Verified 用 66 个受控物理实验评估视频生成模型是否能预测真实物理现象，而不是只生成视觉上合理的运动。
| 模型 | 类型 | Avg. | Manip. | Spatial | Multi-entity | Long-hor. | Reasoning | Single arm | Dual arm | Quadruped | Humanoid |
|---|---|---|---|---|---|---|---|---|---|---|---|
| LingBot-Video | open-source | 0.620 | 0.578 | 0.643 | 0.444 | 0.634 | 0.505 | 0.636 | 0.639 | 0.758 | 0.689 |
| Cosmos3 Super | open-source | 0.581 | 0.487 | 0.642 | 0.444 | 0.591 | 0.395 | 0.615 | 0.623 | 0.739 | 0.691 |
| LongCat-Video | open-source | 0.437 | 0.372 | 0.310 | 0.220 | 0.384 | 0.186 | 0.586 | 0.576 | 0.681 | 0.621 |
| Wan 2.2 A14B | open-source | 0.507 | 0.381 | 0.454 | 0.373 | 0.501 | 0.330 | 0.608 | 0.582 | 0.690 | 0.648 |
| HunyuanVideo 1.5 | open-source | 0.460 | 0.442 | 0.316 | 0.312 | 0.438 | 0.364 | 0.513 | 0.526 | 0.634 | 0.595 |
| Wan 2.6 | closed-source | 0.607 | 0.546 | 0.656 | 0.479 | 0.514 | 0.531 | 0.666 | 0.681 | 0.723 | 0.667 |
| Seedance 1.5 pro | closed-source | 0.584 | 0.577 | 0.495 | 0.484 | 0.570 | 0.470 | 0.648 | 0.641 | 0.680 | 0.692 |
| Veo 3 | closed-source | 0.563 | 0.521 | 0.508 | 0.430 | 0.530 | 0.504 | 0.634 | 0.610 | 0.689 | 0.637 |
在 Physics-IQ Verified 的 I2V 设置中，LingBot-Video 得到 40.4 分，在被评估开源模型中排名第一，并略高于 Cosmos 3 的 39.5，明显超过 Hunyuan Video 1.5 的 33.4 和 Wan 2.2 A14B 的 32.2。论文据此认为，模型的 world-modeling 能力从机器人交互场景泛化到了更广义的物理动态。
用户研究
作者使用 Good-Same-Bad (GSB) 人类评估，将 LingBot-Video 与开源和商业视频生成模型比较。每个 prompt 下，人类评分者看到随机匿名的两段视频，判断第一段相对第二段是 Good、Same 还是 Bad。研究覆盖 400 个 prompt 的比较对。
T2V 中，LingBot-Video 明显优于 Wan 2.2 5B、LongCat-Video、Wan 2.2 A14B 和 LTX-2.3 等开源 baseline；与 HunyuanVideo 1.5 和 Cosmos 3 的比较更接近。TI2V 中优势更稳定：相对所有评估开源 baseline，Good 比例都高于 Bad，说明图像条件下该模型作为开源模型更强，但论文也指出它仍落后于更强商业模型。
8. Action-to-Video 后训练
具身世界模拟需要模型从当前状态和计划动作序列出发，展开合理的未来视觉轨迹。这样的模拟未来可用于策略评估、test-time planning、机器人数据扩展和交互式策略改进。为检验 LingBot-Video 是否能把预训练得到的物理合理性、空间关系和时间演化理解迁移到下游设置，作者进一步将其后训练为 action-conditioned world model，记为 LingBot-Video-A2V。
A2V 设置中，模型只条件于初始世界状态，即第一帧图像和文本状态描述，以及机器人动作参数，生成动作条件下未来世界状态的视觉 rollout。后训练设计包括三部分：第一，data recaptioning，把 prompt 改写为只描述初始状态，并严格检查是否泄漏未来观测或动态；第二，action representation and injection，把未来机器人动作 chunk 转成相对动作，经过 ActionEmbedder 投影后与视觉 latent 对齐，并作为 residual signal 注入 transformer block；第三，training setup，使用 Fourier GR-1 后训练数据，训练 ActionEmbedder 和完整 transformer backbone，而不是只训练动作分支。
作者使用 8k steps、global batch size 64、learning rate 1e-5 进行后训练。预训练模型提供动作相关的物理因果、空间关系和时间演化先验，而重写且过滤泄漏的 GR-1 trajectory 提供干净动作条件 rollout 监督。
9. 结论与讨论
本文提出 LingBot-Video，一个面向具身智能的 MoE 视频基础模型，试图弥合数字创意与物理执行之间的鸿沟。通过从零开始扩展 MoE-based Diffusion Transformer，作者在建模容量与推理效率之间取得平衡，并将其视作下一代机器人“大脑”发展的方向之一。
作者希望 LingBot-Video 作为具身视频模拟器，在机器人社区中扮演三类角色。第一，作为 Data Engine，以低成本大规模合成高保真训练数据，缓解机器人数据稀缺。第二，作为 Policy Evaluator，用视觉模拟器在不承担真实世界风险的情况下安全评估机器人策略。第三，作为 Action Planner，预测“接下来会发生什么”，辅助机器人实时决策与规划。
通过开源 LingBot-Video，作者希望与社区协作推进具身物理引擎和下一代机器人智能的边界。
附录：结构化 caption 示例
附录给出四类训练数据的结构化 caption 示例：图像、普通视频、VLA 视频和第一人称视频。这些示例说明 dense structured caption 不只是简单描述画面，而是把相机、世界知识、主体元素、位置、材质、相对大小、动作时间戳、人物属性和交互关系都组织成 JSON 字段。
宫殿大厅图像被描述为巴洛克或新古典主义风格空间，包含拱顶、红色墙板、柱子、拼花地板、肖像、王座和水晶吊灯，并为每个元素记录位置、大小、形状、颜色、纹理和关系。
户外烹饪视频包含肉卷、铁板、手和烟雾等元素，每个动作都有时间戳，例如手在特定时间进入画面并放置肉卷。
机器人货架场景描述左右机械臂、黄瓜、购物车和展示架，并把右机械臂的下移、释放、回撤分成清晰动作阶段。
修理割草机场景描述佩戴者头部/身体运动、双手与黑色 cable 的交互，并保留第一视角下的相机运动与物体关系。
本 HTML 的插图均来自 arXiv 源码包中的独立图像文件。PDF 格式的图是从对应单个 figure PDF 转换为 PNG，并未从整篇论文 PDF 中裁剪。