Vidu S1 Real-Time Video Generation Speech Control Streaming Avatar

Vidu S1: A Real-Time Interactive Video Generation Model

这篇论文介绍 Vidu S1：一个面向数字角色的实时交互视频生成模型。用户可以在视频生成过程中随时用语音指令控制未来内容； 系统目标不是“离线等一段视频生成完”，而是像直播、对话、虚拟主播一样持续响应、持续生成。

42 FPS540p 视频在普通消费级 GPU 上达到实时吞吐。
无限长度通过流式生成减少漂移、模糊和视觉崩坏。
语音控制用户语音作为显式控制信号，引导后续视频内容。
3 阶段训练双向 teacher、因果 teacher、DMD+PCM 蒸馏。

摘要翻译与定位

论文提出 Vidu S1，一个支持数字角色语音控制的实时交互视频生成模型。用户可以在任意时刻通过语音指令控制视频生成内容。 Vidu S1 支持无限长度的实时视频生成，并避免模糊、漂移或视觉扭曲。该系统基于 TurboDiffusion 与 TurboServe， 能在普通消费级 GPU 上以最高 42 FPS 输出 540p 实时视频。用户可以上传真实人物、动漫角色和宠物的自定义图片， 并选择不同语音音色获得个性化体验。实验显示，Vidu S1 在所有测试指标上取得最佳性能，同时完全满足实时推理需求。 论文还提供可在线体验的 demo：vidu.com/vidu-stream。

定位一句话：Vidu S1 把视频生成从“离线内容生产”推进到“可持续、可打断、可语音控制的实时视觉交互”。

背景与问题

离线生成的限制

Sora、Veo、Wan、Seedance 等模型能生成高质量视频，但多是一次性离线生成：用户输入 prompt，等待数分钟甚至更久，最终得到完整视频。

交互场景的需求

面对面交流、直播、游戏、虚拟陪伴等场景要求内容即时响应。论文用需求模型说明，实时交互视频的潜在需求可能显著高于可复播的离线视频生成。

长程稳定性的难点

自回归视频生成中小错误会随时间累积，引发漂移、不稳定和视觉崩坏。实时系统还必须同时解决推理 kernel、服务调度和部署成本。

作者的核心判断：实时交互视频生成是未来工业方向之一，但它不能只靠模型结构，需要模型、数据、训练、缓存、推理服务共同设计。

数据准备

Vidu S1 的数据管线将异构原始视频变成高质量、时间连贯、语义标注完整的训练片段。原始数据主要来自两类： 直播/ talking-head 视频，以及电影电视剧中的高质量素材。前者学习面部表情、肢体动作和唇形同步， 后者提升不同镜头、场景和视觉风格下的泛化一致性。

渐进式过滤

数据先按帧率、分辨率、音视频完整性、音画同步等指标去重和预过滤，再按镜头边界切分为 3 到 60 秒的单镜头片段。 过滤关注主体检测、画面干净度、视觉质量、内容安全、镜头稳定性和交互性。

专家模型 + Omni 模型

只用专家模型会有盲区，例如人脸检测难以处理夸张 2D 动画角色，图像专家模型也可能因只看采样帧而误判。 作者加入 omni model 对完整视频做全局语义理解，补足局部专家模型的不足。

语音分离与说话人归属

为学习高保真唇形同步，系统提取语音，使用 VAD 和 active speaker detection 标注语音时间段及对应说话人。 片段被分为 onscreen、offscreen、overlap；重叠语音直接过滤。

双粒度 Caption

论文使用整段 caption 与 speech-aware chunk-level caption。前者提供全局语义锚点，后者提供与时间片段对齐的细粒度条件， 覆盖外观、动作、情绪、场景、镜头、灯光、对白、音效和背景音乐等。

训练方法与公式解释

联合视频-音频状态

作者把第 i 帧的干净视频表示和音频表示拼接成联合状态，让模型学习同步生成。

联合干净状态：
x_0^i = [v_0^i; a_0^i]

这个公式约束视频与音频不再作为两个孤立流建模，而是作为同一时刻的联合 latent。它用于后续双向 teacher、因果 teacher 和蒸馏阶段， 主要减少音画不同步、口型不对齐和跨模态条件割裂带来的误差。

Stage 1: 双向 Teacher

第一阶段训练一个能看完整序列条件的高质量双向视频-音频生成 teacher。

双向去噪：
x_hat_0^{1:N} = f_bi(x_tj^{1:N}, t_j, c^{1:N})
损失：
L_bi = E || f_bi(x_tj^{1:N}, t_j, c^{1:N}) - x_0^{1:N} ||_2^2

该目标约束模型从带噪完整序列恢复干净完整序列。它用来建立后续因果模型和蒸馏模型的高质量生成先验， 减少基础画质、音画协调和动作连贯性误差。

Stage 2: 因果 Teacher

第二阶段从双向 teacher 初始化因果 teacher，让每个目标状态只能访问当前可用条件和历史前缀。

自回归去噪：
x_hat_0^i = f(x_tj^i, t_j, c^{<=i}, x_tau_j^{ 因果损失：
L_causal = E || f(x_tj^i, t_j, c^{<=i}, x_tau_j^{

该公式约束模型只能利用当前和过去的信息来预测当前干净状态。训练时混合 Teacher Forcing 与 Diffusion Forcing： 前者用干净历史增强同步和一致性，后者用带噪历史缩小训练-推理差距，减少 rollout 时误差累积。

Stage 3: DMD + PCM

第三阶段将自回归模型蒸馏成少步生成器，提升实时推理效率，同时用 PCM 抑制 DMD 可能带来的模式崩塌。

DMD 梯度方向：
grad_theta L_DMD = E[ w(t)(score_data - score_theta)^T · d x_t / d theta ]

PCM 一致性：
L_PCM = E[ lambda(t_n) d_PERC(f_theta(x_{t_{n+1}}, t_{n+1}), f_theta-(x_tilde_{t_n}, t_n)) ]

DMD 约束生成分布靠近真实数据分布，用于减少采样步数；PCM 约束相邻阶段预测在感知特征上保持一致， 用于降低相机漂移、内容退化和时间不一致等错误。

流式推理与基础设施

推理阶段使用 sliding-window decoding 生成任意长的视频-音频序列。在第 i 个自回归步骤中，注意力只看固定长度窗口： 持久参考上下文、窗口内缓存的历史视频-音频状态、当前正在去噪的状态。这样每步延迟不会随已生成长度持续增长。

Persistent Reference Context

由用户首帧和第一个生成状态的 latent token 组成，类似 LLM 的 sink token，贯穿整个生成过程以稳定身份和全局条件。

RoPE Repositioning

先缓存历史 KV，再按当前窗口相对位置应用 RoPE，避免重复计算历史特征，同时保持跨窗口位置一致性。

TwinCache

为历史状态维护 noisy cache 与 clean cache。中间去噪步用 noisy cache 稳定传播动态，最终步用 clean cache 恢复细节。

推理加速栈：Attention 使用 SageAttention、SpargeAttention、Sparse-Linear Attention；线性层使用自定义 per-block W8A8 GEMM；再叠加 kernel fusion、CUDA Graph 和 Ulysses-style context parallelism。

源码图解

Vidu S1 overview

Vidu S1 总览

展示语音引导的未来控制、高效无限时长推理，以及真实人物、动漫和宠物等自定义角色。

source/src/figs/Overview_final.pdf
Data pipeline

数据过滤管线

从原始视频到训练数据的渐进过滤：预过滤、单镜头切分、主体过滤、质量与安全检查、说话人分离、caption 生成。

source/src/figs/data-pipeline4.pdf
Preference comparison

人类偏好评测

Vidu-StreamBench 上与 HeyGen、LemonSlice、Kling Avatar 2.0 的成对偏好比较，Vidu S1 在主体可控性上优势明显。

source/src/figs/preference_comparison_styled.pdf
Visual comparison

指令跟随与视觉一致性对比

同样参考图、音频和动作指令下，论文展示 Vidu S1 更好地抬头、思考、点赞，并保持长程视觉稳定。

source/src/figs/visual_compare1.pdf

实验结果

论文使用内部 Vidu-StreamBench 评估实时交互 avatar 生成，也在公开 HDTF 上报告标准指标。 Vidu-StreamBench 含 500 个样本，每个样本包含动作指令、参考首帧和音频片段，用来测试自然动作、长期稳定、身份保持、指令跟随和音画一致性。

模型 指令跟随 实时 分辨率 / 速度 CSIM ↑ Sync-D ↓ DOVER ↑
HeyGen 否 是 25 FPS 0.9191 8.037 0.4864
Kling Avatar 2.0 是 否 未公开 0.8688 8.158 0.5406
LiveAvatar 否 是 未公开 0.8127 8.447 0.5639
Vidu S1 是 是 540p，42 FPS 0.9192 7.8470 0.5660
实验结论翻译：Vidu S1 同时支持实时生成和指令跟随，并在身份保持、音画同步、感知视频质量上取得最佳整体结果。42 FPS 超过 30 FPS 实时播放阈值，说明它面向直播对话、虚拟主持、娱乐 avatar 和教育代理等低延迟应用具有可行性。

局限与批评

1. 细节高度系统化，但复现门槛高

论文描述了模型、数据、蒸馏、缓存和服务栈，但许多性能依赖自研 kernel、调度和基础设施，普通研究者难以完整复现。

2. 内部 Benchmark 占比较大

Vidu-StreamBench 很贴近真实交互场景，但它是内部 benchmark。其样本构成、标注和偏好评测细节会影响结论解释。

3. 主要聚焦数字角色

论文标题是实时交互视频生成，但核心演示与评估集中在语音控制 avatar；更开放的多主体、多场景交互还需要额外验证。

4. 安全与滥用讨论偏少

自定义真人图像与音色控制带来身份冒用、深度伪造和授权风险。数据过滤提到安全，但部署级治理仍值得单独展开。

建议阅读路径

  1. 先读摘要和总览图。
    明确 Vidu S1 的目标：实时、可持续、语音控制、个性化 avatar。
  2. 再读数据管线。
    这篇论文很重视数据质量，过滤与 caption 设计直接决定角色可控性和音画一致性。
  3. 重点读三阶段训练。
    双向 teacher 保质量，因果 teacher 学流式生成，DMD+PCM 把质量压缩到少步推理。
  4. 最后读 TwinCache 和加速栈。
    这部分解释为什么模型能做到无限长稳定生成和 42 FPS 实时输出。
一句话带走：Vidu S1 的价值不只是“又一个 avatar 模型”，而是展示了实时交互视频生成需要从数据、训练、缓存、kernel 到服务系统一起闭环设计。