OPSD-V：面向少步自回归视频生成器后训练的 On-Policy Self-Distillation

本文提出 OPSD-V，一种面向少步自回归（AR）视频 Diffusion 模型后训练的 On-Policy Self-Distillation 范式。现有少步 AR 视频生成器通常通过 DMD 风格的蒸馏得到，能够以较低延迟生成长视频，但在长时间自回归 rollout 中仍会出现误差累积和运动动态减弱。OPSD-V 的目标是在保留原始 few-step inference path 的同时，进一步降低长时域退化并改善运动动态。

核心思路是在训练时引入真实长视频作为 temporal context，并提供密集的 trajectory-level supervision。Student 严格遵循推理时的 rollout，每个 chunk 都以自身此前生成的 KV Cache 为条件；与此同时，Teacher 在完全相同的 Student 访问到的 denoising states 上计算预测，但使用更干净、符合 AR 一致性的 temporal cache，其中较早历史可以替换为真实视频 context。为保持自回归一致性并避免 Teacher 变成完全 teacher-forced 的 oracle，两条分支共享初始真实视频 prefix，且 Teacher 保留最近一个由模型生成的 cache chunk。

这一设计在 on-policy AR cache dynamics 下提供了密集的 denoising-level corrective targets，同时不改变 sampler、denoising steps 数量或推理阶段的 cache mechanism。作者将 OPSD-V 应用于 Self-Forcing 和 LongLive 两种代表性少步 AR 视频模型。实验显示，OPSD-V 在 visual quality、motion dynamics 和 VBenchLong 分数上均有稳定改善。在包含 10 名参与者、20 对视频的用户研究中，OPSD-V 在总体偏好判断中获得 66.0% 的选择率，排除平局后为 82.5%。

视频生成已经从短时、离线的 clip synthesis 发展到能够生成高分辨率、符合文本、具有时间连贯性的 video foundation models。现代视频生成模型大多建立在 Diffusion Transformer（DiT）之上，在视觉保真度、运动质量、prompt following 和长视频生成方面取得了显著进展。然而，大多数大规模视频 foundation models 仍主要面向离线生成：模型先采样完整视频，之后才将结果交付给用户，而不是在交互过程中持续输出。

实时视频生成要求模型以较低的观看延迟顺序产生内容，因此自然适合 Autoregressive（AR）视频模型：每个新 frame 或 chunk 都以之前的输出为条件，并复用 Transformer KV Cache 来高效维护历史 context。为了让 AR 生成变得实用，近期方法把 causal video modeling 与 few-step distillation 结合起来，把速度较慢的 Diffusion 或 Flow 模型压缩成高效的 few-step generator。CausVid 将 bidirectional video DiT 蒸馏为 causal AR Student；Self-Forcing 进一步在训练时让模型基于自己生成的 frame 和 rolling KV Cache 进行 rollout，使训练更接近推理。

尽管 self-forcing 风格训练与 DMD 风格 few-step distillation 结合得很成功，现有 AR 视频生成器仍存在长时域退化。一个根本限制是，DMD 风格训练使用的 target distribution 通常由 bidirectional short-clip video Teacher 提供，无法直接监督真正的长自回归轨迹。延长 rollout 长度或采用 attention sink 可以缓解误差累积，但监督仍受限于 clip-level Teacher 的能力和 temporal range。短 clip Teacher 只能提供 clip 范围内的 score 或 distribution signal，难以告诉模型在更长 rollout 中如何修复逐步恶化的 KV Cache。

这引出了本文的核心问题：真实长视频能否在保留原始 few-step AR generation capability 的同时，作为更强的训练监督？OPSD-V 的答案是：不要把真实长视频直接当作 teacher-forcing target，而是把它作为 privileged temporal context，用来在 Student 自己的 rollout states 上构造更干净的 Teacher distribution。Student 继续使用原始 few-step sampler，并把自生成 chunk 写入自己的 KV Cache；Teacher 在相同时间位置、denoising timestep 和 Student 访问到的 noisy latent 上计算预测，但使用由真实长视频构成的 cleaner cache。

本文在一个包含 3,800 段、每段约一分钟的视频数据集上进行 OPSD-V 后训练，并在 Self-Forcing 和 LongLive 上验证通用性。两者都使用 LoRA-based continued training。作者还让 Self-Forcing 使用与 LongLive 相同的 attention-sink mechanism，以提高长视频比较的公平性。实验表明，OPSD-V 能改善运动动态并减轻长 rollout 中的误差累积，同时保留原有的 few-step AR inference path。

Video diffusion foundation models。Diffusion 和 flow-matching 生成范式通过反复 denoising 或从 noise 到 data 的连续 transport 合成视频。结合可扩展的 DiT 架构后，这些模型在文本到视频保真度、运动质量、prompt following 和时间一致性方面取得进展。CogVideoX、HunyuanVideo、Wan 和 LongCat-Video 等系统通过更强的 Transformer backbone、latent video autoencoder 和大规模训练语料扩展了视频生成能力。它们通常用 bidirectional attention 对 temporal window 做 denoising，离线生成质量强，但完整窗口 denoising 和多步 sampling 不适合实时或交互式场景。

Autoregressive video generation and forcing-based training。AR 视频模型按顺序生成 frame 或 chunk，并通过 KV Cache 复用历史 context。早期 causal video diffusion 方法多采用 teacher-forcing 或 diffusion-forcing，让模型在干净或部分加噪的 context 上预测未来 frame。CausVid 使用 DMD 风格 distillation 将 bidirectional video DiT 转成 causal few-step Student；Self-Forcing 通过 AR self-rollout 降低 exposure bias；Self-Forcing++、Causal Forcing、Reward Forcing、LongLive 以及各种 cache management 方法进一步延长 horizon 或提升流式稳定性。OPSD-V 与这些工作不同，重点是对已经高效的 few-step AR video model 做 post-training，并在 Student 实际 inference-time cache states 上提供 dense denoising-level supervision。

On-policy self-distillation。OPSD 的目标是让模型在自己真实访问到的 trajectory 上继续改进。对 AR language model 而言，同一个模型可以在不同 context 下分别扮演 Student 和 Teacher：Student 从当前 policy 采样，Teacher 使用更丰富的 in-context information 生成 target。D-OPSD 将这一思想扩展到 step-distilled text-to-image diffusion。OPSD-V 将其扩展到 AR 视频，指出 on-policy state 不仅包括 noisy latent 和 denoising timestep，还包括此前生成 chunk 写入的、不断演化的 KV Cache。

Few-Step Autoregressive Video Generation

设视频被划分为 N 个 latent chunks，记为 x₁:N = {x₁, ..., xₙ}，c 表示文本 prompt 或其他 condition。AR video generator 将视频分布分解为每个 chunk 在此前 chunk 条件下的乘积。因果视频 Diffusion Transformer 通过 Transformer key-value（KV）cache 实现历史 context，因此每次生成新 chunk 时不需要从头重新计算历史。

p_theta(x_{1:N} | c) = product_{i=1}^N p_theta(x_i | x_{<i}, c)

少步 AR 模型从 Gaussian noise zᵢ,ₖ 开始，在固定 timestep schedule 上进行少量 denoising。fθ 是 causal video DiT 的 velocity predictor，在第 k 步根据当前 noisy latent、timestep、文本条件和历史 cache 预测 denoising direction；数值 solver Φ 再据此更新 latent，最终得到 clean latent chunk x̂ᵢ。

v_hat_{i,k} = f_theta(z_{i,k}, t_k, c, h_i)

z_{i,k-1} = Phi(z_{i,k}, t_k, t_{k-1}, v_hat_{i,k}),   k = K,...,1

h_{i+1} = h_i + KV_theta(x_hat_i)

Few-step AR generator 通常将 causal video modeling 与 DMD 等 distillation objective 结合，把强但慢的 Diffusion model 压缩成 one-step 或 few-step generator。CausVid 以 DMD 风格将 bidirectional Teacher 适配为 causal Student，Self-Forcing 则进一步让训练过程使用自身生成的 frame 和 rolling KV Cache。

On-Policy Self-Distillation

给定 query q，模型先作为 Student 从当前 policy 采样 output trajectory。随后同一个模型或其 EMA copy 在更强的 context r 下作为 Teacher。Student 和 Teacher 使用同一个 Student sampled prefix，但 Teacher 额外获得 r，并在每个位置匹配两者的 distribution。

L_OPSD = E_{o_hat ~ pi_theta}[ sum_m D( pi_bar_theta(. | q,r,o_hat_<m) || pi_theta(. | q,o_hat_<m) ) ]

D-OPSD 将该思想用于 step-distilled image diffusion：Student 沿自身 few-step denoising trajectory 运行，Teacher 用 text prompt 和 paired real image 构造更丰富的 context。对 AR 视频而言，state 更复杂，因为它还包含历史生成 chunk 形成的 temporal KV Cache。OPSD-V 正是要在这个 cache-aware state space 中实现 on-policy self-distillation。

总体流程

给定由真实长视频切分出的 latent chunks xᵈᵃᵗᵃ₁:ₙ，首先把第一个真实 chunk 作为 Student 和 Teacher 共享的 real-video prefix。它只负责初始化 KV Cache、锚定场景，不参与生成和 loss。对于 i=2 开始的 chunk，Student 使用原始 inference-time rollout：用固定的 few-step sampler 做 denoising，把自身生成的 chunk 写入 cache，然后从这个 self-generated temporal state 继续。

关键设计是 Student 保持 fully on-policy，而 Teacher 使用真实长视频 context 构造更干净的 distribution。对每个 chunk，Teacher 在与 Student 相同的 noisy latent 和 timestep 上计算 velocity，但使用不同 temporal cache：较旧历史替换为真实视频 chunks，最近一个 chunk 仍保留 Student 生成的结果。例如在第 7 个 chunk，Student 条件为 [real₁, student₂, student₃, student₄, student₅, student₆]，Teacher 条件为 [real₁, real₂, real₃, real₄, real₅, student₆]。

Student On-Policy Rollout

h^s_2 = KV_theta(x^data_1)

v_hat^s_{i,k} = f_theta(z^s_{i,k}, t_k, c, h^s_i)

z^s_{i,k-1} = sg( Phi(z^s_{i,k}, t_k, t_{k-1}, v_hat^s_{i,k}) )

h^s_{i+1} = h^s_i + KV_theta(x_hat^s_i)

等价地，生成第 i 个 chunk 前，Student cache 由第一个真实 chunk 加上此前所有 Student-generated chunks 构成。因此监督不是在 clean history 或 Teacher trajectory 上进行，而是在模型部署时实际会访问的自生成 KV-cache states 上进行。

AR-Consistent Real-Video Teacher Cache

Teacher 参数记为 θ̄。在 LoRA post-training 中，base video generator 冻结，Student LoRA 可训练，Teacher LoRA 是 Student LoRA 的 exponential moving average（EMA）副本。Teacher 只用于产生 stop-gradient target。

v_hat^t_{i,k} = f_bar_theta(z^s_{i,k}, t_k, c, h^t_i)

h^t_i = KV_bar_theta(x^data_1) + ... + KV_bar_theta(x^data_{i-2}) + KV_bar_theta(x_hat^s_{i-1})

两条分支使用相同的 attention-sink cache mechanism 和 rolling relative RoPE，sink positions 随 rollout 一致更新。因此 Student 与 Teacher 的差异主要来自 cache content，而不是 positional indexing 不一致。

Dense Denoising-Level Objective

L_OPSD-V = (1 / |S|) * sum_{(i,k) in S} || v_hat^s_{i,k} - sg(v_hat^t_{i,k}) ||_2^2

S = { (i,k) | i > M, k=1,...,K },   M=7, K=4

Memory-Efficient Truncated Backpropagation

如果等完整长视频 rollout 结束后才反向传播，activation memory 会随 rollout 长度和 denoising steps 增长。由于 solver transition 是 stop-gradient，且 KV-cache writes 不保留梯度，OPSD-V 可以对每个监督 pair 立即反向传播并累计参数梯度，随后释放当前 activation graph，最后在完整 rollout 结束时统一更新 Student LoRA，再更新 EMA Teacher。

nabla_theta L_OPSD-V = sum_{(i,k) in S} nabla_theta ( l_{i,k} / |S| )

Experimental Setup

训练数据。作者构建了一个定制的长视频数据集，包含 3,800 段视频，每段约一分钟，以 480p 处理。内容包括自然景观、大幅相机运动和以人为中心的场景。通过 optical flow 和其他基本质量信号过滤低运动、不稳定或低质量样本；所有视频使用 Wan2.1 VAE 编码成 latent chunks。训练时第一个 chunk 是两条分支共享的 real-video prefix，后续 chunk 做 AR rollout。

Base models。实验使用 Self-Forcing 和 LongLive 两个代表性 few-step AR video generator，二者都建立在 Wan2.1-T2V-1.3B backbone 上。Self-Forcing 从官方 base checkpoint 开始训练 LoRA adapter；LongLive 使用官方 base model 和已发布 LoRA checkpoint，再继续进行 OPSD-V post-training。

Post-training setting。Student 使用 trainable LoRA，Teacher 使用 decay rate 为 0.9999 的 EMA Student LoRA。Teacher 只在训练期间存在，推理时移除。保留 base model 原始的 four-step sampler，四个 denoising steps 全部使用 velocity matching loss 监督，不增加 DMD、reward 或 adversarial loss。每个模型训练 200 iterations，使用 24 张 H800 GPU，per-GPU batch size 为 1，并使用 BF16、activation checkpointing 和 fully sharded data parallelism。

Rollout and cache construction。每个训练样本是连续的长视频片段，总计使用 180 latent frames，划分为 60 个 chunks，每个 chunk 含 3 个 latent frames。两条分支从同一个真实首 chunk 初始化；Student 将每个生成 chunk 写入自己的 cache，Teacher 用真实视频作为较旧历史、最近一个 Student-generated chunk 作为 continuation。前 7 个 chunks 只用于 warm-up，不计入 loss。

Evaluation protocol。作者在 16 FPS 的一分钟视频生成上做定性和定量评测。定性比较使用相同 prompt、random seed、sampler 和 attention-sink inference setting。定量评测共使用 240 个 prompts：MovieGenBench 前 120 个，以及内部 MeiBench 的 120 个。每个方法为每个 prompt 生成一个视频，使用 VBenchLong 评估并取平均。所有模型保持相同的 four-step AR inference path 和对应 base model 的 inference-time KV-cache mechanism，因此提升来自 post-training，而不是额外推理计算。

Quantitative Comparison

OPSD-V 在 LongLive 和 Self-Forcing 上都提高了 Quality Score 与 Dynamic Degree，同时保持相同模型规模、4-step inference 和 attention-sink cache。Semantic Score 与 base model 大致相当，但有轻微下降，说明更活跃的运动生成与较保守的 semantic matching metric 之间可能存在小幅 trade-off。

User Study

用户研究包含 10 名参与者，每人比较 20 对视频，其中 10 对来自 LongLive，10 对来自 Self-Forcing。每对视频对应同一个 prompt，参与者分别评价 Overall、Motion Quality 和 Visual Quality，并可以选择 Model A、Model B 或 Same。汇总结果显示，OPSD-V 在 Overall 判断中获得 66.0% 偏好，排除 ties 后为 82.5%；Motion Quality 为 57.5%，排除 ties 后为 82.7%；Visual Quality 为 60.5%，排除 ties 后为 78.1%。

图 5：用户研究结果。 上图按照 arXiv TeX Source 中的 TikZ 数值重建，源码未提供独立位图文件。

Ablation Study

默认目标直接匹配 Student 与 Teacher 的 velocity。另一种方案先把每个 denoising step 的预测转换成 clean-latent estimate，再优化 x₀-space MSE。Flow parameterization 下，velocity 到 x₀ 的转换包含 timestep-dependent scale，因此 x₀-space MSE 会重新加权四个固定 denoising steps，并相对更强调高噪声 states。实验显示它会让桥梁结构和树木边界越来越平滑，因此主实验采用 native velocity matching。

第二个消融比较 Student trajectory 和 Teacher trajectory。若用 Teacher 自己的 zᵗᵢ,ₖ 构造蒸馏 pairs，目标看起来更干净，却不是 Student 在推理时遇到的 state。Student 因而很少学到如何从自身 denoising errors 恢复，而这些 mismatch 会在每个生成 chunk 写入 KV Cache 后重复放大。实验中 Teacher trajectory 仍保持清晰，Student rollout 却迅速失去空间细节并被 blur 主导。这验证了 Teacher 应提供 corrective prediction，但 Student 必须决定 prediction 被评估的 states。

本文从一个问题出发：对 few-step AR video generator 做 post-training 时，target distribution 应该来自哪里？现有 DMD 风格方法通常依赖 short-clip Diffusion model 作为 Teacher distribution。它适合加速生成，却受 Teacher 的 temporal range 和质量限制，难以为真正的长 AR rollout 提供可靠监督。真实长视频包含更丰富的 temporal structure 和更干净的 long-range dynamics，因此是自然的替代来源。

但直接把真实视频放进 few-step AR post-training 并不简单。直接 teacher forcing 会改变 inference-time rollout distribution；只把真实视频用作 reconstruction target 又不能在模型自己的 generated cache states 上纠正模型。OPSD-V 的观察是：真实视频应作为 privileged temporal context，而不是直接的 output target。这样 Student 仍然沿自身 inference-time trajectory 前进，Teacher 则使用更干净的 real-video cache 提供 dense denoising-level corrective supervision。

未来工作可以扩大真实长视频训练数据的数量、多样性和质量，并增加训练 compute。当前 cache construction 和 loss design 只是这种思想的一种实现，未来还可以探索更有效的 teacher-cache policy、自适应 supervision schedule 或更强的 context-enhanced Teacher。

本文提出 OPSD-V，一种面向 few-step autoregressive video generator 后训练的 cache-aware on-policy self-distillation framework。OPSD-V 不依赖 short-clip Teacher target，也不进行完全 teacher-forced training，而是在 Student 自己的 inference-time rollout states 上进行监督，同时使用真实长视频 context 构造更干净的 Teacher cache。

该方法在自生成 KV-cache states 下提供 dense denoising-level correction，改善长时域生成行为，同时不改变原始 few-step inference path。Self-Forcing 和 LongLive 上的实验表明，OPSD-V 能改善 video quality 与 motion dynamics，并保持相同模型规模和 inference cost。