Google DeepMind GenCeption Text-to-Video Diffusion Unified Perception

Video Generation Models are General-Purpose Vision Learners

这篇论文提出一个大胆但相当自然的判断：大规模文本到视频生成模型不只是“会合成视频”的工具， 它们在预训练中已经学到了时空世界先验、视觉-语言对齐和可迁移的感知表示。作者将这种能力改造成 GenCeption，一个可用文本指令驱动、单次前向完成多种视频视觉任务的通用感知模型。

1 个模型统一处理深度、法线、分割、相机姿态、3D 关键点等任务。
1 次前向把多步扩散采样改写成 feed-forward 感知预测。
7x-500x相较若干领先模型，用少得多的训练数据达到可比表现。
合成到真实主要用合成人类视频训练，却泛化到真实视频与 OOD 类别。

摘要与领域定位

NLP 从任务专用模型走向统一基础模型，关键催化剂是大规模 next-token prediction。本文追问： 计算机视觉中对应的催化剂是什么？作者给出的答案是大规模文本到视频生成。因为视频生成预训练天然要求模型理解 运动世界中的时空因果、3D 几何、物体持久性和物理交互，同时又通过文本条件获得视觉-语言对齐，并且已经被现代工业规模的数据与算力推动到很大尺度。

论文提出的 GenCeption 利用预训练视频生成扩散骨干，将其后训练为前馈感知模型。模型通过文本指令指定目标任务， 输出深度、表面法线、相机姿态、前景分割、表达式指代开放世界分割、3D 人体关键点等多种结果。实验显示， 它在多个任务上达到或超过专用 SOTA 模型，并且视频生成预训练骨干在可比设置下优于 V-JEPA、VideoMAE 等替代预训练范式。

定位一句话：这不是“把一个生成模型拿来做一个感知任务”，而是试图把视频生成预训练提升为视觉版的通用基础模型路线。

背景概念

专用视觉模型的瓶颈

Segment Anything、Depth Anything 等模型很强，但大多围绕某一任务定制架构、头部、损失与数据格式。它们是强专才，不是 LLM 式的统一通才。

视频表示学习的短板

MAE、DINO、CLIP、VideoMAE、V-JEPA 等方法各有贡献，但视频级时空建模、语言对齐与模型尺度通常无法同时满足。

重用扩散模型

Marigold、DepthCrafter、Geo4D 等工作证明扩散模型含有可迁移视觉先验，但多数聚焦单一任务。本文扩展到统一的 dense 与 sparse 视频感知。

引言更详细导读：作者先用 NLP 的历史作为类比：早期 NLP 每个任务都要一个专用系统，翻译、摘要、问答、分类彼此割裂；后来大规模 next-token prediction 让同一类生成式预训练模型获得统一表示，再通过 instruction tuning、RLHF 或任务对齐后训练，覆盖大量任务。作者认为视觉还没有完成这一步。今天的 Segment Anything、Depth Anything、VGGT、Sapiens 等模型确实很强，但它们分别解决定位、深度、几何、人体理解等问题，通常仍依赖任务专用结构、输出头、数据格式或损失函数。

引言问题 1：视觉缺少“next-token prediction 等价物”

论文不是简单说“模型还不够大”，而是在问：什么预训练目标能像 next-token prediction 一样，把大量异质视觉能力压缩进同一模型？作者认为纯图像重建、对比学习、masked autoencoding 或视频表征学习都只覆盖部分条件，难以同时获得物理世界时序先验、语言语义对齐和大规模扩展性。

引言问题 2：视觉世界本质是 4D 的

静态图片只截取世界的一个瞬间，而真实感知要理解物体如何运动、遮挡如何变化、相机如何移动、动作如何导致状态变化。视频生成模型为了合成连续帧，必须在预训练中学习这种 4D 时空因果和物理一致性。

引言问题 3：任务说明应从架构转向数据格式

传统视觉系统常把任务差异写进模型结构：深度一个头、分割一个头、姿态一个头。GenCeption 试图把任务差异移到 prompt 和输出表示中，让同一 backbone、decoder 与 L2 loss 处理更多任务，这一点与 LLM 把不同任务都格式化为文本序列很相似。

引言结论：视频生成是预训练范式，不只是应用

作者要强调的不是“视频生成模型也能顺手做视觉任务”，而是更强的命题：大规模文本到视频生成可能就是通用视觉基础模型的预训练路线。因为它天然同时满足时空建模、视觉-语言对齐、低标注成本和商业驱动下的规模化训练。

问题定义

作者要解决的问题是：如何让一个视觉模型像 LLM 一样，不通过换架构、换解码器、换损失来处理不同任务，而是在同一骨干、同一头部、 同一训练目标下，由提示词与数据表示切换任务？

论文设定的三项必要条件： 预训练必须吸收动态世界的时空演化；视觉特征必须和语言语义对齐；范式本身必须能随数据和算力扩展。

关键洞察

论文的核心洞察是：高质量视频生成本身就是一种极强的视觉预训练目标。为了生成可信的视频，模型不能只记纹理， 还必须在隐空间中编码几何、运动、遮挡、物体连续性、相机变化、动作与语言描述之间的关系。这些能力正是下游感知任务需要的。

从生成到感知：不再让 DiT 迭代去噪采样，而是把干净输入视频 latent 送入模型，在一次前向中直接预测目标感知模态。
从架构到数据：任务差异尽量放到输出表示里处理，例如把深度、分割、法线、raymap 都映射为 RGB 空间。

方法 Walkthrough

方法总览更详细版：GenCeption 的方法可以理解为“保留视频生成模型的身体，换掉它的使用方式”。原始 WAN 2.1 类视频扩散模型是多步生成器：从噪声 latent 出发，在文本条件下逐步去噪，最后由 VAE decoder 还原成视频。GenCeption 则把这个 DiT 当作一个已经学过世界先验的视觉 backbone：输入不再是随机噪声，而是待分析视频的干净 latent；输出不再追求多样化采样，而是指定任务的确定性感知结果。

输入是什么

输入包括 RGB 视频和描述目标任务的文本 prompt，例如要求输出 depth、surface normal、foreground mask、camera raymap、DensePose 或 keypoints。RGB 视频先通过 VAE encoder 压到 latent 空间，prompt 通过文本编码器形成条件。

模型如何知道任务

任务不靠换网络头来区分，而主要靠文本指令和目标数据表示来区分。也就是说，同一 DiT 和 decoder 在不同 prompt 下学习输出不同模态，这让添加新任务更像“增加一种数据格式”，而不是“重写一种模型”。

输出是什么

Dense 任务输出仍是视频形态的三通道图像序列；Sparse 任务输出则通过额外 learnable token 转成显式坐标。这样模型既能给每个像素预测几何/分割，也能预测 2D/3D 关键点这类结构化结果。

1. 从扩散预训练到前馈感知

原始文本到视频扩散模型包含 VAE 编解码器、文本编码器和基于 Transformer 的 latent diffusion model，即 DiT。 生成时，DiT 通常从高斯噪声 latent 出发，经过多步去噪得到视频 latent。GenCeption 改为直接输入干净视频 latent， 并把时间步固定为生成过程终点。

Rectified Flow 速度目标：
v = epsilon - x_0
感知微调时使用：
-v = x_0 - epsilon

这个公式约束的是 DiT 输出与目标视频 latent 的对齐方式。因为 WAN 2.1 采用类似速度预测的训练目标， 作者在感知任务中取原始输出的相反数，使其更接近目标模态的 latent。它用于训练损失或解码器之前， 主要减少预训练目标与下游感知目标之间的方向错配，从而加速收敛并改善性能。

2. 统一 Dense 任务到 RGB 空间

传统 dense perception 往往为深度、法线、分割等任务设计不同输出头和损失。本文将所有 dense 任务表示为 [0, 1] 范围内的三通道 RGB 图像：一维任务复制到三个通道，三维任务直接使用三个通道，高维模态则重排到三通道布局。

深度归一化与非线性映射：
d' = clip(alpha · log(d + 1), 0, 1)

这个公式约束深度输出的尺度与数值范围。单目深度有尺度歧义，作者先用场景中位深度对每段视频归一化， 再用对数映射压入 RGB 范围。它把原本需要 scale-invariant loss 处理的误差转移到数据表示里处理， 让模型可以继续使用统一的 L2 目标。

3. 用可学习 Token 支持 Sparse 任务

2D/3D 关键点这类任务需要显式坐标，而不是像素图。作者为每个视频帧追加一个可学习 token， 经过 DiT 后由 MLP 解码为每帧 K 维目标。为了贴合原始 DiT，额外 token 也使用模型原生的 3D RoPE； 空间位置设为可学习，时间位置通过插值缩放到预训练见过的范围。

4. 合成数据与统一损失

训练主要依赖合成数据：800 个 RenderPeople 资产、200 个 CMU 动捕动作、多种 3D 场景和 HDRI 背景， 共生成 7,500 段人类中心视频。Blender 渲染出法线、深度、分割，人体 rig 提供 2D/3D 关键点。 训练目标尽量统一为标准 L2 loss：dense 任务在 latent 空间，sparse 任务在输出空间。

5. 为什么要固定 t=0

扩散模型训练时会在不同噪声强度的 timestep 上学习去噪。感知任务并不需要“从噪声生成新视频”，而是要从真实输入中提取确定性结构。因此作者把条件 timestep 固定为 t=0，表示当前输入已经是干净视频 latent。这个选择让 DiT 运行在更接近“读懂输入”的状态，而不是“想象一个样本”的状态。

6. 为什么使用最终层特征

很多重用扩散模型的方法会抽取中间层特征，再接额外 decoder。本文刻意从最终层拿特征，因为最终层原本就和预训练 decoder 对齐，改动最小。作者的设计哲学是尽量不破坏原始视频生成预训练中学到的表示，避免新增结构带来训练不稳定或数据需求上升。

7. Raymap 为什么重要

相机姿态传统上是矩阵或位姿参数，不像图片。GenCeption 将相机信息表达为 pixel-space raymap，再把 6 通道 ray origins 与 ray directions 空间重排进 3 通道图像。这样相机姿态估计也能变成“生成一张视觉图”的任务，从而复用同一 RGB 输出管线。

8. 统一 L2 loss 的代价与收益

收益是工程复杂度大幅降低：不用为每个任务调一个专属 loss，也不用在多任务训练时手动平衡太多目标。代价是任务特定约束必须前移到数据表示设计中，例如深度要先做中位数归一化和对数映射；Sparse keypoint 仍需要额外 token，因此在联合训练中表现不如 Dense 任务自然。

源码图解

GenCeption methodology

方法总览与范式转变

左侧说明从视频生成预训练到多任务后训练，再到涌现泛化；右侧强调从专用视觉模型走向统一视觉通才。

source/figure/methodology.pdf
GenCeption results combined

SOTA 通用能力与数据效率

论文用雷达图和深度估计对比说明：通用模型可接近或超过专用模型；视频生成骨干比 V-JEPA、VideoMAE 更有效。

source/figure/results_combined.png
GenCeption architecture

架构图

输入视频与文本提示进入统一模型。Dense 任务在 RGB ambient space 中统一，Sparse 任务通过额外可学习 token 输出坐标。

source/figure/architect3.pdf
Rothko raymap

Rothko Raymap

把传统 6 通道相机 ray 数据压缩成 3 通道图：中心区域放 ray origins，外围放 ray directions。

source/figure/raymap.pdf
Depth and normal examples

深度与表面法线示例

展示 GenCeption 对视频中几何结构的 dense prediction 能力。

source/figure/combined_first_frames_rgb_depth_normal.png
Open-world segmentation

表达式指代开放世界分割

模型能够理解目标对象、颜色、空间关系和运动描述，并分割出文本指定对象。

source/figure/OW_Seg.png
ski frame 20 ski frame 40 ski frame 60 snowboard frame 41 snowboard frame 51 snowboard frame 61

3D 姿态估计视频帧

滑雪和单板滑雪片段展示模型处理复杂运动的 sparse 预测能力；论文强调它不依赖人检测或 2D keypoint 预处理。

source/figure/ski_snowboard/*/*.jpg

实验结果

论文在表面法线、深度、相机姿态、前景分割、表达式指代分割、3D 人体关键点等任务上评估。 评测数据包括 SINTEL、Hi4D、KITTI、ETH3D、Goliath、VideoMatte、PhotoMatte 85、RefVOS-DAVIS、MeViS、EMDB 等。

维度 论文结论 代表数字
表面法线 Ours-Generalist-L 在 Sintel mAE 上取得最佳，Ours-Specialist-L 在 Hi4D 上最佳。 Sintel 29.3；Hi4D 10.99/11.47 左右。
深度估计 大模型在少量合成数据下接近或超过多个专用模型，尤其在 Sintel、KITTI、Goliath 上很强。 Ours-Specialist-L: Sintel AbsRel 0.130；KITTI 0.048；Goliath 0.008。
相机姿态 相机 pose 也可通过 raymap 统一到 RGB 表示，并取得竞争性表现。 Ours-Specialist-L: ATE 0.050，RPE-T 0.018。
前景分割 联合训练对前景分割有明显帮助，Generalist-L 在 VideoMatte 和 PhotoMatte 85 上最佳。 MSE: 0.0010 / 0.0008。
指代表达分割 相比 SAM3 系列，模型对复杂句子的理解更强，MeViS 上表现尤其突出。 Ours-Specialist-L: Ref-DAVIS 76.4，MeViS 70.0。
3D 人体关键点 Sparse 坐标任务可由额外 token 实现，专用版本超过 Genmo、TRAM 等方法。 EMDB MPJPE 71.8。

训练与推理设置翻译

实现基于开源开权重的 WAN 2.1 文本到视频扩散模型。训练分辨率为 480x832，输入为 81 帧、24 FPS。 编码器在时间维下采样 4 倍，在空间宽高各下采样 8 倍。训练 batch size 为 64，使用 256 个 v6e TPU， Adam 优化器，学习率 5e-5，训练 15,000 步，前 250 步线性 warmup。作者还使用 gradient clipping 与 gradient dropping 稳定训练。

推理时，前馈模型省去 WAN 标准的 50 步扩散。单个 v6e TPU 上，1.3B 模型处理 81 帧 480x832 视频耗时 5.92 秒， 约 13.6 FPS；14B 模型耗时 10.03 秒，约 8.0 FPS。二者共享 10GB 文本编码器与 0.25GB VAE，可将其卸载到系统内存以换取显存。

消融与涌现行为

Pretrained weight ablation

预训练层数的重要性

随机初始化 DiT 训练曲线几乎平坦；迁移更多视频生成预训练层后，性能持续提升。这支持“生成预训练本身携带关键时空先验”的判断。

source/figure/pretrained_weight.png
Multiple people generalization

多实例泛化

虽然合成训练视频每段只有单个对象，模型仍能零样本泛化到真实多人物视频。

source/figure/multiplepeople.png
OOD categories generalization

OOD 类别泛化

训练集中主要是人类实体，但模型可泛化到动物、拟人角色等关节式对象。

source/figure/oodvisualizations_05.png

联合训练 vs. 任务专用训练

联合训练并非所有任务都无损。Dense 任务表现有升有降，前景分割稳定受益，表达式指代分割基本保持； 但 3D 人体关键点明显受损。作者推测原因是坐标 token 与连续像素空间预训练不完全一致， 额外 learnable token 也会扰动 DiT 原有注意力机制。

消融给出的提醒：后训练最好尽量少改预训练骨干；如果要支持差异极大的下游任务，可能需要在预训练阶段就重新设计统一接口。

局限与批评

1. “通用”仍是受控范围内的通用

任务集合已经很广，但仍集中在视觉感知与几何/分割/姿态，不等于完整视觉推理、交互或长期规划能力。

2. Sparse 任务接口还不优雅

额外 token 能解决坐标输出，但消融显示它会伤害多任务联合训练，说明当前统一范式对结构化输出仍有摩擦。

3. 评估依赖未来/并行 SOTA 语境

论文对比包含 DepthAnything3、SAM3、VGGT-Omega 等模型。读者需要结合这些模型的公开细节判断对比公平性。

4. 合成数据成功但覆盖仍有限

合成到真实泛化非常亮眼，但训练数据以人类中心为主；对非关节、非人类、复杂动态场景的上限仍需更系统测试。

建议阅读路径

  1. 先看摘要和 Figure 1/2。
    明确作者的主张：视频生成预训练可成为视觉通用模型的基础。
  2. 再看架构图与方法部分。
    抓住三个改动：t=0 单步前馈、RGB 统一 dense 输出、learnable token 处理 sparse 输出。
  3. 重点读 Table 1/2。
    看它如何证明 SOTA 竞争性、数据效率和相较 V-JEPA/VideoMAE 的优势。
  4. 最后读消融和涌现行为。
    这里最能看出范式的边界：dense 任务更自然，sparse 坐标输出仍需要更好的统一方式。
一句话带走：如果 LLM 的统一能力来自大规模生成式语言预训练，本文认为通用视觉感知的类似道路可能是大规模文本到视频生成预训练。