Instruction-Based Video Editing Dataset Benchmark Goku-Edit

Goku: 百万规模通用数据集与指令式视频编辑 Benchmark

本文是论文 Goku: A Million-Scale Universal Dataset and Benchmark for Instruction-Based Video Editing 的中文译读版：以完整中文译文为主体，并在每节加入导读、公式解释和图表说明。

Section

一页概览

本节导读：用最少时间把论文的目标、方法和证据链串起来。

数据规模2M高质量 instruction-aligned video editing pairs
任务覆盖10 类Basic + Complex edits，包括结构与多任务编辑
Benchmark1,000人工验证 Goku-Bench 测试样例
评估指标7 个PR、SR、IF、EQ、SuM、CM、ST

论文解决的问题

现有 IVE 数据集把任务定义得过窄，主要覆盖单一外观修改。真实视频编辑往往需要结构变化、多任务组合、参考图引导和更强的时序一致性。

核心做法

Goku 通过自动化数据生成、任务拆解和 progressive filtering 扩展数据边界；Goku-Edit 通过 MLLM text encoder、mask branch、RoPE-aligned cross-attention 与 SpatialCFG 执行复杂编辑。

为什么重要

视频编辑模型不只需要“改颜色、删物体”，还要理解复合指令、空间关系和运动结构。Goku 把这些能力显式放入数据、模型和评测三者之中。

阅读建议

先看 Fig. 1 理解任务范围，再看 Fig. 2 的数据管线，随后看 Fig. 3 和 SpatialCFG 公式，最后用 Table 2 与消融表判断贡献是否成立。

Fig. 1：Goku 的 10 类视频编辑任务。
Fig. 1：Goku 的 10 类视频编辑任务。 图中展示 basic edit 与 complex edit 的任务分布、指令词云、指令长度和视频帧数分布。

Section

摘要与定位

本节导读：这里是论文的完整摘要译文，并说明它在 IVE 数据、模型和评测中的位置。

现有 instruction-based video editing 数据集通常集中在单任务的外观编辑上，难以满足真实创作场景中更复杂的需求。为弥合这一差距，论文提出 Goku：一个大规模数据集，包含 200 万个高质量、与指令对齐的视频编辑样本对。这是首个将任务边界从基础外观编辑扩展到多任务和结构操控的数据集，例如对主体运动进行精确控制。

为解决复杂任务中的数据合成难题，作者设计了一条高效的数据合成管线：将复杂编辑拆解为可控子问题，并引入 progressive filtering system，在整个流程中保证数据可靠性。论文进一步探索了 Goku 上更优的网络结构，提出 Goku-Edit。该模型使用 MLLM 作为 text encoder 来理解复杂编辑指令，并采用解耦的 dual-branch 设计：专门的 mask branch 负责结构控制，让 main branch 更专注于外观渲染。

论文还提出 Goku-Bench，包含 1,000 个人工验证测试样例和 7 个面向编辑任务的新指标。在 Goku-Bench 上，Goku-Edit 在 instruction following 方面相对其他开源模型最高取得约 +8% 的提升。

Section

1 Introduction

本节导读：引言说明现有 IVE 的短板：任务窄、结构编辑弱、多任务弱，并给出 Goku 的四项贡献。

完整译文

Generative AI 的快速发展正在重塑数字内容创作，从简单的视频合成走向更具野心的编辑与生成场景。在这一背景下，instruction-based video editing（IVE）通过合成视频三元组，为用户提供直观、灵活的视频编辑接口，使专业级视频制作更容易被普通用户使用。然而，即便当前 state-of-the-art 模型已经展示出较强能力，它们仍主要局限于单任务、外观层面的修改，例如物体移除或单一属性改变。

造成这一限制的关键原因之一，是现有数据集的问题定义过于狭窄。这些数据集往往简化编辑任务，忽视真实场景中至关重要的复杂结构变换和同步多任务编辑。例如 Ditto 改善了质量控制，但严重偏向 style transfer，限制了任务多样性；OpenVE-3M 加强了过滤，但仍停留在外观编辑，未覆盖结构和多任务编辑。因此，社区仍需要一个更全面的数据集，连接简单属性变化与真实视频操控中的多面需求。

论文提出 Goku，一个包含 200 万个高质量、指令对齐视频编辑样本对的大规模综合数据集。不同于把编辑看成孤立任务集合的旧数据集，Goku 覆盖更广泛的挑战：既包括基础单任务和外观编辑，也首次显式纳入 Multi-Task Edit、Camera Movement、Subject Movement 和 reference-guided editing。

为构建这样庞大且多面的数据集，作者设计了可扩展的自动化数据生成管线，以保证语义精确性和时序一致性。对于基础外观编辑，沿用 VACE 等成熟实践；对于结构编辑和多任务编辑，则把复杂指令拆分为独立可控的子问题，并用任务专用专家模型处理。为了避免子问题级联造成误差累积，作者引入由 Gemini2.5-Pro 驱动的 progressive filtering system，在关键阶段从 instruction alignment、frame-to-frame stability 和 perceptual photorealism 三个维度进行过滤。

基于 Goku 的丰富标注与复杂场景，作者进一步提出 Goku-Edit。该框架使用 MLLM 作为 text encoder 来解析复杂编辑指令，并加入额外的 mask prediction branch 增强空间 grounding，使 main branch 更专注于细粒度外观细节。最后，作者建立 Goku-Bench，包含 1,000 个多样测试案例和 7 个专门指标；实验显示 Goku-Edit 在 instruction following 上相对现有 state-of-the-art 模型最高提升约 8%。

主要贡献：1) 2M 规模综合 IVE 数据集；2) 带 progressive filtering 的可扩展数据管线；3) MLLM text encoder + mask branch 的 Goku-Edit；4) 1,000 样例、7 指标的 Goku-Bench。

Section

2 Related Work

本节导读：相关工作把方法和数据集分开讨论，核心结论是现有方法和数据大多停在单任务外观编辑。

Table 1：Goku 与先前及同期 IVE 数据集的详细比较。
Table 1：Goku 与先前及同期 IVE 数据集的详细比较。 Goku 在规模、720p 分辨率、65-129 帧、结构编辑、reference-based edit、multi-task edit、MLLM 与 benchmark 上都给出了完整覆盖。

2.1 Instruction-based Video Editing Methods

近年来，IVE 受到广泛关注，目标是根据自然语言命令修改视频。由于成对训练数据稀缺，InsV2V 提出合成视频三元组的范式，InsViE 进一步扩展了该方向。AnyV2V 探索无需训练的 plug-and-play 方法，把编辑拆成 first-frame modification 与 I2V propagation。StableV2V 关注形状和时序一致性，Omni-Video 将 MLLM 与 video diffusion model 连接以处理多样视频任务，LucyEdit 则利用大规模训练获得较高视觉保真度和时序一致性。

不过，这些方法大多仍面向单任务外观编辑，对于复杂结构编辑的处理能力有限。

2.2 Instruction-based Video Editing Datasets

视频编辑数据集通常依赖已有视频编辑模型生成数据。但这些模型本身存在局限，因此高质量数据集构建急需严谨、标准化的过滤流程。InsViE 和 Señorita-2M 等数据集要么缺少统一过滤标准，要么筛选不够严格，导致静态视频和编辑失败样本残留。

Ditto 改善了质量控制，但偏向 style transfer；OpenVE-3M 强化过滤严格性，但任务范围仍局限在外观层面，缺少结构编辑和复杂编辑支持。Goku 的定位正是补上这一缺口。

Section

3 The Goku Dataset

本节导读：本节是论文的数据核心：如何从原始视频构建多任务、结构化、可过滤的视频编辑对。

3 The Goku Dataset

Goku 是一个大规模、多面向的数据集，目标是推动 IVE 超越简单属性修改。它覆盖真实场景中的复杂挑战，包括结构形变、同步多任务交互和 reference-guided editing。作者将数据流程分为 video pre-processing、different task generation 和 progressive filtering 三部分，以共同保证高语义保真度与时序一致性。

Fig. 2：自动化视频编辑管线。
Fig. 2：自动化视频编辑管线。 (a) 视频预处理；(b) 不同任务的数据生成；(c) progressive filtering system。

3.1 Video Pre-Processing

作者从 Koala-36M 原始视频中筛选 100 万个高质量片段。过滤包括 shot transition detection、aesthetic scoring、motion dynamics analysis、OCR watermark removal，并由 Gemini2.5-Pro 做内容丰富度筛选。每个片段被裁成 3 到 10 秒，以突出连贯动作与场景。

随后，Gemini2.5-Pro 为每类任务生成自然且多样的编辑指令。Add、Remove、Swap、Subject Movement 会先识别可操作目标；Style Transfer 覆盖 100 多种风格；Camera Movement 覆盖 20 多种运动模式。对于复杂多任务和结构编辑，专门 prompt 会引导模型避免任务冲突。

Reference Image/Mask Extraction

基于前一阶段生成的 object labels，作者使用 Grounded-SAM2 抽取 temporal masks。为了提升后续 VACE 编辑的成功率和质量，还让 Gemini2.5-Pro 分析编辑区域的光照和姿态，再生成对应环境下的相似目标参考图，作为后续合成的空间与外观条件。

3.2 Data Generation for Different Tasks

Appearance Editing：传统指令编辑通常包括 Add、Remove、Swap、Alter 和 Style Transfer。Add/Remove 利用二者的对偶性：先用 Minimax-Remover 无缝移除目标，得到高质量 Remove 样本，再交换原视频与移除后视频的角色得到自然 Add 样本。Swap 和 Attribute Alter 将 source video、Grounded-SAM2 masks 与 Flux 生成的 reference images 一起送入 VACE，在 mask 区域中执行语义替换或属性改变，同时保留未编辑区域。

Style Transfer：直接对整段视频做风格迁移会导致闪烁与风格漂移。作者把任务拆成三步：用 Flux 风格化首帧，提取每帧 depth maps 作为几何约束，再把风格化首帧和 depth sequence 输入 VACE 沿时间轴传播风格。depth 约束让场景几何结构保持不变，从而提升时序一致性。

Structural Editing：结构编辑涉及场景空间位置或拓扑安排变化，而不仅是纹理或风格。论文首次大规模构造 Subject Movement 与 Camera Movement 两类成对数据。Subject Movement 被拆成 action variation 与 position variation；Camera Movement 通过可控相机运动生成，并保持场景内容连贯。

Multi-Task Editing：多任务编辑要求模型同时完成两个或更多操作。作者通过任务拆解、冲突检测和逐步过滤避免错误级联，使数据能够覆盖真实创作中常见的复合指令。

3.3 Progressive Filtering System

复杂合成流程会带来误差累积：目标可能没被正确编辑，帧间可能不稳定，或者局部修补产生不真实纹理。Progressive filtering system 在不同阶段使用 Gemini2.5-Pro 和规则化检查，从 instruction fidelity、temporal consistency 与 perceptual realism 三个方面过滤样本。其作用不是最后一次性清洗，而是在数据生成链路中持续防止低质量样本进入下一步。

Section

4 Goku-Edit Model

本节导读：模型部分解释 Goku-Edit 如何将复杂指令理解、结构 mask 和外观渲染拆开协作。

Fig. 3：Goku-Edit 架构。
Fig. 3：Goku-Edit 架构。 Goku-Edit 包含 dual-branch 架构、RoPE-aligned spatial cross-attention，以及 inference-time SpatialCFG。

4 Goku-Edit Model

Goku-Edit 的设计包含三个核心部分。第一，dual-branch model architecture：把主视频编辑分支与辅助 mask prediction branch 结合，为生成过程提供隐式空间指导。第二，RoPE-aligned spatial cross-attention：解决 mask branch 较低操作分辨率带来的跨分辨率空间错位。第三，Spatial Enhanced CFG（SpatialCFG）：在推理阶段进一步强化空间约束。

4.1 Dual-Branch Model Architecture

为了实现高度可控的视频编辑，模型引入辅助 mask branch。主分支合成编辑后视频 Ve，条件包括 text prompt Tp、source video Vs 和 reference image Ir。mask branch 同时预测目标编辑区域的 mask M，为主分支提供空间约束。

这种解耦让结构控制与外观渲染分别建模：mask branch 关注“哪里该动”，main branch 关注“动完后长什么样”。

4.2 RoPE-aligned Spatial Cross-Attention

由于 mask branch 以较低空间分辨率工作，直接跨分支注意力会产生位置错位。作者把 RoPE 位置编码对齐到共享物理坐标系，使不同分辨率下的 token 能对应同一空间位置。

其目标是减少边界漂移、局部错位和结构指导失效，尤其适用于主体移动、相机移动和精细局部编辑。

4.3 Spatial Enhanced CFG (SpatialCFG)

标准 text CFG 只放大文本条件信号，不能进一步强调来自 mask branch 的空间约束，因此可能在复杂结构编辑中产生边界漂移或编辑溢出。SpatialCFG 通过对比 coupled 与 decoupled predictions，显式放大跨分支空间增量。

SpatialCFG formulas

公式解释：公式 (3) 分别为 video branch 与 mask branch 构造增强噪声预测：独立基线来自禁用跨分支注意力的预测，增强项来自 dual cross-attention 带来的增量。se 抑制编辑区域外的非预期修改，sm 提升 mask 边界一致性。公式 (4) 再与标准 text CFG 正交组合，对每个 branch 分别施加文本 guidance。

减少的错误：SpatialCFG 主要减少三类错误：编辑 spillover、mask 边界不一致，以及复杂结构任务中的空间约束弱化。

Section

5 Goku-Bench

本节导读：Benchmark 部分定义 1,000 个测试样例和 7 个专门指标，用于评价复杂视频编辑。

5 Goku-Bench

现有视频编辑 benchmark 主要围绕单任务外观编辑设计，难以全面评估复杂编辑能力，例如 multi-task editing 和 structural editing。为此，论文提出 Goku-Bench：一个包含 1,000 个多样测试样例的综合视频编辑 benchmark，并配套 7 个 editing-specific metrics，从 generation quality 与 instruction following 两个维度进行细粒度评估。

测试集从 Koala-36M 中挑选高质量、具有挑战性的视频片段。选择标准包括分辨率（不低于 720p）、时长（3 到 10 秒）、运动复杂度等。最终测试集覆盖多人场景、半身/全身人物、动物、常见物体、自然景观和困难拍摄条件，并特别加入结构编辑与多任务联合编辑。

Fig. 4：Goku-Bench 统计分布。
Fig. 4：Goku-Bench 统计分布。 Goku-Bench 按编辑任务类型提供细粒度分布，确保测试样例具有足够多样性与难度。

7 个评估指标

通用编辑指标：Physical Rule Fidelity (PR) 评估编辑结果是否符合真实物理规律；Spatial Relationship Accuracy (SR) 评估主体与场景空间关系是否符合指令；Instruction Following (IF) 评估复杂多任务指令完成度；Overall Editing Quality (EQ) 综合评估视觉自然度与编辑一致性。

任务专用指标：SuM 用于 subject motion editing，关注主体运动轨迹真实与流畅；CM 用于 camera motion editing，通过 optical flow 分析识别并评估运动类型；ST 用于 style transfer，计算风格文本对应 reference style image 与生成视频帧之间的 DINO 特征相似度。

Section

6 Experiment

本节导读：实验部分证明：数据覆盖、过滤系统、模型组件都对复杂编辑能力有实质贡献。

6.1 Baselines

论文使用 Goku-Bench 对代表性 IVE 方法进行全面评估。开源方法包括 TokenFlow、InsV2V、StableV2V、InsViE、AnyV2V、Omni-Video 和 LucyEdit。闭源商业模型包括 Runway Gen-4 与 Luma Ray3。作者还在 EditVerse-Bench 上补充验证泛化能力，详细结果放在补充材料中。

Table 2：Goku-Bench 定量比较。
Table 2：Goku-Bench 定量比较。 Goku-Edit 在多数任务相关指标上最佳，尤其在 PR、SR、CM、SuM、IF、EQ 等复杂编辑指标上优势明显。

6.2 Comparison on Goku-Bench

定量结果显示，Goku-Edit 在多数评估指标上取得最佳表现。尤其在 task-related metrics 上，Goku-Edit 明显超过先前缺乏任务设计的数据集训练出的模型。它在编辑保真度方面显著高于其他方法，说明其理解和执行指令的能力更强。

虽然 Goku-Edit 在 CLIP、MS、AES 等感知质量指标上落后于部分商业模型，但它在 PR、SR、CM 和 SuM 上取得更高分数，证明结构化任务定义和专门数据构建能提升物理合理性、空间推理和组合理解能力。同时，更优的 FVD、BC 和 TC 指标说明 progressive filtering system 有助于减少时序伪影并保持背景一致性。

Fig. 6：与 state-of-the-art 方法的定性比较。
Fig. 6：与 state-of-the-art 方法的定性比较。 Goku-Edit 在结构编辑、复杂复合指令和 reference-based editing 中更能保持目标定位、背景一致性和参考外观一致性。

6.3 Qualitative Evaluation

定性结果进一步验证了方法有效性。对于结构编辑任务，例如“让镜头向右平移”，多个 baseline 无法产生有效相机运动，而 Goku-Edit 能正确执行平移并合理补全新显露区域。对于复杂指令，例如同时给狗加黄色棒球帽并转成 Disney style，baseline 往往只完成部分编辑或破坏背景，而 Goku-Edit 能同时满足所有指令。对于 reference-based editing，baseline 常出现定位不准或参考外观不一致，Goku-Edit 则能更准确识别放置位置并保持外观一致性。

Fig. 5 与 Table 3：空间下采样因子与训练数据消融。
Fig. 5 与 Table 3：空间下采样因子与训练数据消融。 n=4 在纹理完整性和定位精度之间取得最佳平衡；使用 Goku 且经过过滤的数据带来明显更高的 IF 与 EQ。
Table 4 与 Table 5：核心组件消融与用户研究。
Table 4 与 Table 5：核心组件消融与用户研究。 MLLM、dual branch、RoPE 和 SpatialCFG 逐步提升结果；用户研究中 Goku-Edit 在 IF、VQ、TC 三项均排名第一。

6.4 Ablation Studies

训练数据消融：在相同 LucyEdit 架构、50k samples、6k steps 和 Goku-Bench 评估设置下，现有数据集在多任务场景中 IF 与 EQ 较低。未过滤的 Goku 已超过其他数据集，说明扩大任务覆盖本身带来收益；经过 progressive filtering 后，IF 与 EQ 进一步大幅提升，验证了数据质量控制对复杂编辑的重要性。扩展到 100k 样本后各项指标继续提升，说明 Goku 的收益尚未饱和。

组件消融：把 text encoder 替换为 MLLM 后，IF 从 0.541 提升到 0.573，说明复杂指令语义理解增强。加入 dual-branch 架构后，PR 和 SR 分别提升 0.031 与 0.033，表明结构控制与外观渲染解耦能释放 main branch 建模能力。RoPE-aligned spatial cross-attention 将 SR 从 0.789 提升到 0.819，说明跨分支位置对应对边界精度至关重要。SpatialCFG 在所有指标上取得最佳表现，PR 提升 0.020，IF 提升 0.019，且无需额外训练。

下采样因子 n：n=1 结果平滑但衣物纹理不足；n 增大能恢复细粒度外观细节，n=4 产生完整纹理和精确定位；n=8 时结构信号退化并导致定位失败，因此默认采用 n=4。

用户研究：30 名参与者分别从 IF、VQ 和 TC 三个维度对 100 个视频进行 5 分 Likert 评分。Goku-Edit 在三项上均排名第一，尤其在保持未编辑区域和处理复杂运动指令方面优势明显。

Section

7 Conclusion

本节导读：结论总结 Goku 的贡献，并从复现性和闭源评估依赖角度给出批判性阅读提示。

7 Conclusion

论文通过提出 Goku，解决了阻碍 instruction-based video editing 进一步发展的关键挑战。Goku 是一个大规模、高保真数据集，全面覆盖 camera movement、subject movement、reference edit 和 multi-task patterns 等多样编辑模式。严格的数据创建管线保证了质量与多样性，有效缓解现有数据集中的静态内容、语义不匹配和视觉质量差等问题。

与该资源配套，论文提出 Goku-Bench 标准化 benchmark 与新的评估指标，从技术质量、语义对齐和时序一致性等方面评估模型表现。实验证明，使用 Goku 训练的模型在多个任务与指标上持续获得更好结果，显著优于先前数据集和 state-of-the-art 方法。

局限与批判性阅读

论文展示了大规模自动合成和 MLLM 过滤的有效性，但数据质量仍依赖 Gemini2.5-Pro、VACE、Flux、Wan2.2 等上游模型能力；若上游模型存在偏差，数据集也可能继承这些偏差。Goku-Bench 的 7 个指标很有针对性，但其中部分指标使用 Gemini2.5-Pro 作为 judge，仍需要关注 evaluator bias、闭源依赖和可复现性。论文补充了开源 Qwen3VL-30B 过滤管线，但主结果仍更偏工程系统验证。

Acknowledgments

本工作获得 NSFC、CPSF Postdoctoral Fellowship Program、中国博士后科学基金-安徽联合资助、安徽博士后科研项目、中央高校基本科研业务费和 ZGCA Project 等支持。

Section

参考文献

本节导读：参考文献保留英文条目形式，仅翻译区块标题。

参考文献

以下保留论文参考文献的英文条目形式，并对 PDF 文本抽取中的明显乱码做了人工清理。

  1. Bai, J., et al. Recammaster: Camera-controlled generative rendering from a single video. ICCV, 2025.
  2. Bai, Q., et al. Scaling instruction-based video editing with a high-quality synthetic dataset. CVPR, 2026.
  3. Bai, S., et al. Qwen3-VL technical report. arXiv:2511.21631, 2025.
  4. Bar-Tal, O., et al. Lumiere: A space-time diffusion model for video generation. SIGGRAPH Asia, 2024.
  5. Blattmann, A., et al. Stable video diffusion: Scaling latent video diffusion models to large datasets. arXiv:2311.15127, 2023.
  6. Blattmann, A., et al. Align your latents: High-resolution video synthesis with latent diffusion models. CVPR, 2023.
  7. Brooks, T., et al. Generating long videos of dynamic scenes. NeurIPS, 2022.
  8. Caron, M., et al. Emerging properties in self-supervised vision transformers. ICCV, 2021.
  9. Cheng, J., Xiao, T., He, T. Consistent video-to-video transfer using synthetic dataset. ICLR, 2024.
  10. Guo, Y., et al. AnimateDiff: Animate your personalized text-to-image diffusion models without specific tuning. arXiv:2307.04725, 2023.
  11. Gupta, A., et al. Photorealistic video generation with diffusion models. ECCV, 2024.
  12. He, H., et al. OpenVE-3M: A large-scale high-quality dataset for instruction-guided video editing. arXiv:2512.07826, 2025.
  13. Ho, J., et al. Video diffusion models. NeurIPS, 2022.
  14. Huang, Z., et al. VBench: Comprehensive benchmark suite for video generative models. CVPR, 2024.
  15. Jiang, Z., et al. VACE: All-in-one video creation and editing. ICCV, 2025.
  16. Ju, X., et al. EditVerse: Unifying image and video editing and generation with in-context learning. arXiv:2509.20360, 2025.
  17. Ku, M., et al. AnyV2V: A tuning-free framework for any video-to-video editing tasks. arXiv:2403.14468, 2024.
  18. Li, Y., et al. Video generation from text. AAAI, 2018.
  19. Liang, S., et al. CoT-Edit: Let CoT guide instruction video editing. CVPR, 2026.
  20. Liang, S., et al. SpongeBob: Sync-aware harmonious audio-visual generative editing. arXiv:2605.25193, 2026.
  21. Liang, S., et al. OmniV2V: Versatile video generation and editing via dynamic content manipulation. arXiv:2506.01801, 2025.
  22. Liang, S., Zhu, K., Zhai, W., Liu, Z., Cao, Y. Hypercorrelation evolution for video class-incremental learning. AAAI, 2024.
  23. Lin, S., et al. Diffusion adversarial post-training for one-step video generation. arXiv:2501.08316, 2025.
  24. Liu, C., et al. StableV2V: Stabilizing shape consistency in video-to-video editing. IEEE TCSVT, 2025.
  25. Ma, Y., et al. Follow your pose: Pose-guided text-to-video generation using pose-free videos. AAAI, 2024.
  26. Qu, L., et al. TokenFlow: Unified image tokenizer for multimodal understanding and generation. CVPR, 2025.
  27. Ren, T., et al. Grounded SAM: Assembling open-world models for diverse visual tasks. arXiv:2401.14159, 2024.
  28. Singer, U., et al. Make-A-Video: Text-to-video generation without text-video data. arXiv:2209.14792, 2022.
  29. Tan, Z., et al. Omni-Video: Democratizing unified video understanding and generation. arXiv:2507.06119, 2025.
  30. Wang, J., et al. ModelScope text-to-video technical report. arXiv:2308.06571, 2023.
  31. Wang, Q., et al. Koala-36M: A large-scale video dataset improving consistency between fine-grained conditions and video content. CVPR, 2025.
  32. Wang, Y., et al. Imaginator: Conditional spatio-temporal GAN for video generation. WACV, 2020.
  33. Wu, Y., et al. InsViE-1M: Effective instruction-based video editing with elaborate dataset construction. ICCV, 2025.
  34. Zhou, D., et al. MagicVideo: Efficient video generation with latent diffusion models. arXiv:2211.11018, 2022.
  35. Zhou, Y., Wang, Q., Cai, Y., Yang, H. Allegro: Open the black box of commercial-level video generation model. arXiv:2410.15458, 2024.
  36. Zi, B., et al. MiniMax-Remover: Taming bad noise helps video object removal. NeurIPS, 2026.
  37. Zi, B., et al. Señorita-2M: A high-quality instruction-based dataset for general video editing by video specialists. NeurIPS, 2026.

Section

阅读路径

本节导读：最后给出建议阅读顺序和复现时最值得关注的系统组件。

快速阅读路径

先读摘要和 Fig. 1，明确 Goku 解决的是“任务边界太窄”的问题；再读 Sec. 3 和 Fig. 2，理解数据如何合成与过滤；随后看 Sec. 4 和 Fig. 3，理解模型如何把语义理解与空间控制解耦；最后读 Table 2、Table 3、Table 4 和用户研究，判断数据、模型和 benchmark 三者是否共同支撑结论。

复现关注点

若要复现，最关键的不是单个模型结构，而是数据生成链路：原始视频筛选、任务指令生成、mask/reference 条件提取、不同任务专家模型、progressive filtering，以及 Goku-Bench 的评估实现。