如何让视频扩散模型飞起来?FastGen中CausVid与Self-Forcing因果蒸馏深度剖析

原创2026-10-15 14:33:561,611 阅读

如何让视频扩散模型飞起来?FastGen中CausVid与Self-Forcing因果蒸馏深度剖析

FastGen 是 NVIDIA 推出的开源快速生成框架,专注于把动辄需要几十步采样的视频扩散模型蒸馏为仅需 4 步的"闪电"生成器。这篇文章将深入剖析 FastGen 中两款主打因果视频蒸馏的方法——CausVid 与 Self-Forcing:它们如何让视频扩散模型"飞起来",核心差异在哪里,以及如何用 FastGen 快速跑通因果视频蒸馏训练与推理。

FastGen视频扩散模型蒸馏框架架构图

FastGen 框架示意:Teacher 模型(图像/视频扩散模型)通过蒸馏配方(Distillation Recipe),被 FastGen 加速为少步生成的图像与视频模型

一、为什么视频扩散模型需要"飞起来"

视频扩散模型(如 Wan、CogVideoX)的生成质量令人惊艳,但有个绕不开的问题:慢。

  • 生成一段几秒钟的 480p 视频,通常要跑 30~50 步去噪迭代;
  • 每一步都是对整个视频 token 序列的全量前向,显存与算力开销巨大;
  • 要生成"长视频"时,成本按倍数放大。

蒸馏(Distillation) 就是解药:用一个多步"教师模型"带出一个少步"学生模型",把 50 步压缩到 1~4 步,速度提升一个数量级,而质量几乎不掉。

FastGen 把这条路线做得非常完整:

类别 代表方法 说明
分布匹配 DMD2、CausVid、Self-Forcing、f-Distill、LADD、AnyFlow 让学生输出分布对齐教师
一致性模型 CM、sCM、TCM、MeanFlow 学习一步/少步映射
精调 SFT、CausalSFT 标准去噪分数匹配微调
知识蒸馏 KD、CausalKD 从预计算轨迹学习

完整清单见 fastgen/methods/README.md。本文聚焦其中最有代表性的两个因果视频蒸馏方法:CausVid 和 Self-Forcing。

二、继承体系:一条清晰的因果蒸馏链路

FastGen 的类设计非常"继承友好",理解这条链路就理解了两个方法的关系:

SelfForcingModel → CausVidModel → DMD2Model → FastGenModel
  • DMD2(dmd2.py):分布匹配蒸馏基础款,VSD 损失 + GAN 交替训练,学生可从纯噪声一步或多步生成;
  • CausVid(causvid.py):在 DMD2 之上增加因果(自回归分块)视频生成能力;
  • Self-Forcing(self_forcing.py):在 CausVid 之上,把训练时的数据生成换成带梯度的自回归 rollout。

学生网络统一使用带 KV 缓存的因果 Wan 网络(network_causal.py 中的 CausalWan),按 chunk_size(默认 3 个 latent 帧)分块逐块生成,后面的块通过 KV 缓存"看到"前面块的信息——和 LLM 自回归生成文本如出一辙。

三、CausVid 原理详解:分块自回归 + KV 缓存的因果蒸馏

3.1 核心思想:Diffusion Forcing + 分块生成

CausVid 回答了一个关键问题:教师是"整段视频一起看"的双向扩散模型,学生却要"一块一块往前生成",怎么训?

FastGen 的实现采用 diffusion forcing 策略(见 CausVidModel._generate_noise_and_time,causvid.py):

  1. 训练时从真实视频出发,给每一帧分配各自独立的噪声水平 t_inhom(形状 [B, T]),而非全局一个 t;
  2. 学生按 chunk 自回归地逐块去噪:每个块做 4 步去噪(sde 或 ode 采样类型),完成后把去噪结果写入 KV 缓存,供后续块作为上下文;
  3. 生成的视频再与教师/假分数模型做分布匹配(VSD + GAN 损失,继承自 DMD2)。

这样一来,学生在训练时就习惯了"看着已生成内容继续往下画",与推理时的行为保持一致。

3.2 关键参数一览

参数 默认值 作用
student_sample_steps 4 每个 chunk 的去噪步数
sample_t_cfg.t_list [0.999, 0.937, 0.833, 0.624, 0.0] 多步去噪的时间步表
student_sample_type sde / ode 多步采样的噪声重加方式
context_noise 0 写入 KV 缓存前给上下文加的噪声水平(抗漂移)
chunk_size 3 每个自回归块的 latent 帧数

Wan 1.3B 的完整配置见 config_causvid.py,学生从 ode_init.pt 初始化、教师为 Wan 1.3B、判别器使用 multiscale_down_mlp_large。

3.3 长视频外推:generator_fn_extrapolation

CausVid 还内置了长视频生成能力(causvid.py):通过 num_segments 和 overlap_frames 参数,自回归地拼接多个视频段,段与段之间用 VAE 解码→重叠帧→再编码的方式"桥接",保证时间连续性。推理时只需加上对应参数即可生成数倍长度的视频:

CausVid因果视频蒸馏生成的文生视频示例帧:两名骑行者经过STOP停车标志

四、Self-Forcing 原理详解:让模型"看着自己的作品"学习

4.1 问题:CausVid 的"曝光偏差"

CausVid 训练时虽然用了真实数据打底,但学生推理时看到的上下文是自己生成的帧——而训练时它很少见到"自己可能画歪了的帧"。这种训练/推理分布不一致(exposure bias)会导致长序列中错误逐步累积:画面逐渐崩坏、语义漂移。

4.2 解法:带梯度的自回归 rollout

Self-Forcing 的做法很直白:训练时就让学生完整地自回归生成一遍视频,并且允许梯度穿过这条生成链路(核心函数 rollout_with_gradient,self_forcing.py)。具体流程:

  1. 从纯噪声出发:与 CausVid 不同,学生输入的不再是"加噪的真实视频",而是完全随机的初始噪声(时间步取 max_t);
  2. 随机"退出步":每个块从去噪步表 t_list 中随机采样一个退出步 denoising_end_steps(_sample_denoising_end_steps,多卡时 rank 0 采样并广播,保证各卡一致)。退出步之前无梯度地粗去噪,只在退出步保留梯度做一次精去噪;
  3. 上下文自喂:每块去噪完成后,在无梯度模式下写入 KV 缓存(可叠加 context_noise 轻微扰动上下文),下一个块继续生成——模型全程"看着自己的输出"往下画;
  4. 拼接回传:所有块拼接后保留完整 autograd 图,参与 DMD2 的 VSD + GAN 损失更新。

这种设计带来两个好处:

  • ✅ 消除曝光偏差:学生被迫学会从"自己的(可能有瑕疵的)生成结果"继续;
  • ✅ 显存友好:只有退出步保留梯度,其余步 no_grad,4 步 rollout 的梯度图规模与单步相当。

4.3 关键参数(config_self_forcing.py)

参数 默认值 说明
enable_gradient_in_rollout True 是否在退出步启用梯度
same_step_across_blocks True 所有块共享同一退出步
last_step_only False 强制只在最后一步退出(更稳但少探索)
context_noise 0.0 缓存上下文的加噪水平
start_gradient_frame 0 从第几帧开始回传梯度

五、CausVid vs Self-Forcing:一张表看懂差异

维度 CausVid Self-Forcing
实现类 CausVidModel SelfForcingModel
训练时的生成输入 加噪的真实视频(逐帧独立噪声) 纯噪声,自回归 rollout
梯度策略 整段少步生成 随机退出步、仅退出步带梯度
上下文来源 近似真值(真实数据打底) 自己生成的帧(自喂)
学习率(Wan 1.3B) 5e-5 5e-6(rollout 梯度更陡,需更小 lr)
训练 batch_size 2 1(rollout 显存开销大)
GAN 权重 0.001 0.003
长视频外推 内置 generator_fn_extrapolation 继承自 CausVid

🎬 效果如何? 根据 distribution_matching/README.md 给出的 VBench 评测(Wan 2.1 14B 教师 + VidProM 提示词):

方法 步数 VBench Total Quality Semantic
DMD2(4 步) 4 84.72 85.86 80.15
Self-Forcing(4 步) 4 84.27 85.31 80.14

4 步因果生成的 Semantic 分数已超过多数非因果方案,代价仅比教师少 90%+ 的 NFE(网络前向次数)——这就是"飞起来"的含义。

Self-Forcing因果蒸馏生成的文生视频示例帧:梵高风格海滩上骑牛的宇航员

六、上手指南:用 FastGen 跑通因果视频蒸馏

6.1 环境准备

git clone https://gitcode.com/gh_mirrors/fastge/FastGen
cd FastGen
pip install -e .

6.2 启动 Self-Forcing 训练

Wan 1.3B 文生视频的完整配置已内置(config_sf.py),单条命令即可开训:

python train.py --config=fastgen/configs/experiments/WanT2V/config_sf.py

多卡训练加 torchrun --nproc_per_node=8 train.py ... - trainer.fsdp=True(大模型建议 FSDP2 分片);显存不足时把 dataloader_train.batch_size 调小即可,框架会自动用梯度累积补回全局 batch。CausVid 同理,换成 config_causvid.py。

6.3 推理与长视频生成

python scripts/inference/video_model_inference.py \
    --config fastgen/configs/experiments/WanT2V/config_sf.py \
    --do_student_sampling True --fps 16 \
    --num_segments 2 --overlap_frames 3
  • --do_student_sampling True:使用蒸馏后的学生(少步模式);
  • --num_segments N:自回归生成 N 个连续视频段;
  • --overlap_frames K:段间重叠 latent 帧数(须为 chunk_size 的整数倍),用于桥接保证时序一致。

参数细节见 scripts/README.md。

印象派风格橡皮鸭落日视频示例帧:FastGen少步因果视频生成的艺术风格样例

七、总结:如何选型

  • 追求训练稳定、快速验证:从 CausVid 入手——配置简单、batch 更大、收敛快;
  • 追求长序列一致性与上限:选 Self-Forcing——用更低的 lr、更小的 batch 换取"自我纠错"能力,长视频抗漂移表现更好;
  • 需要更长的视频:两者都继承 generator_fn_extrapolation,配合 --num_segments / --overlap_frames 即可外推。

一句话总结:CausVid 教会学生"逐块生成",Self-Forcing 教会学生"在不完美的自己作品上继续画好"。两者共同构成了 FastGen 因果视频蒸馏的完整拼图,让视频扩散模型真正"飞"进实时生成的时代 ⚡。

登录后查看全文
FastGen