如何让视频扩散模型飞起来?FastGen中CausVid与Self-Forcing因果蒸馏深度剖析
如何让视频扩散模型飞起来?FastGen中CausVid与Self-Forcing因果蒸馏深度剖析
FastGen 是 NVIDIA 推出的开源快速生成框架,专注于把动辄需要几十步采样的视频扩散模型蒸馏为仅需 4 步的"闪电"生成器。这篇文章将深入剖析 FastGen 中两款主打因果视频蒸馏的方法——CausVid 与 Self-Forcing:它们如何让视频扩散模型"飞起来",核心差异在哪里,以及如何用 FastGen 快速跑通因果视频蒸馏训练与推理。
FastGen 框架示意:Teacher 模型(图像/视频扩散模型)通过蒸馏配方(Distillation Recipe),被 FastGen 加速为少步生成的图像与视频模型
一、为什么视频扩散模型需要"飞起来"
视频扩散模型(如 Wan、CogVideoX)的生成质量令人惊艳,但有个绕不开的问题:慢。
- 生成一段几秒钟的 480p 视频,通常要跑 30~50 步去噪迭代;
- 每一步都是对整个视频 token 序列的全量前向,显存与算力开销巨大;
- 要生成"长视频"时,成本按倍数放大。
蒸馏(Distillation) 就是解药:用一个多步"教师模型"带出一个少步"学生模型",把 50 步压缩到 1~4 步,速度提升一个数量级,而质量几乎不掉。
FastGen 把这条路线做得非常完整:
| 类别 | 代表方法 | 说明 |
|---|---|---|
| 分布匹配 | DMD2、CausVid、Self-Forcing、f-Distill、LADD、AnyFlow | 让学生输出分布对齐教师 |
| 一致性模型 | CM、sCM、TCM、MeanFlow | 学习一步/少步映射 |
| 精调 | SFT、CausalSFT | 标准去噪分数匹配微调 |
| 知识蒸馏 | KD、CausalKD | 从预计算轨迹学习 |
完整清单见 fastgen/methods/README.md。本文聚焦其中最有代表性的两个因果视频蒸馏方法:CausVid 和 Self-Forcing。
二、继承体系:一条清晰的因果蒸馏链路
FastGen 的类设计非常"继承友好",理解这条链路就理解了两个方法的关系:
SelfForcingModel → CausVidModel → DMD2Model → FastGenModel
- DMD2(dmd2.py):分布匹配蒸馏基础款,VSD 损失 + GAN 交替训练,学生可从纯噪声一步或多步生成;
- CausVid(causvid.py):在 DMD2 之上增加因果(自回归分块)视频生成能力;
- Self-Forcing(self_forcing.py):在 CausVid 之上,把训练时的数据生成换成带梯度的自回归 rollout。
学生网络统一使用带 KV 缓存的因果 Wan 网络(network_causal.py 中的 CausalWan),按 chunk_size(默认 3 个 latent 帧)分块逐块生成,后面的块通过 KV 缓存"看到"前面块的信息——和 LLM 自回归生成文本如出一辙。
三、CausVid 原理详解:分块自回归 + KV 缓存的因果蒸馏
3.1 核心思想:Diffusion Forcing + 分块生成
CausVid 回答了一个关键问题:教师是"整段视频一起看"的双向扩散模型,学生却要"一块一块往前生成",怎么训?
FastGen 的实现采用 diffusion forcing 策略(见 CausVidModel._generate_noise_and_time,causvid.py):
- 训练时从真实视频出发,给每一帧分配各自独立的噪声水平
t_inhom(形状[B, T]),而非全局一个 t; - 学生按 chunk 自回归地逐块去噪:每个块做 4 步去噪(
sde或ode采样类型),完成后把去噪结果写入 KV 缓存,供后续块作为上下文; - 生成的视频再与教师/假分数模型做分布匹配(VSD + GAN 损失,继承自 DMD2)。
这样一来,学生在训练时就习惯了"看着已生成内容继续往下画",与推理时的行为保持一致。
3.2 关键参数一览
| 参数 | 默认值 | 作用 |
|---|---|---|
student_sample_steps |
4 | 每个 chunk 的去噪步数 |
sample_t_cfg.t_list |
[0.999, 0.937, 0.833, 0.624, 0.0] |
多步去噪的时间步表 |
student_sample_type |
sde / ode |
多步采样的噪声重加方式 |
context_noise |
0 | 写入 KV 缓存前给上下文加的噪声水平(抗漂移) |
chunk_size |
3 | 每个自回归块的 latent 帧数 |
Wan 1.3B 的完整配置见 config_causvid.py,学生从 ode_init.pt 初始化、教师为 Wan 1.3B、判别器使用 multiscale_down_mlp_large。
3.3 长视频外推:generator_fn_extrapolation
CausVid 还内置了长视频生成能力(causvid.py):通过 num_segments 和 overlap_frames 参数,自回归地拼接多个视频段,段与段之间用 VAE 解码→重叠帧→再编码的方式"桥接",保证时间连续性。推理时只需加上对应参数即可生成数倍长度的视频:
四、Self-Forcing 原理详解:让模型"看着自己的作品"学习
4.1 问题:CausVid 的"曝光偏差"
CausVid 训练时虽然用了真实数据打底,但学生推理时看到的上下文是自己生成的帧——而训练时它很少见到"自己可能画歪了的帧"。这种训练/推理分布不一致(exposure bias)会导致长序列中错误逐步累积:画面逐渐崩坏、语义漂移。
4.2 解法:带梯度的自回归 rollout
Self-Forcing 的做法很直白:训练时就让学生完整地自回归生成一遍视频,并且允许梯度穿过这条生成链路(核心函数 rollout_with_gradient,self_forcing.py)。具体流程:
- 从纯噪声出发:与 CausVid 不同,学生输入的不再是"加噪的真实视频",而是完全随机的初始噪声(时间步取
max_t); - 随机"退出步":每个块从去噪步表
t_list中随机采样一个退出步denoising_end_steps(_sample_denoising_end_steps,多卡时 rank 0 采样并广播,保证各卡一致)。退出步之前无梯度地粗去噪,只在退出步保留梯度做一次精去噪; - 上下文自喂:每块去噪完成后,在无梯度模式下写入 KV 缓存(可叠加
context_noise轻微扰动上下文),下一个块继续生成——模型全程"看着自己的输出"往下画; - 拼接回传:所有块拼接后保留完整 autograd 图,参与 DMD2 的 VSD + GAN 损失更新。
这种设计带来两个好处:
- ✅ 消除曝光偏差:学生被迫学会从"自己的(可能有瑕疵的)生成结果"继续;
- ✅ 显存友好:只有退出步保留梯度,其余步
no_grad,4 步 rollout 的梯度图规模与单步相当。
4.3 关键参数(config_self_forcing.py)
| 参数 | 默认值 | 说明 |
|---|---|---|
enable_gradient_in_rollout |
True |
是否在退出步启用梯度 |
same_step_across_blocks |
True |
所有块共享同一退出步 |
last_step_only |
False |
强制只在最后一步退出(更稳但少探索) |
context_noise |
0.0 |
缓存上下文的加噪水平 |
start_gradient_frame |
0 |
从第几帧开始回传梯度 |
五、CausVid vs Self-Forcing:一张表看懂差异
| 维度 | CausVid | Self-Forcing |
|---|---|---|
| 实现类 | CausVidModel | SelfForcingModel |
| 训练时的生成输入 | 加噪的真实视频(逐帧独立噪声) | 纯噪声,自回归 rollout |
| 梯度策略 | 整段少步生成 | 随机退出步、仅退出步带梯度 |
| 上下文来源 | 近似真值(真实数据打底) | 自己生成的帧(自喂) |
| 学习率(Wan 1.3B) | 5e-5 | 5e-6(rollout 梯度更陡,需更小 lr) |
| 训练 batch_size | 2 | 1(rollout 显存开销大) |
| GAN 权重 | 0.001 | 0.003 |
| 长视频外推 | 内置 generator_fn_extrapolation |
继承自 CausVid |
🎬 效果如何? 根据 distribution_matching/README.md 给出的 VBench 评测(Wan 2.1 14B 教师 + VidProM 提示词):
| 方法 | 步数 | VBench Total | Quality | Semantic |
|---|---|---|---|---|
| DMD2(4 步) | 4 | 84.72 | 85.86 | 80.15 |
| Self-Forcing(4 步) | 4 | 84.27 | 85.31 | 80.14 |
4 步因果生成的 Semantic 分数已超过多数非因果方案,代价仅比教师少 90%+ 的 NFE(网络前向次数)——这就是"飞起来"的含义。
六、上手指南:用 FastGen 跑通因果视频蒸馏
6.1 环境准备
git clone https://gitcode.com/gh_mirrors/fastge/FastGen
cd FastGen
pip install -e .
6.2 启动 Self-Forcing 训练
Wan 1.3B 文生视频的完整配置已内置(config_sf.py),单条命令即可开训:
python train.py --config=fastgen/configs/experiments/WanT2V/config_sf.py
多卡训练加 torchrun --nproc_per_node=8 train.py ... - trainer.fsdp=True(大模型建议 FSDP2 分片);显存不足时把 dataloader_train.batch_size 调小即可,框架会自动用梯度累积补回全局 batch。CausVid 同理,换成 config_causvid.py。
6.3 推理与长视频生成
python scripts/inference/video_model_inference.py \
--config fastgen/configs/experiments/WanT2V/config_sf.py \
--do_student_sampling True --fps 16 \
--num_segments 2 --overlap_frames 3
--do_student_sampling True:使用蒸馏后的学生(少步模式);--num_segments N:自回归生成 N 个连续视频段;--overlap_frames K:段间重叠 latent 帧数(须为chunk_size的整数倍),用于桥接保证时序一致。
参数细节见 scripts/README.md。
七、总结:如何选型
- 追求训练稳定、快速验证:从 CausVid 入手——配置简单、batch 更大、收敛快;
- 追求长序列一致性与上限:选 Self-Forcing——用更低的 lr、更小的 batch 换取"自我纠错"能力,长视频抗漂移表现更好;
- 需要更长的视频:两者都继承
generator_fn_extrapolation,配合--num_segments/--overlap_frames即可外推。
一句话总结:CausVid 教会学生"逐块生成",Self-Forcing 教会学生"在不完美的自己作品上继续画好"。两者共同构成了 FastGen 因果视频蒸馏的完整拼图,让视频扩散模型真正"飞"进实时生成的时代 ⚡。



