Causal-rCM 原理深度剖析:Teacher-Forcing + Self-Forcing 如何统一流式视频蒸馏

原创2026-10-26 15:25:402,169 阅读

Causal-rCM 原理深度剖析:Teacher-Forcing + Self-Forcing 如何统一流式视频蒸馏

Causal-rCM 是 rCM 项目(rCM & Causal-rCM)中的因果/自回归视频扩散蒸馏框架,它把 Teacher-Forcing 与 Self-Forcing 两种训练范式统一进一套开源配方,让视频模型以 2~4 步的推理成本实现流式(streaming)生成与交互式世界模型。本文从原理出发,带你快速看懂这套"双流"视频蒸馏方案的设计动机、三步训练流程与关键实现细节 🎬

为什么需要 Causal-rCM?流式视频生成的两大痛点

传统的视频扩散模型(如 Wan2.1)是双向的:生成每一帧时都能"看到"整段视频。而流式场景(实时生成、无限长视频、可交互世界模型)要求模型像语言模型一样逐块自回归地往前生成——只能看过去,不能看未来。这带来两个痛点:

痛点 说明
🕸️ 分布漂移 自回归模型在推理时看到的上下文是自己生成的(带误差),训练时却看的是干净真值,误差会随时间累积
⚡ 推理太慢 教师模型往往需要 50 步采样,流式场景要求每个 chunk 只有 1~4 步

Causal-rCM 的思路是:用 Teacher-Forcing CM(一致性模型蒸馏) 提供稳定、覆盖全面的初始化,再用 Self-Forcing DMD(分布匹配蒸馏) 在自己的 rollout 分布上精修,二者互补。完整文档见 Causal_rCM.md。

一图看懂 Causal-rCM:前向散度 + 反向散度的统一

Causal-rCM 统一架构:Teacher-Forcing CM(前向散度/离线)+ Self-Forcing DMD(反向散度/on-policy)用于流式视频蒸馏

这张官方原理图把整个框架浓缩为一条公式:Causal-rCM = Teacher-Forcing CM + Self-Forcing DMD。

  • Teacher-Forcing 路径(左):对应 rCM 中的 (s)CM,属于前向散度 / 离线方法(mode-covering,覆盖全部模式)。学生模型在干净的真值上下文 + block-causal 掩码下学习教师,训练稳定、多样性好,负责"打地基"。
  • Self-Forcing 路径(右):对应 DMD,属于反向散度 / on-policy 方法(mode-seeking,寻找主模式)。学生自己逐块 rollout 出视频,教师网络与 fake-score 网络对这些"自我生成样本"做分布匹配监督,专门修复自回归推理时的分布漂移。

代码中这两种路径分别由 model.config.training_type 的值 tf_dcm / tf_scm 和 sf_dmd 控制,定义在 T2VCausalConfig:

  • tf / df:因果教师的扩散训练(teacher-forcing / diffusion-forcing)
  • tf_dcm / tf_scm:Teacher-Forcing 的离散/连续时间一致性蒸馏
  • sf_dmd:Self-Forcing DMD 精调

三种训练范式对比:TF / DF / SF 的注意力视角

Teacher-Forcing、Diffusion-Forcing 与 Self-Forcing 三种因果视频蒸馏训练范式的注意力掩码与时序自回归 rollout 对比

这张图展示了三种范式在注意力掩码上的差异(掩码实现见 rcm/utils/blockmask.py):

  1. Teacher-Forcing (TF):序列被打包为 [clean 段 | noisy 段]。noisy 块只能attend到之前的干净真值块和自身,因此训练稳定、可离线批量训练——但它看不到"自己生成的带噪上下文"。
  2. Diffusion-Forcing (DF):每个 chunk 使用独立采样的噪声水平,掩码呈对角渐变,让模型学会在不同噪声上下文中工作。
  3. Self-Forcing (SF):完全模拟推理过程——从左到右逐 chunk 生成,KV cache 不断追加,每一步去噪都在自己生成的上下文上进行(temporal AR rollout)。这正是修复分布漂移的关键,但训练成本更高。

Causal-rCM 的巧妙之处在于:不让二者二选一,而是分阶段接力。

三步训练流程:从双向教师到流式少步学生

Causal-rCM 三步蒸馏流程与 Self-Forcing、APT2 方案的对比:dCM 稳健初始化 + sCM/MeanFlow 快速收敛 + Self-Forcing DMD 精修

官方配方(对比图右侧)明确为三个阶段,配置入口在 rcm/configs/experiments/causal_rcm/wan2pt1_t2v.py:

Stage 1:训练因果教师(tf / df)

从双向 Wan2.1 教师出发,在 block-causal 注意力下微调出一个因果教师。这一步解决"双向模型不会逐块生成"的问题,产出的 checkpoint 作为 causal_teacher_ckpt 供后续蒸馏。

Stage 2:Teacher-Forcing CM 蒸馏(dCM → sCM)

用因果教师蒸馏少步学生,官方推荐先用 dCM(离散时间 CM)打底,再切 sCM(连续时间 CM):

Teacher-Forcing dCM 与 sCM 蒸馏的 VBench-T2V 训练收敛曲线对比:sCM 收敛更快、分数更高

如官方曲线所示,sCM 收敛明显快于 dCM 且终态分数更高,但 dCM 实现更简单、作为初始化更稳健(dCM 步见 _tf_dcm_step,sCM 步基于 JVP 见 _tf_scm_step,JVP 内核在 rcm/utils/flash_attention_jvp_triton.py)。

Stage 3:Self-Forcing DMD 精调

学生模型开始自己 rollout:backward_simulation 无梯度地逐 chunk 生成视频并维护 KV cache,最后一个去噪步骤带梯度重算;随后用双向教师(CFG 引导)与 fake-score 网络对学生生成样本做分布匹配(_sf_step),fake-score 作为 critic 交替更新(training_step_critic)。这就是 Self-Forcing 思想在因果蒸馏中的落地。

关键实现细节:让流式蒸馏真正跑起来

块因果掩码与 KV Cache

整个训练/推理栈由同一个 BlockPattern 驱动(chunk 切分如 <a href="https://link.gitcode.com/i/55c522f92355f1fe5238d5b2ddf90732" target="_blank">first_chunk_t | chunk_t | chunk_t | ...]),KV cache 基础设施在 [rcm/utils/kv_cache.py。训练时支持"replayed"模式:rollout 先无梯度建好,再逐 chunk 重算最后一个去噪步反传,以节省显存。

噪声上下文(Noisy Context)

噪声上下文机制示意:直接缓存最后一步去噪状态作为 KV,省去每 chunk 额外一次干净前向

默认情况下每个 chunk 生成后还需一次 t=0 干净前向来填充 KV cache(4 步生成 = 5 次前向)。设置 context_from_last_step=True 后,直接缓存最后一步去噪的前向结果作为上下文,训练时 _noisy_ctx 会把上下文扰动到同一噪声水平,保证训练与采样分布一致,每 chunk 省一次前向。

按 chunk 递减的步数调度

T2V 首帧最关键,因此 Self-Forcing 阶段采用"首 chunk 4 步、后续 chunk 递减"的策略,例如:

model.config.sf_simulation_steps_per_chunk=[4,2]
model.config.sf_backward_timestep_schedules='[[15/16, 5/6, 5/8],[5/8]]'

对应的时间步调度表(4-step / 2-step / 1-step)完整收录在 Causal_rCM.md。

上手体验:一条命令跑流式生成

蒸馏完成后,用 rcm/inference/wan2pt1_t2v_causal_infer.py 即可逐块流式出视频:

PYTHONPATH=. python rcm/inference/wan2pt1_t2v_causal_infer.py \
    --distilled \
    --dit_path assets/checkpoints/Causal_rCM_Wan2.1_T2V_1.3B_480p_TF-dCM-init_SF-DMD_c1-1_step4.pt \
    --num_steps 4 --mid_t 15/16 5/6 5/8 \
    --first_chunk_t 1 --chunk_t 1 \
    --prompt "A cinematic shot of a snowy mountain at sunrise" \
    --save_path output/causal_rcm.mp4

加上 --image_path 就切换为流式图生视频(I2V):图片占据首个 latent 帧,后续帧逐块自回归展开——这正是"统一配方"面向交互式场景的形态:

Causal-rCM 流式图生视频(I2V)输入示例:16:9 横版首帧图片

此外,仓库还提供量化 KV cache(wan2pt1_t2v_causal_quant_infer.py,支持 int2+QVG 等激进压缩)与有界内存外推(wan2pt1_t2v_causal_extrapolation_infer.py,支持 Rolling Sink、Infinity-RoPE 等长时策略),让流式生成可以突破训练时长上限。

总结:一张表回顾 Causal-rCM 的"双流"设计

阶段 训练类型 监督信号 解决的问题
Stage 1 tf / df 真实视频 + 因果掩码 双向教师 → 因果教师
Stage 2 tf_dcm → tf_scm 前向散度 CM(教师轨迹) 稳定初始化 + 多样性(mode-covering)
Stage 3 sf_dmd 反向散度 DMD(自身 rollout) 修复分布漂移、提升质量(mode-seeking)

Causal-rCM 的核心洞见:Teacher-Forcing 给你覆盖度与稳定性,Self-Forcing 给你 on-policy 的真实性,两者一前一后接力,就构成了当前开源界最完整的流式视频蒸馏配方。想动手复现,从 Causal_rCM.md 的三步训练命令与 rcm/models/t2v_model_causal.py 的训练闭环读起即可 🚀

登录后查看全文
rcm