ArtiFixer 蒸馏进阶:Stage 3 DMD 如何用 4 步推理逼近 50 步生成效果
ArtiFixer 蒸馏进阶:Stage 3 DMD 如何用 4 步推理逼近 50 步生成效果
ArtiFixer 是 NVIDIA 推出的、面向 3D 重建与扩展的自回归扩散模型。它的 Stage 3 采用 DMD(Distribution Matching Distillation,分布匹配蒸馏),把原本需要 50 步去噪才能出片的生成,压缩到仅 4 步推理。本文用通俗易懂的方式拆解这一"提速 12 倍"的进阶阶段:它到底动了什么、每个训练步在干什么、以及新手如何一键启动并避开常见坑。
一、为什么需要 DMD 蒸馏:50 步 vs 4 步 🐢
理解 Stage 3 之前,先看 ArtiFixer 的三段式训练路线(详见 README.md):
| 阶段 | 入口模块 | 目标 | 默认迭代数 |
|---|---|---|---|
| Stage 1 | model_training/train.py | 在重建条件 DL3DV 片段上做监督微调,学会"看渲染补全画面" | 25000 |
| Stage 2 | model_training/diffusion_forcing.py | 用 block-causal 的 diffusion-forcing 微调,建立自回归生成能力 | 10000 |
| Stage 3 | model_training/distillation.py | DMD 蒸馏,把 50 步生成压缩为 4 步 | 400 |
Stage 1 / Stage 2 训练出的模型,验证时会跑 50 步去噪(见 model_training/trainers/trainer.py),画质好但速度慢,难以实时或批量推理。Stage 3 的使命,就是让这个模型"几步出片",同时尽量不损失质量。
关键认知:蒸馏不是再训练一个更大的模型,而是让一个"学生"模仿"教师分布",用更少步数逼近同等效果。
二、Stage 3 的"三件套":谁在训练谁?🎯
Stage 3 与前三阶段最大的不同:它同时维护三个模型(均在 model_training/distillation.py 中构建)。这是 DMD 算法的核心结构:
| 角色 | 代码命名 | 来源检查点 | 是否训练 | 职责 |
|---|---|---|---|---|
| 学生 / 生成器 | pipe.transformer |
--base_checkpoint_dir(Stage 2) |
✅ 核心 | 负责 4 步生成画面 |
| 真实分数网络(冻结) | real_score |
--base_checkpoint_dir_critic(Stage 1) |
❌ 冻结 | 估计"真实数据"的分布方向 |
| 伪分数网络(critic) | fake_score |
--base_checkpoint_dir_critic(Stage 1) |
✅ 训练 | 估计"学生生成"的分布方向 |
一句话总结这套"对抗"逻辑:让 fake_score 追上学学生生成的分布,再用 real_score 与 fake_score 的差值,把学生往"真实分布"推。 这正是 DMD2 论文的思路。
为什么 critic 用 Stage 1、学生用 Stage 2?因为 critic 需要稳定、接近教师的"分布锚点",而学生需要已具备自回归能力的 Stage 2 作为起点,蒸馏才收敛得快。
三、每个训练步在干什么:critic_loss 与 generator_loss 🔧
打开核心实现 model_training/trainers/dmd.py,training_batch(L50)每个 batch 做三件事:
- 先共享预处理
process_inputs:critic 与学生看到完全相同的 dropout 掩码与条件,保证公平对比。 - 学生生成一次样本:调用 KV-cache 管线
generate_samples_from_batch,只跑 4 步得到x_fake。 - 分别计算两个损失:
其中 generator_loss 是灵魂(L85-L136):
# 两个分数网络各自从同一加噪样本预测 x0
fake_predicted_x0 = ... # fake_score 的输出
real_predicted_x0 = ... # real_score 的输出
# DMD 梯度(DMD2 论文 eq.7/8):两者之差,再做归一化
grad = fake_predicted_x0 - real_predicted_x0
normalizer = (prediction - real_predicted_x0).abs().mean(...)
grad = torch.nan_to_num(grad / normalizer)
直观理解:real − fake 的差值,就是一个"指向真实分布"的隐式梯度。把它(归一化后)作为监督,就能让学生 4 步生成的画面"往真实数据靠拢"。
学生与 critic 的"轮休"节奏 ⚖️
并非每一步都更新学生。由 dfake_gen_update_ratio=5 控制(distillation.py L179):
critic_loss每步都算;generator_loss仅在"学生阶段"算,由is_student_phase判断:(step-1) % 5 == 0。
也就是每 1 次学生更新,配 5 次 critic 更新。这样 fake_score 始终紧跟学生分布,梯度方向才可靠。
四、为什么能"4 步 ≈ 50 步":Self-Forcing + KV Cache 🚀
少步生成的关键不在损失函数,而在生成管线。Stage 3 用的是带 KV Cache 的自回归管线 model_training/pipeline/kv_cache_pipeline.py。两个设计点决定了成败:
- 分块自回归:把视频按
frames_per_block=7个 latent 帧切块,逐块生成,配合local_attn_size(局部注意力窗口)与sink_size(锚定 token)实现流式长视频推理,显存友好。 - 训练时"随机退出"(Self-Forcing):训练调用时
use_exit_flag=True(见 dmd.py L57-L69),会随机挑一个去噪步提前退出(_generate_and_sync_exit_flag)。
通俗说:模型被强制"在任意一步都得交出像样的结果",因此推理时无论走到第几步都能出片,无需凑满 50 步。这就是 4 步能逼近 50 步的根本原因。
推理时则 use_exit_flag=False,老老实实跑完配置的 4 步即可(denoise_to_latents)。
五、一键启动 Stage 3:关键参数速查 🛠️
启动命令(见 README.md),核心是两个检查点 + accelerate launch:
accelerate launch --multi_gpu --num_processes "$NUM_PROCESSES" \
--module model_training.distillation \
--project_dir "$STAGE3_PROJECT_DIR" \
--base_checkpoint_dir "$STAGE2_CHECKPOINT" \
--base_checkpoint_dir_critic "$CRITIC_CHECKPOINT" \
--split_path "$SPLIT_PATH" \
--dl3dv_dir "$DL3DV_ROOT" \
--prompt_dir "$PROMPT_ROOT" \
--gradient_accumulation_steps "$GRADIENT_ACCUMULATION_STEPS" \
--resume_from_checkpoint auto
下面是 Stage 3 的默认超参(来自 model_training/distillation.py),新手重点看"含义"列:
| 参数 | 默认值 | 含义 / 调优建议 |
|---|---|---|
--num_inference_steps |
4 | 目标少步数,蒸馏后推理步数 |
--frames_per_block |
7 | 每块 latent 帧数,须整除总帧数 |
--local_attn_size |
21 | 局部注意力窗口,控制流式推理 |
--sink_size |
7 | 锚定 token 数,保持全局一致性 |
--dfake_gen_update_ratio |
5 | critic:学生 更新比例 |
--max_iterations |
400 | 蒸馏迭代少,通常几百步收敛 |
--learning_rate |
2e-6 | 学生(生成器)学习率 |
--learning_rate_critic |
4e-7 | critic 学习率,略低于学生 |
--text_guidance_scale |
3.0 | 文本引导强度(DMD 梯度用) |
--timestep_shift |
5.0 | 采样时间步偏移,对齐训练调度 |
--ema_weight |
0.99 | 学生权重 EMA 平滑系数 |
--ema_start_step |
200 | 从第几步开始启用 EMA |
💡 批量有效规模:默认配方建议
num_processes × gradient_accumulation_steps = 128,例如 8 卡配--gradient_accumulation_steps 16。多节点可基于 model_training/slurm/sample-slurm-submit.sh 改造。
EMA 平滑:出片更稳的小秘密 ✨
训练默认开启 EMA(指数滑动平均,model_training/utils/ema.py)。验证阶段会从第 200 步起,临时用 EMA 权重跑推理再还原(见 validation_batches),让验证产物比"裸参数"更平滑。
六、新手避坑清单 ✅
- 检查点别拿反:
--base_checkpoint_dir传 Stage 2(学生起点),--base_checkpoint_dir_critic传 Stage 1(critic 起点)。传错会导致分布不匹配、难收敛。 - 帧数必须整除:总帧数需满足
latent_num_frames % frames_per_block == 0(distillation.py L37-L40),否则启动即报错。 - critic 模型配置:
--model_id_critic默认跟随--model_id,仅当 critic 用不同底座时才显式传。 - 蒸馏收敛快、迭代少:
max_iterations默认仅 400,别用 Stage 1/2 的几万步去套它。 - 验证看 4 步产物:Stage 3 验证直接用 4 步生成(
args.num_inference_steps),与 Stage 1/2 的 50 步验证产物不可直接对比,需同一 split 同场景比较。 - 断点续训:加
--resume_from_checkpoint auto,可无缝续跑;Slurm 抢占场景会自动存档再 requeue。
七、小结:4 步如何做到"接近 50 步" 🎬
回到标题的问题。ArtiFixer Stage 3 的答案是三管齐下:
- 分布匹配(DMD):用
real_score − fake_score的差值作隐式梯度,把学生分布"拉"向真实分布; - Self-Forcing 随机退出:训练时强制模型在任意步都能出片,推理自然少步;
- KV-Cache 分块自回归:
frames_per_block + local_attn + sink让长视频流式生成又快又省。
三者叠加,才让 4 步推理得以逼近 50 步的生成质量,把实时/批量 3D 场景重建的推理门槛大幅拉低。
核心代码:model_training/distillation.py · model_training/trainers/dmd.py · model_training/pipeline/kv_cache_pipeline.py · 调度器 model_training/schedulers/flow_match.py · EMA model_training/utils/ema.py