ArtiFixer 蒸馏进阶:Stage 3 DMD 如何用 4 步推理逼近 50 步生成效果

原创2026-11-02 21:40:231,897 阅读

ArtiFixer 蒸馏进阶:Stage 3 DMD 如何用 4 步推理逼近 50 步生成效果

ArtiFixer 是 NVIDIA 推出的、面向 3D 重建与扩展的自回归扩散模型。它的 Stage 3 采用 DMD(Distribution Matching Distillation,分布匹配蒸馏),把原本需要 50 步去噪才能出片的生成,压缩到仅 4 步推理。本文用通俗易懂的方式拆解这一"提速 12 倍"的进阶阶段:它到底动了什么、每个训练步在干什么、以及新手如何一键启动并避开常见坑。

一、为什么需要 DMD 蒸馏:50 步 vs 4 步 🐢

理解 Stage 3 之前,先看 ArtiFixer 的三段式训练路线(详见 README.md):

阶段 入口模块 目标 默认迭代数
Stage 1 model_training/train.py 在重建条件 DL3DV 片段上做监督微调,学会"看渲染补全画面" 25000
Stage 2 model_training/diffusion_forcing.py 用 block-causal 的 diffusion-forcing 微调,建立自回归生成能力 10000
Stage 3 model_training/distillation.py DMD 蒸馏,把 50 步生成压缩为 4 步 400

Stage 1 / Stage 2 训练出的模型,验证时会跑 50 步去噪(见 model_training/trainers/trainer.py),画质好但速度慢,难以实时或批量推理。Stage 3 的使命,就是让这个模型"几步出片",同时尽量不损失质量。

关键认知:蒸馏不是再训练一个更大的模型,而是让一个"学生"模仿"教师分布",用更少步数逼近同等效果。

二、Stage 3 的"三件套":谁在训练谁?🎯

Stage 3 与前三阶段最大的不同:它同时维护三个模型(均在 model_training/distillation.py 中构建)。这是 DMD 算法的核心结构:

角色 代码命名 来源检查点 是否训练 职责
学生 / 生成器 pipe.transformer --base_checkpoint_dir(Stage 2) ✅ 核心 负责 4 步生成画面
真实分数网络(冻结) real_score --base_checkpoint_dir_critic(Stage 1) ❌ 冻结 估计"真实数据"的分布方向
伪分数网络(critic) fake_score --base_checkpoint_dir_critic(Stage 1) ✅ 训练 估计"学生生成"的分布方向

一句话总结这套"对抗"逻辑:让 fake_score 追上学学生生成的分布,再用 real_score 与 fake_score 的差值,把学生往"真实分布"推。 这正是 DMD2 论文的思路。

为什么 critic 用 Stage 1、学生用 Stage 2?因为 critic 需要稳定、接近教师的"分布锚点",而学生需要已具备自回归能力的 Stage 2 作为起点,蒸馏才收敛得快。

三、每个训练步在干什么:critic_loss 与 generator_loss 🔧

打开核心实现 model_training/trainers/dmd.py,training_batch(L50)每个 batch 做三件事:

  1. 先共享预处理 process_inputs:critic 与学生看到完全相同的 dropout 掩码与条件,保证公平对比。
  2. 学生生成一次样本:调用 KV-cache 管线 generate_samples_from_batch,只跑 4 步得到 x_fake。
  3. 分别计算两个损失:
    • critic_loss(L138):用学生detach 后的输出,训练 fake_score 去"预测噪声"——让它学会学生生成的分布。
    • generator_loss(L83):DMD 分布匹配损失,仅在"学生阶段"计算。

其中 generator_loss 是灵魂(L85-L136):

# 两个分数网络各自从同一加噪样本预测 x0
fake_predicted_x0  = ...   # fake_score 的输出
real_predicted_x0  = ...   # real_score 的输出

# DMD 梯度(DMD2 论文 eq.7/8):两者之差,再做归一化
grad = fake_predicted_x0 - real_predicted_x0
normalizer = (prediction - real_predicted_x0).abs().mean(...)
grad = torch.nan_to_num(grad / normalizer)

直观理解:real − fake 的差值,就是一个"指向真实分布"的隐式梯度。把它(归一化后)作为监督,就能让学生 4 步生成的画面"往真实数据靠拢"。

学生与 critic 的"轮休"节奏 ⚖️

并非每一步都更新学生。由 dfake_gen_update_ratio=5 控制(distillation.py L179):

  • critic_loss 每步都算;
  • generator_loss 仅在"学生阶段"算,由 is_student_phase 判断:(step-1) % 5 == 0。

也就是每 1 次学生更新,配 5 次 critic 更新。这样 fake_score 始终紧跟学生分布,梯度方向才可靠。

四、为什么能"4 步 ≈ 50 步":Self-Forcing + KV Cache 🚀

少步生成的关键不在损失函数,而在生成管线。Stage 3 用的是带 KV Cache 的自回归管线 model_training/pipeline/kv_cache_pipeline.py。两个设计点决定了成败:

  1. 分块自回归:把视频按 frames_per_block=7 个 latent 帧切块,逐块生成,配合 local_attn_size(局部注意力窗口)与 sink_size(锚定 token)实现流式长视频推理,显存友好。
  2. 训练时"随机退出"(Self-Forcing):训练调用时 use_exit_flag=True(见 dmd.py L57-L69),会随机挑一个去噪步提前退出(_generate_and_sync_exit_flag)。

通俗说:模型被强制"在任意一步都得交出像样的结果",因此推理时无论走到第几步都能出片,无需凑满 50 步。这就是 4 步能逼近 50 步的根本原因。

推理时则 use_exit_flag=False,老老实实跑完配置的 4 步即可(denoise_to_latents)。

五、一键启动 Stage 3:关键参数速查 🛠️

启动命令(见 README.md),核心是两个检查点 + accelerate launch:

accelerate launch --multi_gpu --num_processes "$NUM_PROCESSES" \
    --module model_training.distillation \
    --project_dir "$STAGE3_PROJECT_DIR" \
    --base_checkpoint_dir "$STAGE2_CHECKPOINT" \
    --base_checkpoint_dir_critic "$CRITIC_CHECKPOINT" \
    --split_path "$SPLIT_PATH" \
    --dl3dv_dir "$DL3DV_ROOT" \
    --prompt_dir "$PROMPT_ROOT" \
    --gradient_accumulation_steps "$GRADIENT_ACCUMULATION_STEPS" \
    --resume_from_checkpoint auto

下面是 Stage 3 的默认超参(来自 model_training/distillation.py),新手重点看"含义"列:

参数 默认值 含义 / 调优建议
--num_inference_steps 4 目标少步数,蒸馏后推理步数
--frames_per_block 7 每块 latent 帧数,须整除总帧数
--local_attn_size 21 局部注意力窗口,控制流式推理
--sink_size 7 锚定 token 数,保持全局一致性
--dfake_gen_update_ratio 5 critic:学生 更新比例
--max_iterations 400 蒸馏迭代少,通常几百步收敛
--learning_rate 2e-6 学生(生成器)学习率
--learning_rate_critic 4e-7 critic 学习率,略低于学生
--text_guidance_scale 3.0 文本引导强度(DMD 梯度用)
--timestep_shift 5.0 采样时间步偏移,对齐训练调度
--ema_weight 0.99 学生权重 EMA 平滑系数
--ema_start_step 200 从第几步开始启用 EMA

💡 批量有效规模:默认配方建议 num_processes × gradient_accumulation_steps = 128,例如 8 卡配 --gradient_accumulation_steps 16。多节点可基于 model_training/slurm/sample-slurm-submit.sh 改造。

EMA 平滑:出片更稳的小秘密 ✨

训练默认开启 EMA(指数滑动平均,model_training/utils/ema.py)。验证阶段会从第 200 步起,临时用 EMA 权重跑推理再还原(见 validation_batches),让验证产物比"裸参数"更平滑。

六、新手避坑清单 ✅

  1. 检查点别拿反:--base_checkpoint_dir 传 Stage 2(学生起点),--base_checkpoint_dir_critic 传 Stage 1(critic 起点)。传错会导致分布不匹配、难收敛。
  2. 帧数必须整除:总帧数需满足 latent_num_frames % frames_per_block == 0(distillation.py L37-L40),否则启动即报错。
  3. critic 模型配置:--model_id_critic 默认跟随 --model_id,仅当 critic 用不同底座时才显式传。
  4. 蒸馏收敛快、迭代少:max_iterations 默认仅 400,别用 Stage 1/2 的几万步去套它。
  5. 验证看 4 步产物:Stage 3 验证直接用 4 步生成(args.num_inference_steps),与 Stage 1/2 的 50 步验证产物不可直接对比,需同一 split 同场景比较。
  6. 断点续训:加 --resume_from_checkpoint auto,可无缝续跑;Slurm 抢占场景会自动存档再 requeue。

七、小结:4 步如何做到"接近 50 步" 🎬

回到标题的问题。ArtiFixer Stage 3 的答案是三管齐下:

  • 分布匹配(DMD):用 real_score − fake_score 的差值作隐式梯度,把学生分布"拉"向真实分布;
  • Self-Forcing 随机退出:训练时强制模型在任意步都能出片,推理自然少步;
  • KV-Cache 分块自回归:frames_per_block + local_attn + sink 让长视频流式生成又快又省。

三者叠加,才让 4 步推理得以逼近 50 步的生成质量,把实时/批量 3D 场景重建的推理门槛大幅拉低。


核心代码:model_training/distillation.py · model_training/trainers/dmd.py · model_training/pipeline/kv_cache_pipeline.py · 调度器 model_training/schedulers/flow_match.py · EMA model_training/utils/ema.py

登录后查看全文
ArtiFixer