Evoke长时程蒸馏原理:self-forcing rollout与DMD双专家教师如何支撑30秒监督
Evoke长时程蒸馏原理:self-forcing rollout与DMD双专家教师如何支撑30秒监督
Evoke(Alaya-EVOKE)是一个三步、无 CFG 的交互式世界模型,以 3 步采样、单张 H200 每 2.11 秒生成 1.5 秒视频的速度刷新 WBench 纪录。它最硬核的能力来自长时程蒸馏(Long-Horizon Distillation):通过 self-forcing rollout 让学生模型用自己生成的画面滚出 30 秒视频,再由 DMD 双专家教师以线性成本逐段打分,从而支撑起 30 秒级的长时程监督。本文拆解这套训练方案背后的三个核心问题与工程解法,帮你快速看懂 Evoke 长视频蒸馏的完整原理。
为什么 30 秒监督是世界模型的“生死线”
生成模型做交互式世界模拟时,必须自回归地一帧接一帧、一块接一块地往后滚。这带来两个互相纠缠的难题:
- 误差累积(exposure bias):推理时模型只能看到自己生成的历史,若训练时喂的是真值(GT)历史,学生上线后误差会随时间滚雪球——第 5 秒还行,第 30 秒就面目全非;
- 教师打分成本爆炸:传统方案让多步扩散教师(50 步、CFG 5.0)逐 chunk 给学生的 30 秒长序列打分,注意力是 O(N²),序列一长,显存和算力直接爆炸。
Evoke 的解法一句话概括:训练 rollout 完全模拟推理过程(self-forcing),监督信号交给一个“线性可扩展”的稀疏双专家教师(DMD)。
| 训练阶段 | 模型 | 教师 | 作用 |
|---|---|---|---|
| Stage 1 | stage1_camera_control | 无(非蒸馏) | 50 步相机可控基座 |
| Stage 2 | stage2_few_step_training | stage1 | 3 步金字塔少步蒸馏 |
| Stage 3(长时程) | stage3_long_distillation | evoke_teacher 双专家 | 30 秒 self-forcing DMD |
| Stage 3(后蒸馏) | stage3_post_distillation | stage1 + GAN | 短程精修相机控制 |
四个阶段对应四个启动脚本,入口统一是 train_evoke.py,长时程蒸馏脚本见 train_stage3_long_distillation.sh。
第一步:self-forcing rollout——让学生“自己演完 30 秒”
Evoke 把视频切成语义上的 latent section:每个 section 是一个 9 帧 latent 的 chunk(对应 33 像素帧)。长时程蒸馏配方里,dmd_num_latent_sections_min/max 固定为 20,即一条 rollout 就是 20 个 section ≈ 30 秒(num_frames: 753 @24fps 的训练数据正是为此准备的),配置集中在 stage3_long_distillation.yaml:
rollout_prefix_sections: 1:用 GT 前缀段做种子,学生从第 2 段开始纯靠自己的输出续写;sf_detach_history_between_chunks: true:段间历史做 detach,梯度只回传当前段,显存不被 30 秒计算图拖垮;sf_recompute_sections: true+sf_recompute_top_stages: 2:金字塔高层段重算,进一步省显存;sf_warp_tail_chunks: 2:只对尾部 2 个 chunk 打开几何 warp 并参与打分。
其中最有意思的是尾部 warp 的实现 sf_warp_rollout.py:世界状态银行(world state bank)的写入/渲染全部来自学生自己解码出的帧,而不是 GT 帧。官方注释说得很直白——“drift comes from real autoregression rather than a simulation of it”(漂移来自真实自回归,而非对漂移的模拟)。学生自己漂,warp 就用漂过的画面去渲染,训练分布和推理分布天然对齐。
上图正是长 rollout 的成果展示:Evoke 支持 per-chunk 条件,rollout 运行到一半可以换 prompt(比如“极光点亮整片天空”),无需重开。能稳定滚 30 秒不崩,正是这套 self-forcing 监督的目标。
学生每个 chunk 的输入布局为 prefix | long(16) | mid(2) | warp(W) | prev_short(1) | noise(W),多层级参数化记忆(history_sizes: [16, 2, 1])+ 外部世界状态银行,让上下文有界:会话再长,注意力也只检索当前视角需要的帧。整体推理管线见下图:
第二步:DMD 双专家教师——把 30 秒打分降到线性成本
有了 30 秒 rollout,谁来判分?Evoke 的答案是 DMD(Distribution Matching Distillation)+ 双专家教师。
DMD 的分工:
- real score(教师):冻结的 EvokeTeacher,负责告诉学生“真实数据长什么样”;
- fake score(critic):注入教师内部的 LoRA(rank 128),追踪学生当前分布。两者预测之差构成 KL 梯度,把学生 3 步输出分布往教师分布上推,同时
sf_gen_freeze_steps: 15先让 critic 热身、稳住 Adam 矩再开始指导学生。
双专家路由:教师是 Wan2.2 风格的 A14B 双专家结构——高噪声专家 + 低噪声专家,按时间步路由:t ≥ boundary×1000(默认 boundary 0.9,即 t≥900)走高噪声专家,否则走低噪声专家,逻辑在 wrapper.py 的 _route_expert。高噪声步决定粗结构与相机运动,低噪声步管细节,各学所长。
线性可扩展的稀疏注意力:30 秒序列的“可负担性”来自教师本体 dit_sparse_14b.py 的三件套:
- chunk 分组(
chunk_size: 9):按 chunk 组织注意力与分段提示切换; - 远帧重要性检索:跨 chunk 的远帧不是全量注意,而是先打分 top-k 选出少数远帧,再叠加 z-score 相关门控(select_gate.py)滤掉误召回;
- 线性注意力全局状态:每层维护 K^T·V 状态,记忆与计算随帧数线性增长——这正是 README 所说“30 s self-forced supervision affordable”的根本原因。
30 秒打分塞进单个节点的三个工程杠杆
即便教师线性扩展,14B×2 专家 + 30 秒序列仍需认真的系统级设计,配置里可见三组关键参数:
| 杠杆 | 配置 | 作用 |
|---|---|---|
| 教师专家 offload | evoke_teacher.offload: true |
只把被路由的专家(~28GB)留在 GPU,另一个驻留 CPU,峰值显存 = 单专家水平 |
| critic 序列并行 | sf_critic_sp_world_size: 8 |
一个 8 卡节点组成 SP 组,30 秒全窗打分沿帧维切分(sp_runtime.py) |
| 学生 chunk 并行 | sf_student_chunk_parallel: true |
rollout 生成沿 section 切分到 8 卡(机制 A,G_p=8) |
此外 sf_return_full_rollout: true 让生成步与 critic 步共享同一次 rollout 容器,避免 critic 重卷一条没有 warp 的分布(学生从没见过的那个);num_critic_input_frames: 180 表示 critic 对 20×9 的全窗输出打分。完整 DMD 超参(dmd_denoising_step_list: <a href="https://link.gitcode.com/i/bf85944179ca168d29be618bf1c68287" target="_blank">1000, 666, 333]、real_guidance_scale: 3.0 等)见 [stage3_long_distillation.yaml。
成果:3 步、无 CFG、30 秒稳定滚出
这套长时程蒸馏的回报非常直观:发布模型在 WBench 上以平均 82.0 分位列同类 3 步世界模型 SOTA(导航、一致性、物理合理性全面领先),推理端保持 3 步、零 CFG。仓库内置 Director Web UI 可直接体验——参考图 + 分段提示 + 双摇杆相机,流式预览生成 chunk:
关键文件速查
想深入源码,按这个顺序读最省力:
- 训练配方:configs/training/stage3_long_distillation.yaml
- 主训练循环:train_evoke.py
- self-forcing warp rollout:evoke/utils/sf_warp_rollout.py
- 双专家教师封装与路由:evoke/modules/evoke_teacher/wrapper.py
- 稀疏注意力教师本体:evoke/modules/evoke_teacher/dit_sparse_14b.py
- 远帧选择门控:evoke/modules/evoke_teacher/select_gate.py
- DMD/KL 梯度实现:evoke/utils/utils_evoke_post.py
一句话总结:self-forcing rollout 解决了“训练像推理”的分布对齐问题,DMD 双专家教师 + 稀疏线性注意力解决了“30 秒打得起分”的成本问题——两者合起来,就是 Evoke 长时程蒸馏的全部原理。



