Evoke长时程蒸馏原理:self-forcing rollout与DMD双专家教师如何支撑30秒监督

原创2026-10-25 23:34:251,937 阅读

Evoke长时程蒸馏原理:self-forcing rollout与DMD双专家教师如何支撑30秒监督

Evoke(Alaya-EVOKE)是一个三步、无 CFG 的交互式世界模型,以 3 步采样、单张 H200 每 2.11 秒生成 1.5 秒视频的速度刷新 WBench 纪录。它最硬核的能力来自长时程蒸馏(Long-Horizon Distillation):通过 self-forcing rollout 让学生模型用自己生成的画面滚出 30 秒视频,再由 DMD 双专家教师以线性成本逐段打分,从而支撑起 30 秒级的长时程监督。本文拆解这套训练方案背后的三个核心问题与工程解法,帮你快速看懂 Evoke 长视频蒸馏的完整原理。

Evoke 长时程蒸馏世界模型宣传图

为什么 30 秒监督是世界模型的“生死线”

生成模型做交互式世界模拟时,必须自回归地一帧接一帧、一块接一块地往后滚。这带来两个互相纠缠的难题:

  1. 误差累积(exposure bias):推理时模型只能看到自己生成的历史,若训练时喂的是真值(GT)历史,学生上线后误差会随时间滚雪球——第 5 秒还行,第 30 秒就面目全非;
  2. 教师打分成本爆炸:传统方案让多步扩散教师(50 步、CFG 5.0)逐 chunk 给学生的 30 秒长序列打分,注意力是 O(N²),序列一长,显存和算力直接爆炸。

Evoke 的解法一句话概括:训练 rollout 完全模拟推理过程(self-forcing),监督信号交给一个“线性可扩展”的稀疏双专家教师(DMD)。

训练阶段 模型 教师 作用
Stage 1 stage1_camera_control 无(非蒸馏) 50 步相机可控基座
Stage 2 stage2_few_step_training stage1 3 步金字塔少步蒸馏
Stage 3(长时程) stage3_long_distillation evoke_teacher 双专家 30 秒 self-forcing DMD
Stage 3(后蒸馏) stage3_post_distillation stage1 + GAN 短程精修相机控制

四个阶段对应四个启动脚本,入口统一是 train_evoke.py,长时程蒸馏脚本见 train_stage3_long_distillation.sh。

第一步:self-forcing rollout——让学生“自己演完 30 秒”

Evoke 把视频切成语义上的 latent section:每个 section 是一个 9 帧 latent 的 chunk(对应 33 像素帧)。长时程蒸馏配方里,dmd_num_latent_sections_min/max 固定为 20,即一条 rollout 就是 20 个 section ≈ 30 秒(num_frames: 753 @24fps 的训练数据正是为此准备的),配置集中在 stage3_long_distillation.yaml:

  • rollout_prefix_sections: 1:用 GT 前缀段做种子,学生从第 2 段开始纯靠自己的输出续写;
  • sf_detach_history_between_chunks: true:段间历史做 detach,梯度只回传当前段,显存不被 30 秒计算图拖垮;
  • sf_recompute_sections: true + sf_recompute_top_stages: 2:金字塔高层段重算,进一步省显存;
  • sf_warp_tail_chunks: 2:只对尾部 2 个 chunk 打开几何 warp 并参与打分。

其中最有意思的是尾部 warp 的实现 sf_warp_rollout.py:世界状态银行(world state bank)的写入/渲染全部来自学生自己解码出的帧,而不是 GT 帧。官方注释说得很直白——“drift comes from real autoregression rather than a simulation of it”(漂移来自真实自回归,而非对漂移的模拟)。学生自己漂,warp 就用漂过的画面去渲染,训练分布和推理分布天然对齐。

Evoke 30秒长时程滚出中的分段提示切换示例

上图正是长 rollout 的成果展示:Evoke 支持 per-chunk 条件,rollout 运行到一半可以换 prompt(比如“极光点亮整片天空”),无需重开。能稳定滚 30 秒不崩,正是这套 self-forcing 监督的目标。

学生每个 chunk 的输入布局为 prefix | long(16) | mid(2) | warp(W) | prev_short(1) | noise(W),多层级参数化记忆(history_sizes: [16, 2, 1])+ 外部世界状态银行,让上下文有界:会话再长,注意力也只检索当前视角需要的帧。整体推理管线见下图:

Evoke 世界模型推理管线:latent 分段布局与世界状态银行

第二步:DMD 双专家教师——把 30 秒打分降到线性成本

有了 30 秒 rollout,谁来判分?Evoke 的答案是 DMD(Distribution Matching Distillation)+ 双专家教师。

DMD 的分工:

  • real score(教师):冻结的 EvokeTeacher,负责告诉学生“真实数据长什么样”;
  • fake score(critic):注入教师内部的 LoRA(rank 128),追踪学生当前分布。两者预测之差构成 KL 梯度,把学生 3 步输出分布往教师分布上推,同时 sf_gen_freeze_steps: 15 先让 critic 热身、稳住 Adam 矩再开始指导学生。

双专家路由:教师是 Wan2.2 风格的 A14B 双专家结构——高噪声专家 + 低噪声专家,按时间步路由:t ≥ boundary×1000(默认 boundary 0.9,即 t≥900)走高噪声专家,否则走低噪声专家,逻辑在 wrapper.py 的 _route_expert。高噪声步决定粗结构与相机运动,低噪声步管细节,各学所长。

线性可扩展的稀疏注意力:30 秒序列的“可负担性”来自教师本体 dit_sparse_14b.py 的三件套:

  1. chunk 分组(chunk_size: 9):按 chunk 组织注意力与分段提示切换;
  2. 远帧重要性检索:跨 chunk 的远帧不是全量注意,而是先打分 top-k 选出少数远帧,再叠加 z-score 相关门控(select_gate.py)滤掉误召回;
  3. 线性注意力全局状态:每层维护 K^T·V 状态,记忆与计算随帧数线性增长——这正是 README 所说“30 s self-forced supervision affordable”的根本原因。

30 秒打分塞进单个节点的三个工程杠杆

即便教师线性扩展,14B×2 专家 + 30 秒序列仍需认真的系统级设计,配置里可见三组关键参数:

杠杆 配置 作用
教师专家 offload evoke_teacher.offload: true 只把被路由的专家(~28GB)留在 GPU,另一个驻留 CPU,峰值显存 = 单专家水平
critic 序列并行 sf_critic_sp_world_size: 8 一个 8 卡节点组成 SP 组,30 秒全窗打分沿帧维切分(sp_runtime.py)
学生 chunk 并行 sf_student_chunk_parallel: true rollout 生成沿 section 切分到 8 卡(机制 A,G_p=8)

此外 sf_return_full_rollout: true 让生成步与 critic 步共享同一次 rollout 容器,避免 critic 重卷一条没有 warp 的分布(学生从没见过的那个);num_critic_input_frames: 180 表示 critic 对 20×9 的全窗输出打分。完整 DMD 超参(dmd_denoising_step_list: <a href="https://link.gitcode.com/i/bf85944179ca168d29be618bf1c68287" target="_blank">1000, 666, 333]、real_guidance_scale: 3.0 等)见 [stage3_long_distillation.yaml。

成果:3 步、无 CFG、30 秒稳定滚出

这套长时程蒸馏的回报非常直观:发布模型在 WBench 上以平均 82.0 分位列同类 3 步世界模型 SOTA(导航、一致性、物理合理性全面领先),推理端保持 3 步、零 CFG。仓库内置 Director Web UI 可直接体验——参考图 + 分段提示 + 双摇杆相机,流式预览生成 chunk:

Evoke Director UI:长时程交互式世界探索界面

关键文件速查

想深入源码,按这个顺序读最省力:

一句话总结:self-forcing rollout 解决了“训练像推理”的分布对齐问题,DMD 双专家教师 + 稀疏线性注意力解决了“30 秒打得起分”的成本问题——两者合起来,就是 Evoke 长时程蒸馏的全部原理。

登录后查看全文
Evoke