ELF采样策略详解:ODE/SDE步数、CFG与时间调度的完整对比指南
ELF采样策略详解:ODE/SDE步数、CFG与时间调度的完整对比指南
ELF(Embedded Language Flows)是一个基于连续 Flow Matching 的扩散语言模型,它整段文本始终在连续嵌入空间中"去噪",直到最后一步才映射为离散 token。对于新手来说,ELF 采样策略的三大核心问题正是:ODE 还是 SDE、步数取多少、CFG 和时间调度如何设置。本文带你逐一对比 ELF 内置采样配置(32/64 步、SC-CFG、logit_normal 调度)的设计取舍,帮助你快速选对适合自己的采样参数。
先搞清楚:ELF 采样到底在做什么
和自回归语言模型"一个词一个词往外蹦"不同,ELF 的生成是一条从纯高斯噪声到干净嵌入的去噪轨迹:时间 t 从 0 走到 1,模型每步预测"速度" v,把当前状态往干净方向推一点;直到 t=1 时,才用一个共享权重的网络一次性离散化为 token。
上图中橙色点表示连续嵌入空间中的数据,紫色线是从噪声到干净嵌入的去噪轨迹;离散化只发生在 t=1 的最后一步。
这个设计的好处是:图像扩散领域成熟的技术(比如 classifier-free guidance,CFG)可以几乎原样搬到语言模型上。
ODE 还是 SDE:两种采样器怎么选?
ELF 在 sampling_utils.py 中实现了两种单步采样器:
| 采样器 | 特点 | 行为 |
|---|---|---|
| ODE(欧拉步) | 确定性 | 每步只做 z ← z + (t_next − t) · v,同样输入结果可复现 |
| SDE | 随机 | 每步先按 γ(sde_gamma)比例混入新噪声再预测,输出更多样、有随机性 |
两个值得注意的实现细节:
gamma = 0时 SDE 退化为普通 ODE 步。sde_gamma控制每步注入噪声的比例(churn fraction),步数越多,同样的γ会显得"越安静",这也是为什么默认配置里 32 步用γ=1.5、64 步用γ=1.0,保持整体随机性相当。- 最后一步永远是 ODE。无论前 31 步还是前 63 步用什么采样器,收尾都走确定性欧拉步(见 generation_utils.py 中
Last step always with ode的注释),保证落点稳定地停在干净嵌入上。
上图为 ELF-B 的去噪过程:随着 t 从 0 增至 1,不合法的乱句被逐步"雕刻"成通顺文本。
怎么选? 追求可复现、结果稳定(如翻译、摘要评估)用 ODE;追求多样性(如开放式文本生成)用 SDE。
采样步数怎么选:32 步还是 64 步?
步数是速度和质量之间最直观的旋钮:步数越多,每步欧拉近似误差越小、文本质量越高,但生成越慢。ELF 的默认配置给出了典型取舍:
- 无条件生成(OpenWebText):同时提供两套 SDE 调度——32 步(γ=1.5) 和 64 步(γ=1.0),均配 SC-CFG=3(见 uncond_sampling_configs.yml)。32 步即可达到 Gen. PPL ≈ 24 的不错效果,适合日常快速生成;64 步用于追求更高质量。
- 条件生成(翻译/摘要):统一使用 64 步 ODE(见 cond_sampling_configs.yml),因为这类任务需要严格跟随条件,确定性轨迹更可靠。
论文的系统级对比也印证了"步数越少越好"是 ELF 的目标:ELF 用远少于基线模型的采样步数和训练 token,就能达到更低的 Gen. PPL。
左图:采样步数 vs 生成困惑度(Gen. PPL),ELF(橙色)在 32 步左右已优于基线在更多步数下的结果。
CFG 与 Self-Conditioning CFG:两个"引导强度"参数
ELF 的采样配置里有两个容易混淆的引导参数:
cfgs(普通 CFG):经典的 classifier-free guidance,即v = v_uncond + cfg·(v_cond − v_uncond),把无条件预测和条件预测的差值放大,让生成更贴合条件(prompt、源句等)。- 无条件生成任务里它设为 1(没有条件可引导);
- 条件生成(翻译/摘要)里设为 2。
self_cond_cfg_scales(SC-CFG):对"自条件"的引导,即用"模型上一轮的预测"作为额外输入再前向一次,两者差值同样被放大(实现见 sampling_utils.py)。无条件生成默认 SC-CFG=3,条件生成中设为 1 关闭。
实用建议:
- SC-CFG 调大会让文本更"锋利"、更符合语法,但过大可能产生重复或不自然表达,可从 3 起微调;
- 条件任务中 CFG 从 2 附近开始,翻译类任务对 CFG 比较敏感,2~4 区间试几个点即可;
- 两个参数每步都是成对尝试的:评测器会遍历
cfgs × self_cond_cfg_scales的所有组合并分别保存结果(运行名格式见 generation_utils.py 的_build_run_name),方便你对比挑选。
时间调度:logit_normal 与 uniform 的区别
采样时 t 不是均匀切分的,ELF 支持两种时间调度(get_sampling_steps,sampling_utils.py):
uniform:在 [0, 1] 上均匀linspace,确定性好,中间段"分辨率"平均;logit_normal(默认):从 logit-normal 分布sigmoid(N(P_mean, P_std))抽中间时刻并排序,端点固定 0 和 1。分布偏向轨迹中段——那里噪声水平中等、文本结构正在成形,是最需要精度的地方,所以默认所有配置都用它。
采样阶段复用的 P_mean / P_std 来自训练配置里的 denoiser_p_mean / denoiser_p_std(默认 0.8,可在训练 YAML 中调整,如示例里的 -1.5 会让时刻进一步偏向中后段)。新手阶段建议保持默认 logit_normal 不动,先把步数和 CFG 调好。
采样配置速查表
所有采样参数集中在 configs/sampling_configs/ 下的 YAML 中,通过训练配置里的 sampling_configs_path 引用(字段定义见 config.py 的 SamplingConfig):
| 字段 | 含义 | 无条件默认 | 条件默认 |
|---|---|---|---|
sampling_method |
ode 或 sde |
sde | ode |
num_sampling_steps |
采样步数 | [32] / [64] | [64] |
cfgs |
CFG 强度 | [1] | [2] |
sde_gamma |
SDE 每步噪声比例 | 1.5 / 1.0 | — |
self_cond_cfg_scales |
自条件引导强度 | [3] | [1] |
time_schedule |
logit_normal 或 uniform |
logit_normal | logit_normal |
评测时程序会依次遍历列表中的每一项分别生成并统计指标(Gen. PPL、熵、BLEU、ROUGE),所以你可以像上面默认文件那样,在同一个 YAML 里列多条实验配置一次性跑完对比。运行入口在 eval.py,想换调度时直接改 sampling_configs_path 指向自己的 YAML 即可。
小结:新手推荐起点
- 🚀 快速体验:32 步 SDE(γ=1.5)+ SC-CFG=3 + logit_normal,速度与质量平衡最佳;
- 🎯 高质量生成:64 步(SDE γ=1.0 或 ODE),耐心换质量;
- 📝 翻译/摘要:64 步 ODE + CFG=2,确定性轨迹更稳;
- ⚙️ 想调参:优先动
num_sampling_steps和两个 CFG 参数,time_schedule与sde_gamma保持默认。
理解这套采样体系后,你基本可以驾驭 ELF 在任何文本生成任务上的推理调优了。


