HyperFlow H3 Flash原理深挖②:双时间(t, r)条件如何解锁4~8步免CFG采样
HyperFlow H3 Flash原理深挖②:双时间(t, r)条件如何解锁4~8步免CFG采样
HyperFlow H3 Flash 是 Video Rebirth 基于 MiniMax-H3 压缩出的少步视频 + 立体声音频联合生成模型。它的杀手锏是:只跑 4、6 或 8 步,且完全关闭 Classifier-Free Guidance(CFG),就能产出 5.2 到 15 秒、24 fps 的高质量视频。背后真正的原因,是它把扩散模型传统的"单时间条件"升级成了双时间 (t, r) 条件机制——这是少步采样的关键。
本文是原理系列的第 ② 篇,聚焦"少步 + 免 CFG"背后的双时间条件设计。
为什么传统扩散模型"步数少不下来"
先建立一个直觉。扩散采样可以理解成一条从"纯噪声"走向"清晰画面"的轨道:
t(当前噪声水平):表示"我现在站在轨道的哪个位置"。- 传统模型每一步只接收这一个
t,它只知道"当前位置",却不知道"这一大步该往哪走"。
当步数很多(几十步)时,每一步的位移很小,"只看眼前"也够精确,没问题。可一旦把步数压到 4~8 步,每一步都要跨越很大的噪声区间,"只看当前 t"的模型就会迷路,画面开始糊、开始漂移。
过去大家靠两件事补救:
- CFG:同时算"有提示词"和"无提示词"两条预测,把结果往提示词方向"拽",代价是每步多算一次、且容易过饱和。
- 更多步数:用小步长把轨道走准。
HyperFlow H3 Flash 的选择是第三条路——直接把"终点"也告诉模型,让它一步就知道要迈向哪里。
双时间 (t, r) 条件:给模型装上"终点雷达"
从单时间 t 到 (t, r) 的一对升级
HyperFlow H3 Flash 给模型喂的是两个时间:
| 符号 | 含义 | 回答的问题 |
|---|---|---|
t |
当前噪声水平(current time) | 我现在在哪? |
r |
本步的终点(endpoint) | 这一步我要走到哪? |
于是每一对 (t, r) 都完整描述了"从哪出发、走到哪",模型不再需要靠 CFG 或密集步数去试探方向。
一行公式看懂 endpoint_time_embedder
模型里专门新增了一个时间嵌入层 endpoint_time_embedder,用来嵌入终点 r;原有的 time_embedder 继续嵌入当前位置 t。两者通过一个门控插值合成最终的时间编码 temb:
temb(t, r) = emb_t(t) + hyperflow_gate · (emb_r(r) − emb_t(t))
对应源码在 time_embedding:
current = self.time_embedder(self.time_proj(timestep).to(dtype)) # emb_t(t)
endpoint = self.endpoint_time_embedder(self.time_proj(endpoint_timestep).to(dtype)) # emb_r(r)
return current + self.config.hyperflow_gate * (endpoint - current)
几个要点:
emb_t(t)与原版 MiniMax-H3 的单时间嵌入完全一致,老能力不丢。emb_r(r)由新增的endpoint_time_embedder提供,定义见 第 181–183 行。- 当
r = t(退化为单时间)时,括号项为 0,temb就等于原current——向后兼容。
hyperflow_gate = 0.25 的"温和门控"
hyperflow_gate 控制终点信息注入的强度,默认 0.25,见 config.json。
- 它不是"直接替换",而是把终点嵌入以 1/4 的比例平滑混入当前编码。
- 这让模型在保留"当前状态"主信息的同时,"瞥见"终点方向,行为更稳。
合成后的 temb 会送入每个 transformer 块的 AdaLN 调制。在打包序列里,不同 token 可能属于不同的 (t, r) 对,因此用索引 adaln_indices 精确取出对应编码(见 第 272–273 行):
temb = self.time_embedding(timestep, endpoint_timestep)
adaln_indices = timestep_indices * MINIMAX_H3_MODALITY_NUM + token_tags
有了双时间,为什么就能免 CFG
把两件事放在一起看,逻辑就顺了:
- CFG 的本质是"用无提示词预测当参照,把有提示词预测往目标方向拉"。它是在补偿模型方向感不足。
- 双时间的本质是把方向直接写进条件里:
r明确告诉模型本步终点在哪,t告诉它现在在哪,方向感由条件自带。
方向感补足了,就不再需要 CFG 去"拽"。所以 HyperFlow H3 Flash 全程 CFG = 1.0、不使用 negative prompt:
🎯 结论:双时间条件内化了 CFG 想提供的"方向信息",因此可以在极少步数下稳定采样,还省去了 CFG 的额外一次前向和过饱和风险。
4 / 6 / 8 步网格是怎么和 (t, r) 配对的
少步之所以成立,靠的是预先固定的 sigma 网格(未偏移,video_shift = 12、audio_shift = 3)。网格上相邻两个点,正好构成一步的 (t, r):t 是当前点,r 是下一个点。
| 步数 | 模式 | 原始 sigma 序列 |
|---|---|---|
4 |
极速 | 1, 0.681872, 0.205019, 0.036496, 0 |
6 |
均衡(默认) | 1, 0.825217, 0.471725, 0.147401, 0.049626, 0.015517, 0 |
8 |
高质 | 1, 0.931506, 0.839236, 0.703462, 0.5, 0.296538, 0.160764, 0.068494, 0 |
以默认 6 步为例,第一步是 (t=1, r=0.825217),最后一步是 (t=0.015517, r=0)。每一步的起点和终点都由网格钉死,(t, r) 配对清晰,模型只需在训练时就学会"按这个网格大跨度去噪",推理时自然又快又稳。
在代码里找到这个机制
想动手验证,重点看这几处(fl2va 与 ref2va 两套权重逻辑一致):
- 模型类与双时间嵌入:hyperflow_h3_flash_transformer.py,核心
time_embedding在 第 218–225 行。 - 强制要求传终点:
forward若缺endpoint_timestep会直接报错——"这是一个少步模型,没有单时间模式",见 第 249–253 行。 - 门控参数:config.json 中
"hyperflow_gate": 0.25。 - 结构配置(50 层、hidden 5376、dropped blocks 等):config.json。
提示:单独加载 transformer 时,每次前向都必须带上
endpoint_timestep;想跑完整采样循环,建议直接用load_pipeline或flash_blocks。
实战:如何设置 4~8 步免 CFG 采样
无论用命令行、ComfyUI 还是 stable-diffusion.cpp,记住三条即可,它们共同构成"少步免 CFG":
- 步数:
--steps取4/6(默认)/8,对应"极速 / 均衡 / 高质"。 - 关 CFG:
--cfg-scale 1.0,并不要写 negative prompt。 - 采样器:推荐
euler。
命令行示例(文本生成视频 + 音频):
hyperflow-h3-flash --prompt "A chef slides a steaming bowl of ramen across a wooden counter; rain taps on the window." \
--steps 6 --output ramen.mp4
ComfyUI 里对应:加载 HyperFlow Loader(标准加载器不支持双时间 embedder),打开 hyperflow_t2v 等模板,保持 CFG=1.0、不填负面提示词即可。
小结
- HyperFlow H3 Flash 用双时间 (t, r) 条件替代了单时间条件:
t说"现在在哪",r说"这步去哪"。 - 实现上靠新增的
endpoint_time_embedder+hyperflow_gate = 0.25的温和门控插值完成,且不破坏原版单时间行为。 - 正因为方向信息被内化进条件,模型无需 CFG,就能在 4~8 步下稳定生成视频与立体声音频——这正是"少步 + 免 CFG"的秘密所在。
下一步:若还想看 14B 压缩、旋转 W8A8 INT8 与低秩分解如何在保持质量的同时把权重压到 7~16 GB,可继续原理系列的其他篇章。