5招加速OmniWeaving推理:Offloading、DeepCache与SageAttention优化实战指南
5招加速OmniWeaving推理:Offloading、DeepCache与SageAttention优化实战指南
OmniWeaving 是由腾讯混元团队开源的统一视频生成模型,支持自由组合的多模态输入与推理增强生成。但它的推理链路包含 MLLM、MMDiT 和 VAE 三大模块,显存占用高、耗时长。本文介绍 5 招官方内置的 OmniWeaving 推理加速方法——Offloading 显存卸载、SageAttention 低比特注意力、DeepCache 步间缓存、稀疏注意力与 FP8 GEMM,帮你用更少的显存跑出更短的生成时间。
OmniWeaving推理加速参数速查表
所有加速开关都在 generate.py 中通过命令行参数控制,内部状态集中在 InferState 数据类中统一管理:
| 加速技巧 | 关键参数 | 默认值 | 主要收益 |
|---|---|---|---|
| 1. CPU Offloading | --offloading / --group_offloading / --overlap_group_offloading |
开启 | 显著降低显存占用,避免 OOM |
| 2. SageAttention | --use_sageattn |
关闭 | 注意力计算加速,显存更省 |
| 3. DeepCache | --enable_cache --cache_type deepcache |
关闭 | 跳过冗余去噪步,提速明显 |
| 4. 稀疏注意力 | --sparse_attn |
关闭 | H 系列显卡上大幅提速 |
| 5. FP8 / bf16 精度 | --use_fp8_gemm / --dtype bf16 |
bf16 | 降低计算与内存开销 |
💡 一个重要的互斥关系:
sparse_attn与use_sageattn不能同时开启,代码中会直接抛出ValueError(见 generate.py)。
第1招:Offloading 显存卸载,让单卡跑动大模型
OmniWeaving 的默认策略就是开启 Offloading(--offloading 默认为 true)。它的原理很直观:推理时把 MLLM、MMDiT、VAE 各模块轮流搬到显存,用完立刻卸载回 CPU,这样任意时刻显存里只有一个模块。
实现位于 auto_offload_model:进入推理上下文时 model.to(device),退出时 model.to('cpu'),pipeline 在 hunyuan_video_pipeline.py 中对每个模块都套用了这一上下文。
三个参数的搭配建议:
--offloading:基础开关,显存紧张时保持开启。--group_offloading:分组卸载,不指定时会自动跟随--offloading。显存小于 60GB 的卡(如 24G、40G、48G)会自动启用分组模式,逻辑见 get_offloading_config。--overlap_group_offloading:用 CUDA 流预取下一组 block,用 CPU 内存换速度。官方提示:如果你的 CPU 内存有限,请将其设为false。
# 低显存机器的稳妥组合
torchrun --nproc_per_node=8 generate.py \
--task t2v --prompt "你的提示词" \
--offloading true \
--group_offloading true \
--overlap_group_offloading false \
--model_path /path/to/OmniWeaving \
--output_path ./outputs/t2v.mp4
另外,遇到显存碎片导致的 OOM 时,官方推荐设置环境变量:
export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True,max_split_size_mb:128
第2招:SageAttention 低比特注意力,开箱即提速
SageAttention 通过低比特量化(int8/fp8 混合)加速注意力矩阵乘。在 OmniWeaving 中只需加 --use_sageattn,代码会在 apply_infer_optimization 中调用 transformer.set_attn_mode('sageattn'),所有 Transformer block 切换到 SageAttention 内核,具体调用见 attention.py。
两个实用细节:
--sage_blocks_range:指定应用 SageAttention 的 block 范围(如0-53,默认全部)。如果个别 block 出现精度问题,可以缩小范围只加速前几层。- 自动回退:未正确安装 SageAttention 时,maybe_fallback_attn_mode 会自动回退到 Flash Attention 并打印警告,不会报错中断。
需要自己编译安装 SageAttention 库(参考 readme.md 的 Preparation 一节)。它的优点是无需特定 GPU 架构,安装后即可获得速度提升,且会自动禁用 Flex-Block-Attention,两者二选一即可。
第3招:DeepCache 步间缓存,跳过冗余计算
去噪过程的相邻步之间,Transformer 中间层的输出变化很小——DeepCache 正是利用这一点:在标记为"可跳过"的步骤里,直接复用上一步缓存的 block 输出,省掉整段前向计算。
启用方式:
--enable_cache true --cache_type deepcache \
--cache_start_step 11 --cache_end_step 45 --cache_step_interval 4 \
--no_cache_block_id 53
参数含义(默认值定义在 InferState):
--cache_start_step 11:前 11 步不缓存,保证噪声结构稳定建立;--cache_end_step 45:最后 5 步不缓存,保证细节精修质量;--cache_step_interval 4:中间区间每隔 4 步做一次真实计算;--no_cache_block_id:始终完整计算的 block 编号(默认最后一个 block53)。
除了 deepcache,apply_infer_optimization 还支持 teacache 和 taylorcache 两种策略,可按质量/速度需求切换。注意缓存功能依赖 angelslim==0.2.1(已包含在 requirements.txt 中),仓库内还有一个轻量的 CacheHelper 参考实现,展示了"按步跳过 + block 级缓存"的核心逻辑。
第4招:稀疏注意力 sparse_attn,H 卡专属加速
--sparse_attn 启用 flex-block-attn 稀疏注意力,只计算"重要"的注意力块,在视频这种长序列任务上加速效果显著。但它有硬件门槛:
- 仅支持 NVIDIA H 系列 GPU(H100/H800 等),判断逻辑见 is_sparse_attn_supported;
- 需要单独编译安装 flex-block-attn 库;
- 与
--use_sageattn互斥,同一时间只能选一种注意力加速方案。
选型建议:Ada/L4 等中端卡选 SageAttention,H 系列卡可选稀疏注意力追求极致速度。
第5招:FP8 GEMM 与 bf16,低成本精度换速度
最后一招来自数值精度层面,apply_infer_optimization 中统一接入:
--dtype bf16(默认):相比fp32,显存减半、计算更快,质量损失极小,新手直接保持默认即可。--use_fp8_gemm:将 Transformer 的线性层转换为 FP8 矩阵乘,配合--quant_type(如fp8-per-token-sgl)指定量化粒度,需要额外安装sgl-kernel。--enable_torch_compile:按 block 粒度做torch.compile编译,牺牲首次启动时间换取每步推理提速。
不同硬件的加速参数配置清单
把 5 招组合起来,按显存规模直接抄作业:
| 硬件 | 推荐组合 |
|---|---|
| 24GB 显存(RTX 3090/4090) | --offloading --group_offloading --overlap_group_offloading false --use_sageattn --enable_cache --cache_type deepcache |
| 48GB 显存(A6000/A100-40G) | --offloading --overlap_group_offloading true --use_sageattn --enable_cache --cache_type deepcache |
| 80GB H 系列(H100) | --offloading false --sparse_attn --use_fp8_gemm --enable_torch_compile |
| 8 卡推理(官方默认) | torchrun --nproc_per_node=8 开启序列并行,单卡显存压力进一步下降 |
常见问题
Q:开启缓存后视频质量会下降吗?
中间步复用输出属于近似计算,默认配置(跳过 11~45 步、间隔 4)已在速度与质量间做了平衡;如对细节敏感,可把 --cache_step_interval 调小(如 2)。
Q:为什么我开了 --use_sageattn 却看到 fallback 警告?
说明 SageAttention 库未正确安装,系统已自动回退到 Flash Attention,重新编译安装后警告即消失。
Q:还能从生成参数上省时间吗?
可以。--num_inference_steps(默认 50)和 --video_length(默认 81 帧)与耗时近似成正比,快速预览时可适当调低。
掌握以上 5 招后,你可以根据自己的显卡在 readme.md 的 Inference 章节基础上,把这套参数体系灵活组合到自己的生成脚本中,实现"低显存不 OOM、高算力不空等"的 OmniWeaving 推理体验。
