Hunyuan-Video显存优化与部署实战:从fp8量化到多卡推理的完整方案
Hunyuan-Video显存优化与部署实战:从fp8量化到多卡推理的完整方案
Hunyuan-Video 是腾讯开源的 720p 视频生成模型,本仓库提供面向 ComfyUI 的分包模型文件。这篇文章带来 Hunyuan-Video 显存优化与部署实战:从 fp8 量化到多卡推理的完整方案,帮助你用最小的显存成本跑通视频生成,并逐步扩展为多卡推理。
📦 仓库结构一览:Hunyuan-Video ComfyUI 模型文件清单
本仓库是 Hunyuan-Video 的 ComfyUI 重打包模型镜像,所有权重按 ComfyUI 的模型目录规范拆分为 4 个子目录,完整结构说明见 README.md:
| 模型文件 | 大小 | 作用 |
|---|---|---|
| split_files/diffusion_models/hunyuan_video_t2v_720p_bf16.safetensors | ~25.6 GB | 文生视频(T2V)扩散主干网络 |
| split_files/diffusion_models/hunyuan_video_image_to_video_720p_bf16.safetensors | ~25.6 GB | 图生视频(I2V)扩散主干网络 |
| split_files/diffusion_models/hunyuan_video_v2_replace_image_to_video_720p_bf16.safetensors | ~25.6 GB | V2 替换式图生视频主干网络 |
| split_files/text_encoders/llava_llama3_fp16.safetensors | ~16.1 GB | 文本编码器(fp16 全精度版) |
| split_files/text_encoders/llava_llama3_fp8_scaled.safetensors | ~9.1 GB | 文本编码器(fp8 量化版) |
| split_files/text_encoders/clip_l.safetensors | ~0.25 GB | CLIP-L 文本编码器 |
| split_files/clip_vision/llava_llama3_vision.safetensors | ~0.65 GB | 视觉编码器(I2V 场景使用) |
| split_files/vae/hunyuan_video_vae_bf16.safetensors | ~0.49 GB | 视频 VAE 解码器 |
💡 小提示:三个扩散主干网络(T2V / I2V / V2 Replace)按任务三选一即可,不必全部下载,可以省下约 51 GB 空间。
💾 显存优化第一步:换用 fp8 量化版文本编码器
Hunyuan-Video 的显存大头之一来自 LLaVA-LLama3 文本编码器。本仓库直接内置了两档精度:
llava_llama3_fp16.safetensors(fp16):~16.1 GB- llava_llama3_fp8_scaled.safetensors(fp8 带缩放因子):~9.1 GB
🎯 直接收益:文本编码器从 16.1 GB 降到 9.1 GB,节省约 7 GB 显存(约 43%),且无需自己写任何量化代码。
fp8 量化是什么?简单来说,就是用 8 位浮点(fp8)代替 16 位浮点(fp16)存储权重,数值精度略降,但显存和带宽占用近乎减半。fp8_scaled 版本额外保存了逐块缩放因子(scale),在反量化时恢复数值范围,因此比裸 fp8 精度损失更小,适合文本编码器这类"精度敏感但计算量占比小"的模块。
选型建议:
- 显存 ≥ 48 GB:可选 fp16,追求最高文本理解质量
- 显存 ≤ 40 GB 或想给视频帧腾空间:优先 fp8_scaled,肉眼基本无差异
除了模型文件级量化,ComfyUI 本身也提供运行时 fp8 启动参数(如 --fp8_e4m3fn-unet、--fp8_e4m3fn-text-enc 一类开关),可以把扩散主干也临时转成 fp8 运行,进一步压缩峰值显存。代价是推理速度变慢、画质可能有轻微损失,建议作为"低显存兜底"手段而不是默认配置。
📊 显存占用估算:跑 Hunyuan-Video 需要多大的显卡
以最常见的 T2V 工作流(bf16 主干 + fp8 文本编码器 + CLIP-L + VAE)为例,静态权重合计约 36 GB,再叠加注意力中间激活与 VAE 解码缓存,实际峰值会更高:
| 部署组合 | 权重合计 | 建议显存 | 体验 |
|---|---|---|---|
| T2V bf16 + fp8 文本编码器 | ~36 GB | 48 GB(如 6000 Ada / L40S) | 舒适,可全量驻留 |
| T2V bf16 + fp8 文本编码器 | ~36 GB | 80 GB(A100 / H100) | 最佳,速度最快 |
| 同上 + ComfyUI offload/lowvram | — | 24 GB(4090 等) | 可用,但速度明显下降 |
| 任意组合 + fp16 文本编码器 | ~43 GB | 48 GB 以上 | 显存紧张,不推荐 |
📌 关键结论:
- 文本编码器务必用 fp8 版,24 GB 显存机器更是必选项
- 720p 分辨率下激活占用不小,48 GB 是最稳妥的"甜点"配置
- 低于 24 GB 的显存不建议直接尝试 720p 视频生成
🚀 一键部署步骤:把模型放进 ComfyUI
第 1 步:安装 ComfyUI,按官方引导装好 Python 环境与 ComfyUI 本体。
第 2 步:获取本仓库(权重通过 Git LFS 存储,务必拉取 LFS 文件):
git clone https://gitcode.com/hf_mirrors/Comfy-Org/Hunyuan-Video
cd Hunyuan-Video
git lfs pull
⚠️ 如果只执行了 git clone 而没有 git lfs pull,模型文件会是几百字节的指针文件,加载会直接报错——这是最常见的部署故障。
第 3 步:按目录结构放入 ComfyUI,目标布局(摘自 README.md):
ComfyUI/
└── models/
├── clip_vision/llava_llama3_vision.safetensors
├── diffusion_models/hunyuan_video_t2v_720p_bf16.safetensors
├── text_encoders/clip_l.safetensors
├── text_encoders/llava_llama3_fp8_scaled.safetensors
└── vae/hunyuan_video_vae_bf16.safetensors
第 4 步:加载工作流。ComfyUI 内置了 Hunyuan Video 的官方模板工作流(文生视频 / 图生视频),直接打开并在加载节点里选择你放入的模型文件即可。
🧩 多卡推理方案:Hunyuan-Video 双卡部署实战
当单卡显存装不下 36 GB+ 的权重时,多卡推理是比量化"更保画质"的路线。ComfyUI 提供了两种核心机制:
1. 模型切分(model splitting):--multi-gpu
启动 ComfyUI 时加上 --multi-gpu 参数,扩散主干的权重会被自动切分到多张卡上并行前向。适合"单卡放不下、双卡合计放得下"的场景,例如两张 24 GB 卡跑 25.6 GB 的 bf16 主干。
2. 模型卸载(offload):--lowvram / 默认智能卸载
ComfyUI 会在不同节点执行时自动把暂时不用的模型换出显存。典型的双卡分工思路:
- GPU 0:扩散主干(25.6 GB,推理主力)
- GPU 1:文本编码器(9.1 GB fp8)+ CLIP-L + VAE,编码完成后释放
推荐组合策略(按显存从紧到松):
| 硬件 | 策略 |
|---|---|
| 2 × 24 GB | --multi-gpu 切分主干 + 编码器放副卡 + 必要时 fp8 运行时参数 |
| 1 × 24 GB + 1 × 48 GB | 主干放 48 GB 卡,编码器/VAE 放 24 GB 卡 |
| 2 × 48 GB 及以上 | --multi-gpu 全量驻留,无需任何量化,速度最快 |
📈 注意:切分推理会引入卡间通信开销,速度通常比单卡全量驻留慢 20%~40%,但换来的是"显存放得下、画质不打折"。
🛠️ 常见问题与避坑清单
- OOM(显存溢出):优先换用 fp8 版文本编码器;仍不够再考虑
--lowvram或运行时 fp8 参数,最后才动分辨率 - 下载的文件只有 100 多字节:Git LFS 未拉取,执行
git lfs pull即可 - T2V 与 I2V 模型用混了:文生视频选 hunyuan_video_t2v_720p_bf16.safetensors,图生视频选对应的
image_to_video或v2_replace文件,工作流中不要互换 - 磁盘空间不足:完整仓库约 92 GB,建议只保留自己任务对应的那一个扩散主干
- I2V 流程缺视觉编码器:图生视频工作流还需要 llava_llama3_vision.safetensors 放入
clip_vision目录,容易漏装
总结
Hunyuan-Video 在 ComfyUI 上的显存优化与部署可以归纳为三步:先换 fp8 量化版文本编码器(省 7 GB),再按 36 GB 权重基线选择 48 GB 级显卡,最后用 --multi-gpu 切分或双卡分工扩展到多卡推理。跟着本文的模型清单、部署步骤与避坑清单操作,你就能以最合理的显存成本稳定跑通 720p 视频生成。