FP8还是INT8?Qwen-Image-FP8量化格式选择清单(附显存与画质实测数据)

原创2026-10-20 09:23:581,681 阅读
文章标签:人工智能大模型基础模型模型量化本地部署媒体生成

FP8还是INT8?Qwen-Image-FP8量化格式选择清单(附显存与画质实测数据)

Qwen-Image-FP8 是 Qwen-Image 文生图模型的 FP8 / INT8 量化权重仓库,专为降低显存占用而生。本文用文件大小、LPIPS 画质指标和实拍样例图,帮你 3 分钟选对量化格式——显存紧张选 FP8,追求稳定画质选 INT8,并附上完整的格式对比清单。

Qwen-Image-FP8 量化文生图模型生成的 INT8 格式样例图

一分钟选型结论:先看这张表

🎯 不用纠结,先对号入座:

你的情况 推荐格式 理由
24GB 显存卡(如 RTX 3090/4090) FP8 权重 20.5 GB,比 INT8 小约 25%
32GB 以上显存,追求出图稳定 INT8 无激活离群值问题,官方默认方案
只做微调/复现/批量生产 INT8 官方明确建议:use INT8 for stability

💡 官方仓库的推荐方案(shipped scheme)是 INT8;FP8 文件因激活离群值问题被列入了 Studio 的"精度暂缓清单",属于待重新验证的版本。

显存实测:FP8 vs INT8 文件大小对比

仓库内各权重的实际体积如下,量化收益一目了然:

文件 格式 大小 说明
Qwen-Image-INT8.pt INT8 27.3 GB 动态激活 + 动态权重量化
Qwen-Image-FP8.pt FP8 (e4m3) 20.5 GB 比 INT8 再省约 6.8 GB
Qwen-Image-text_encoder-FP8.pt FP8 8.8 GB 文本编码器,比原始 16.6 GB 直接砍半

📉 算笔账:加载 Qwen-Image 全套组件时,INT8 路线约需 27.3 + 16.6 GB 级别的显存带宽,而选 INT8 主干 + FP8 文本编码器(27.3 + 8.8 GB)或 纯 FP8 路线(20.5 + 8.8 GB ≈ 29.3 GB),后者在 24GB 单卡上更可行。

画质实测:同种子 LPIPS 指标怎么看

官方用同种子 bf16 原模型渲染做了对照(SSIM、LPIPS-vgg、CLIP delta、非有限值与黑屏检查),核心结论只有一行:

  • INT8 同种子 LPIPS(对比 bf16):0.057(越低越接近原模型)
  • FP8:需处理 activation_value_lb 参数,存在激活离群值(activation outliers)风险

🔍 换句话说:INT8 的画质损失已被量化到可以忽略的水平,而 FP8 在当前家族上属于"精度暂缓"状态——不是不能跑,而是需要加载器对动态激活缩放做下限保护。

实拍样例对比(Prompt: "cute sloth typing on a computer")

以下为仓库内置样例(1024x1024,家族默认步数与引导系数,种子 0-2),可以直观感受两种量化格式的出图风格:

Qwen-Image-FP8 量化文生图效果:FP8 格式生成样例 1

Qwen-Image-FP8 量化文生图效果:INT8 格式生成样例 2

两种格式的技术差异:3 句话讲清

看不懂不用怕,记住这三句就够了:

  1. INT8 路线:Int8DynamicActivationInt8WeightConfig——激活按 token 量化、权重按通道量化,底层走 torch._int_mm 整数矩阵乘,数值行为最稳。
  2. FP8 路线:Float8DynamicActivationFloat8WeightConfig(PerRow 粒度、e4m3 格式),底层走 torch._scaled_mm,速度快但动态激活缩放可能因全零 token 行变成 0。
  3. 关键补丁:torchao 0.13+ 必须设置 activation_value_lb=1e-12,给缩放值一个下限,避免零缩放导致的数值爆炸——这也是 FP8"需要特殊处理"的由来。

✅ 两种量化检查点与"下载 bf16 再现场量化"逐位一致(bit-identical),等于直接省掉量化步骤。

快速上手:3 步获取量化权重

第 1 步:克隆仓库

git clone https://gitcode.com/hf_mirrors/unsloth/Qwen-Image-FP8

第 2 步:安装最新版 diffusers

pip install git+https://github.com/huggingface/diffusers

第 3 步:按需加载

更多推理参数(宽高比、步数、true_cfg_scale 等)可参考 README.md 的 Quick Start 部分。

高频问题 FAQ

Q:INT8 画质一定比 FP8 好? A:不是"一定",而是更稳。INT8 的 LPIPS 0.057 已被官方验证接近 bf16 原模型;FP8 当前家族存在激活离群值风险,官方精度清单暂未放行。

Q:加载量化文件会不会比现场量化更"糊"? A:不会。官方已验证加载检查点与现场量化 bf16 主干逐位一致,且基于 torch 2.12.1 + torchao 0.17 通过全项渲染校验。

Q:为什么仓库里有 .pt 和 .safetensors 两种文件? A:同一权重的两种容器格式,按你加载框架支持的情况二选一即可,量化内容相同。

文件清单速查

文件 用途
Qwen-Image-INT8.pt / .safetensors INT8 量化扩散主干(27.3 GB)
Qwen-Image-FP8.pt / .safetensors FP8 量化扩散主干(20.5 GB)
Qwen-Image-text_encoder-FP8.pt / .safetensors FP8 预转文本编码器(8.8 GB)
README.md 完整模型说明与推理示例

📌 最后一句总结:显存够 → INT8;显存不够 → FP8(配合 activation_value_lb=1e-12),文本编码器无脑上 FP8 省一半体积。选完对号入座,直接开跑。

登录后查看全文
Qwen-Image-FP8