从bf16到FP8:基于torchao构建文生图模型动态量化流水线的开发者指南
从bf16到FP8:基于torchao构建文生图模型动态量化流水线的开发者指南
Qwen-Image-2512-FP8 仓库提供了一套开箱即用的 torchao 动态量化流水线产物:把 Qwen-Image-2512 文生图模型的 bf16 权重转换为 FP8 与 INT8 量化检查点,激活值在推理时动态量化,让大模型在更少的显存中跑出接近原版的画质。本文带你从零理解这套流水线,并一步步完成加载与生图。
为什么要把文生图模型量化?
大扩散模型在默认 bf16 精度下"又慢又吃显存",这是多数开发者的第一道门槛:
- 显存占用高:bf16 权重 + 运行时的激活值,动辄需要一张高显存显卡才能放下整个 pipeline;
- 推理速度慢:bf16 矩阵乘法无法充分利用新一代 GPU 的低精度 Tensor Core;
- 部署不友好:想多卡并行、降低单卡门槛、提高批量吞吐,都受限于精度。
量化的目标很直接:用更少的比特存权重、用更便宜的算子做矩阵乘法,同时让画质损失控制在"肉眼基本无感"的范围。
torchao 动态量化是如何工作的
这套流水线基于 PyTorch 官方的 torchao 库。"动态(dynamic)"指的是:激活值不在离线阶段预先校准,而是在运行时按 token / 按行计算缩放因子(scale)后立刻量化。好处是省去繁琐的校准数据集准备,且对输入分布的变化更稳健。
两种量化配置的核心差异:
| 配置 | 激活量化 | 权重量化 | 底层算子 |
|---|---|---|---|
Float8DynamicActivationFloat8WeightConfig |
按行(PerRow, e4m3) | 按行 | torch._scaled_mm |
Int8DynamicActivationInt8WeightConfig |
按 token(per-token) | 按通道(per-channel) | torch._int_mm |
一个容易被忽略的关键细节:FP8 检查点在加载器中把动态激活 scale 的下限钳制到 activation_value_lb=1e-12(torchao 0.13+),以避免全零的激活 token 行产生 0 缩放因子而导致数值异常。这类"魔鬼在细节"的工程处理,正是流水线相比随手写个量化脚本的价值所在。
检查点文件一览:仓库里有什么
仓库根目录共 4 个量化检查点,成对出现(.pt 与 .safetensors 是同一检查点的两种序列化格式):
| 文件 | 大小 | 说明 |
|---|---|---|
| Qwen-Image-2512-FP8.pt | 20.5 GB | FP8 动态量化检查点,体积最小、显存最省 |
| Qwen-Image-2512-FP8.safetensors | — | 与上面 .pt 相同的 FP8 检查点(safetensors 形式) |
| Qwen-Image-2512-INT8.pt | 34.1 GB | INT8 动态量化检查点,画质更接近原版 |
| Qwen-Image-2512-INT8.safetensors | — | 与上面 .pt 相同的 INT8 检查点(torchao 0.18 布局) |
💡
.pt是torch.load可直接加载的 state dict(torchao 张量子类同时携带量化数据 qdata 与 scales)。加载任一检查点,与"加载 bf16 稠密权重 → 现场量化"的结果逐比特一致,区别只是省掉了加载稠密模型和现场量化这两步开销。
关于格式选择:官方文档同时提供两种载体,INT8 的 safetensors 版本明确标注为 torchao 0.18 布局。如果你的加载链路基于 torch.load,直接用 .pt;如果你的工具链偏好 safetensors,则选对应文件即可。
量化后画质到底损失了多少?
仓库给出了客观指标:同种子下与 bf16 原版对比的 LPIPS 感知距离(数值越低越接近原版):
| 精度 | 同种子 LPIPS(vs bf16) | 精度门 |
|---|---|---|
| INT8 | 0.029 | 全部通过 |
| FP8 | 0.109 | 14/14 组通过(512px 与 1024px) |
同时,samples/ 目录保留了同一提示词(cute sloth typing on a computer,1024×1024,20 steps,guidance 4.0,seed 0–2)在两种精度下的生成结果,便于肉眼对照:
↑ FP8 量化检查点生成样张(samples/fp8_2.png),提示词:"cute sloth typing on a computer"。
快速上手:三步跑通量化文生图流水线
1. 准备环境
pip install torchao diffusers torch
2. 下载检查点
git clone https://gitcode.com/hf_mirrors/unsloth/Qwen-Image-2512-FP8
3. 加载并生图
量化检查点与 diffusers 的用法保持一致——加载 pipeline、传入 prompt、拿到图片,量化对上层调用是"透明"的:
from diffusers import DiffusionPipeline
import torch
# 加载 FP8 量化检查点,显存占用远低于 bf16
pipe = DiffusionPipeline.from_pretrained(
"path/to/Qwen-Image-2512-FP8",
torch_dtype=torch.bfloat16,
).to("cuda")
image = pipe(
prompt="cute sloth typing on a computer",
width=1024,
height=1024,
num_inference_steps=20,
true_cfg_scale=4.0,
generator=torch.Generator(device="cuda").manual_seed(0),
).images[0]
image.save("fp8_output.png")
如果显存非常紧张,优先选 20.5 GB 的 FP8 检查点;如果更看重画质保真,选 INT8——它保留了 txt_in、add_q_proj、add_k_proj、add_v_proj、to_add_out、txt_mlp 这几个文本流投影层为 bf16,因为短提示词的行数太少,不足以支撑 INT8 矩阵乘法内核的精度要求。
FP8 还是 INT8:量化方案怎么选?
↑ INT8 量化检查点生成样张(samples/int8_2.png),同提示词下可直观对比 INT8 与 FP8 的画质差异。
三个维度的对照,帮你做出选择:
| 维度 | FP8(推荐显存优先) | INT8(推荐画质优先) |
|---|---|---|
| 检查点体积 | 20.5 GB,最小 | 34.1 GB |
| 同种子 LPIPS | 0.109 | 0.029,更接近原版 |
| 底层算子 | torch._scaled_mm(浮点低精度) |
torch._int_mm(整型矩阵乘) |
| 适用场景 | 显存紧张、追求吞吐 | 对细节敏感、长提示词、高质量出图 |
经验法则:先看显存放不放得下,再看画质够不够用。FP8 在 14/14 组精度门中全部通过,日常创作完全够用;INT8 则适合对文本渲染、发丝等细节更挑剔的场景。
常见问题 FAQ
Q1:动态量化(dynamic quantization)和离线静态量化有什么区别? 动态量化在运行时逐 token/逐行计算激活缩放因子,不需要准备校准集;静态量化则要在离线阶段用代表数据拟合 scale。动态量化对输入分布变化的鲁棒性更好,也是本流水线选它的原因。
Q2:为什么 FP8 用 .pt,INT8 额外强调 .safetensors?
两者本质是同一检查点的两种序列化载体。torchao 张量子类需要携带 qdata 加 scales,.pt(state dict)天然支持;INT8 的 safetensors 版本遵循 torchao 0.18 布局,方便走 safetensors 工具链。
Q3:加载检查点会引入额外精度损失吗? 不会。加载量化检查点与"加载稠密 bf16 transformer 再现场量化"逐比特一致,检查点只是跳过了稠密加载和现场量化步骤。
Q4:INT8 检查点为什么更大,反而保留了部分 bf16 层?
INT8 的文本流投影层(如 txt_in、txt_mlp)因短提示词行数不足而保持 bf16,这是精度工程取舍,不是缺陷。
总结
| 要点 | 内容 |
|---|---|
| 核心工具 | torchao 动态激活量化(FP8 / INT8 双配置) |
| 最小检查点 | FP8,20.5 GB,显存最省 |
| 最佳保真 | INT8,同种子 LPIPS 0.029 |
| 精度验证 | 14/14 组精度门通过(vs 同种子 bf16) |
| 产物位置 | Qwen-Image-2512-FP8.pt、Qwen-Image-2512-INT8.pt 及对应 .safetensors |
Qwen-Image-2512-FP8 用一条完整的动态量化流水线证明:文生图大模型从 bf16 到 FP8/INT8,不必牺牲肉眼可见的画质,就能换来显著更小的体积与更宽松的显存门槛。显存优先选 FP8,画质优先选 INT8,两者都能通过 diffusers 三步跑通——现在就挑一张显卡,把模型跑起来吧。

