FP8还是INT8?FLUX.2-klein-4B-FP8双量化方案数据化横评:LPIPS、画质与显存一次看清
FP8还是INT8?FLUX.2-klein-4B-FP8双量化方案数据化横评:LPIPS、画质与显存一次看清
📦 FLUX.2-klein-4B-FP8 是 Unsloth 为 Black Forest Labs 的 FLUX.2-klein-4B 文生图模型提供的 FP8 / INT8 双量化权重仓库。它用 torchao 动态激活量化技术把 40 亿参数的 bf16 Transformer 压缩到约 4GB,让消费级显卡(约 13GB 显存)也能流畅运行这款最快的蒸馏级 AI 绘图模型。本文用 LPIPS、文件体积、显存占用三个硬指标,帮你在 FP8 与 INT8 之间一次选对。
一、30秒看懂:FP8 量化与 INT8 量化差在哪?
两者都是"把大权重压小"的量化方案,但精度路线不同:
| 维度 | FP8(浮点 8 位) | INT8(整型 8 位) |
|---|---|---|
| 数值格式 | e4m3 浮点,保留小数动态范围 | 定点整数,均匀分布 |
| torchao 配置 | Float8DynamicActivationFloat8WeightConfig(PerRow,torch._scaled_mm) | Int8DynamicActivationInt8WeightConfig(per-token 激活 + per-channel 权重,torch._int_mm) |
| 直觉理解 | "有动态范围的小数位",对分布尖锐的权重更友好 | 更纯粹的"减半",实现简单、通用性好 |
一句话:FP8 牺牲更少的信息,INT8 换来更小的体积。到底牺牲了多少?看数据。
二、核心数据横评:LPIPS 越低越接近原模型
仓库给出了与 bf16 原模型同种子渲染的 LPIPS(学习感知相似度)对比——数值越低,量化后输出越接近原始模型:
| 指标 | INT8 | FP8 |
|---|---|---|
| 同种子 LPIPS(越低越好) | 0.123 | 0.104 ✅ |
| 检查点体积 | 4.0 GB | 3.9 GB ✅ |
| 相对 bf16 的画质保真 | 接近 | 更接近 |
💡 解读:
- FP8 的 LPIPS 0.104 比 INT8 的 0.123 低约 15%,在感知层面更贴近 bf16 原版,适合对画质敏感的出图场景;
- INT8 体积 4.0 GB 与 FP8 的 3.9 GB 几乎持平(本仓库两者均为压缩后单文件),显存红利相当,INT8 并不"更小"到值得牺牲画质;
- 两种检查点位级等价于"先加载 bf16 再在线量化",直接加载即可跳过量化步骤,无需二次处理。
三、样图直观对比:肉眼可见的差距有多大?
以上两张为 INT8 方案在同一提示词("cute sloth typing on a computer",1024x1024)下的生成样图。再看 FP8 方案在相同条件下的输出:
肉眼对比要点:两者在 4 步快速采样下都能保持完整构图,FP8 在纹理细节与色彩过渡上更贴近 bf16 基线;INT8 在多数场景已完全可用,个别细节处略"糊"。如果你的工作流以低步数出图为主,FP8 的优势会更明显。
四、显存占用与硬件门槛:消费级显卡够用吗?
🖥️ 硬件基线(来自 README.md):
- FLUX.2-klein-4B 全管线约 13GB 显存即可运行,RTX 3090 / 4070 起步;
- 量化后 Transformer 权重从 bf16 的约 8GB 压到 3.9~4.0 GB,为激活值与 KV 缓存留出更大余量,分辨率与批量弹性更高;
- 量化方案基于 torchao 动态激活量化(torch 2.12.1 + torchao 0.17 验证),FP8 加载器需依赖 torchao 0.13+ 的动态激活 scale 下限保护(
activation_value_lb=1e-12),避免全零激活行产生零 scale。
📌 简单结论:12GB 显存偏紧,16GB 显存舒适;量化版相比 bf16 版至少省出一半的权重显存。
五、怎么选?场景化建议清单
| 你的场景 | 推荐方案 | 理由 |
|---|---|---|
| 追求最接近原版画质 | FP8 | LPIPS 0.104,感知保真最优 |
| 极致低显存 / 边缘部署 | INT8 | 0.123 依然优秀,整数矩阵乘通用性强 |
| 生产环境批量出图 | FP8 | 低步数下细节优势被放大 |
| 对体积敏感的模型分发 | FP8 | 3.9GB 比 INT8 的 4.0GB 还略小 |
✅ 综合结论:在两者体积几乎相同的前提下,FP8 是默认更优解;INT8 留给"必须走整数算力路径"的特殊硬件场景。
六、仓库文件清单与快速上手
仓库为 Apache 2.0 协议,可直接商用。核心文件:
- FP8 权重:FLUX.2-klein-4B-FP8.pt(3.9 GB)、FLUX.2-klein-4B-FP8.safetensors
- INT8 权重:FLUX.2-klein-4B-INT8.pt(4.0 GB)、FLUX.2-klein-4B-INT8.safetensors
- 配套文本编码器:FLUX.2-klein-4B-text_encoder-FP8.safetensors
- 完整模型卡与量化细节:README.md
上手三步走:
- 准备 torch ≥ 2.12 与 torchao ≥ 0.13 的运行环境;
- 下载 FP8 或 INT8 检查点(.pt 或 .safetensors 均可);
- 按官方参考实现加载量化 Transformer 并跑通
num_inference_steps=4的出图流程。
💬 写在最后:量化不是"牺牲画质换速度",而是"几乎不牺牲"地换下消费级显卡的运行资格。FLUX.2-klein-4B-FP8 仓库用 LPIPS 0.104 / 0.123 的实测数据证明:FP8 与 INT8 都已站在可用的门槛线上——画质敏感选 FP8,算力保守选 INT8。



