Qwen3.5-9B-FP8-dynamic完整复现教程:用LLM Compressor将Qwen3.5-9B量化为FP8,无需校准数据
Qwen3.5-9B-FP8-dynamic完整复现教程:用LLM Compressor将Qwen3.5-9B量化为FP8,无需校准数据
📦 Qwen3.5-9B-FP8-dynamic 是 RedHatAI 发布的 Qwen3.5-9B 的 FP8 量化版本,全程使用 LLM Compressor 的 FP8_DYNAMIC 方案完成量化,无需任何校准数据。量化后模型体积从 19.3 GB 降到 14.0 GB(约减少 27%),精度保持率高达 99% 以上,可直接用 vLLM 部署推理,是新手入门大模型量化的一条捷径。
一、它是什么:为什么值得了解 FP8 动态量化
大模型部署的第一道坎往往是显存。传统的 BF16 模型对 9B 参数的 Qwen3.5-9B 来说,磁盘占用高达 19.3 GB。而本项目采用的 FP8 量化策略分为两部分:
| 量化对象 | 策略 | 是否需要校准数据 |
|---|---|---|
| 权重(Weights) | FP8,按通道(channel)量化 | 否(用内存less minmax 观察器离线统计) |
| 激活值(Activations) | FP8,按张量(per-tensor)动态量化 | 否(推理时实时计算 scale) |
💡 "动态(dynamic)"的含义:激活值的缩放系数不在量化阶段预先标定,而是在推理时逐张量动态计算。这就是"无需校准数据"的核心原因——你不需要准备任何提示词数据集跑一遍前向传播。
同时,量化只覆盖 Transformer 块内的线性层,以下部分刻意保持 BF16 不量化,以保护精度:
- 视觉编码器(
visual相关模块) - 线性注意力层(
linear_attn,Qwen3.5 的混合注意力架构中的线性注意力分支) - 词嵌入(
embed_tokens)与输出层(lm_head)
完整的忽略清单可以在 config.json 的 ignore 字段中逐条核对。
二、仓库文件一览:量化产物都藏在哪些文件里
本仓库就是量化后的成品模型,各文件职责如下:
| 文件 | 作用 |
|---|---|
| README.md | 模型介绍、部署命令、量化复现代码与评测方法 |
| model.safetensors | 主权重文件(14.0 GB,已压缩为 FP8) |
| model.safetensors.index.json | 权重索引,可看到每个 weight_scale 量化缩放系数 |
| model_mtp.safetensors | MTP(多 Token 预测)模块权重,单独存放 |
| config.json | 模型架构与 quantization_config 量化配置 |
| recipe.yaml | LLM Compressor 量化配方(复现的核心) |
| generation_config.json | 生成参数配置 |
| chat_template.jinja | 对话模板 |
| processor_config.json | 图像/视频处理器配置(Qwen3VL 处理器) |
| tokenizer.json、tokenizer_config.json | 分词器 |
其中 model.safetensors.index.json 能直观看到量化的痕迹:mlp.down_proj.weight 旁边跟着 weight_scale 张量——权重本体是 FP8,配套一个缩放系数。
三、准备工作:环境与依赖版本
✅ 官方复现使用的依赖版本(建议对齐,避免踩坑):
| 包 | 版本 |
|---|---|
| llm-compressor | 0.10.1.dev44 |
| compressed-tensors | 0.14.1a20260325 |
| transformers | 5.3.0 |
| vllm | 0.18.1 |
如果你只是下载成品模型部署,克隆本仓库即可:
git clone https://gitcode.com/hf_mirrors/RedHatAI/Qwen3.5-9B-FP8-dynamic
如果要从头复现量化,还需要原始模型 Qwen/Qwen3.5-9B(约 19.3 GB)和一块能装下整个模型的 GPU。
四、FP8 量化一键复现:配方 + 简短脚本
4.1 读懂量化配方 recipe.yaml
复现的核心就 7 行,见 recipe.yaml:
default_stage:
default_modifiers:
QuantizationModifier:
targets: [Linear]
ignore: ['re:.*lm_head', 're:.*embed_tokens$', 're:.*visual.*',
're:.*model.visual.*', 're:.*linear_attn.*']
scheme: FP8_DYNAMIC
三个关键字段一句话解释:
targets: [Linear]:只量化所有线性层(MLP 的 gate/up/down_proj、全注意力层的 qkv/o_proj 等)scheme: FP8_DYNAMIC:权重 FP8 + 激活值动态 FP8,无需校准集ignore:正则黑名单,跳过视觉塔、线性注意力层、词嵌入和输出层
4.2 运行量化脚本
完整代码在 README.md 中,核心流程只有 5 步(以下为精简版):
from llmcompressor import oneshot
from llmcompressor.modifiers.quantization import QuantizationModifier
from transformers import Qwen3_5ForConditionalGeneration
MODEL_ID = "Qwen/Qwen3.5-9B"
model = Qwen3_5ForConditionalGeneration.from_pretrained(MODEL_ID, dtype="auto")
recipe = QuantizationModifier(targets="Linear", scheme="FP8_DYNAMIC", ignore=IGNORE_LAYERS)
oneshot(model=model, recipe=recipe) # 一行完成量化
model.save_pretrained("Qwen3.5-9B-FP8-dynamic", save_compressed=True)
4.3 别忘了保存 MTP 权重
🔑 这是新手最容易漏掉的一步:量化只会保存主模型,Qwen3.5 的 MTP(Multi-Token Prediction)模块权重需要单独拷贝,否则部署时会缺文件:
from compressed_tensors.utils import save_mtp_tensors_to_checkpoint
save_mtp_tensors_to_checkpoint(
source_model="Qwen/Qwen3.5-9B",
dest_dir="Qwen3.5-9B-FP8-dynamic",
)
完成后你会得到与仓库结构一致的产物:FP8 主权重 + MTP 权重 + 带 quantization_config 的 config.json。
五、精度验证:FP8 量化损失有多大?
RedHatAI 用 lm-evaluation-harness 和 lighteval 对原模型与量化模型做了全量对比(0-shot,多次随机种子取平均):
| 类别 | 基准测试 | Qwen3.5-9B(原模型) | FP8 量化后 | 保持率 |
|---|---|---|---|---|
| 指令遵循 | GSM8k-Platinum | 94.7% | 94.5% | 99.8% |
| 指令遵循 | MMLU-Pro | 82.5% | 82.4% | 99.9% |
| 指令遵循 | IFEval(instruction strict) | 92.9% | 92.0% | 99.0% |
| 推理 | Math 500 | 85.0% | 84.7% | 99.7% |
| 推理 | AIME 2025 | 88.3% | 87.9% | 99.5% |
| 推理 | GPQA Diamond | 84.0% | 83.8% | 99.8% |
📊 结论一目了然:六大基准全部保持 99% 以上,最大单项损失仅 1.4 个百分点(IFEval)。用约 27% 的体积换几乎无损的精度,这就是 FP8 动态量化在 9B 级多模态模型上的典型表现。复现评测所用的完整命令见 README.md。
六、vLLM 部署:两条命令跑起来
多模态模式(视觉 + 文本)
vllm serve RedHatAI/Qwen3.5-9B-FP8-dynamic \
--reasoning-parser qwen3 \
--max-model-len 262144
纯文本模式(显存更省)
vllm serve RedHatAI/Qwen3.5-9B-FP8-dynamic \
--reasoning-parser qwen3 \
--max-model-len 262144 \
--language-model-only
服务起来后(默认 http://localhost:8000/v1),任何兼容 OpenAI API 的客户端都能直接调用,模型名填 RedHatAI/Qwen3.5-9B-FP8-dynamic 即可,调用示例见 README.md。
⚠️ 两个实用提示:
- 支持 262144(256K)上下文,见 config.json 的
max_position_embeddings - 若只跑文本任务,加
--language-model-only可以跳过视觉编码器,显著降低显存占用
总结:新手量化清单
✅ 三步即可完成本项目的全部复现:
- 加载原模型 →
Qwen3_5ForConditionalGeneration.from_pretrained("Qwen/Qwen3.5-9B") - 一行量化 →
oneshot(model, QuantizationModifier(targets="Linear", scheme="FP8_DYNAMIC", ignore=...)) - 保存产物 →
save_pretrained+save_mtp_tensors_to_checkpoint
FP8 动态量化最大的价值在于零数据门槛:不用攒校准集、不用调参,recipe.yaml 改 7 行就能套用其他 Transformer 模型。体积省 27%、精度保 99%、部署用 vLLM 一条命令——对于想给多模态大模型"瘦身"的朋友,这是一条最值得先走通的量化路线。🚀