Qwen3.5-9B-FP8-dynamic完整复现教程:用LLM Compressor将Qwen3.5-9B量化为FP8,无需校准数据

原创2026-11-10 13:46:58599 阅读
文章标签:大模型模型量化多模态本地部署人工智能

Qwen3.5-9B-FP8-dynamic完整复现教程:用LLM Compressor将Qwen3.5-9B量化为FP8,无需校准数据

📦 Qwen3.5-9B-FP8-dynamic 是 RedHatAI 发布的 Qwen3.5-9B 的 FP8 量化版本,全程使用 LLM Compressor 的 FP8_DYNAMIC 方案完成量化,无需任何校准数据。量化后模型体积从 19.3 GB 降到 14.0 GB(约减少 27%),精度保持率高达 99% 以上,可直接用 vLLM 部署推理,是新手入门大模型量化的一条捷径。

一、它是什么:为什么值得了解 FP8 动态量化

大模型部署的第一道坎往往是显存。传统的 BF16 模型对 9B 参数的 Qwen3.5-9B 来说,磁盘占用高达 19.3 GB。而本项目采用的 FP8 量化策略分为两部分:

量化对象 策略 是否需要校准数据
权重(Weights) FP8,按通道(channel)量化 否(用内存less minmax 观察器离线统计)
激活值(Activations) FP8,按张量(per-tensor)动态量化 否(推理时实时计算 scale)

💡 "动态(dynamic)"的含义:激活值的缩放系数不在量化阶段预先标定,而是在推理时逐张量动态计算。这就是"无需校准数据"的核心原因——你不需要准备任何提示词数据集跑一遍前向传播。

同时,量化只覆盖 Transformer 块内的线性层,以下部分刻意保持 BF16 不量化,以保护精度:

  • 视觉编码器(visual 相关模块)
  • 线性注意力层(linear_attn,Qwen3.5 的混合注意力架构中的线性注意力分支)
  • 词嵌入(embed_tokens)与输出层(lm_head)

完整的忽略清单可以在 config.json 的 ignore 字段中逐条核对。

二、仓库文件一览:量化产物都藏在哪些文件里

本仓库就是量化后的成品模型,各文件职责如下:

文件 作用
README.md 模型介绍、部署命令、量化复现代码与评测方法
model.safetensors 主权重文件(14.0 GB,已压缩为 FP8)
model.safetensors.index.json 权重索引,可看到每个 weight_scale 量化缩放系数
model_mtp.safetensors MTP(多 Token 预测)模块权重,单独存放
config.json 模型架构与 quantization_config 量化配置
recipe.yaml LLM Compressor 量化配方(复现的核心)
generation_config.json 生成参数配置
chat_template.jinja 对话模板
processor_config.json 图像/视频处理器配置(Qwen3VL 处理器)
tokenizer.json、tokenizer_config.json 分词器

其中 model.safetensors.index.json 能直观看到量化的痕迹:mlp.down_proj.weight 旁边跟着 weight_scale 张量——权重本体是 FP8,配套一个缩放系数。

三、准备工作:环境与依赖版本

✅ 官方复现使用的依赖版本(建议对齐,避免踩坑):

包 版本
llm-compressor 0.10.1.dev44
compressed-tensors 0.14.1a20260325
transformers 5.3.0
vllm 0.18.1

如果你只是下载成品模型部署,克隆本仓库即可:

git clone https://gitcode.com/hf_mirrors/RedHatAI/Qwen3.5-9B-FP8-dynamic

如果要从头复现量化,还需要原始模型 Qwen/Qwen3.5-9B(约 19.3 GB)和一块能装下整个模型的 GPU。

四、FP8 量化一键复现:配方 + 简短脚本

4.1 读懂量化配方 recipe.yaml

复现的核心就 7 行,见 recipe.yaml:

default_stage:
  default_modifiers:
    QuantizationModifier:
      targets: [Linear]
      ignore: ['re:.*lm_head', 're:.*embed_tokens$', 're:.*visual.*',
               're:.*model.visual.*', 're:.*linear_attn.*']
      scheme: FP8_DYNAMIC

三个关键字段一句话解释:

  • targets: [Linear]:只量化所有线性层(MLP 的 gate/up/down_proj、全注意力层的 qkv/o_proj 等)
  • scheme: FP8_DYNAMIC:权重 FP8 + 激活值动态 FP8,无需校准集
  • ignore:正则黑名单,跳过视觉塔、线性注意力层、词嵌入和输出层

4.2 运行量化脚本

完整代码在 README.md 中,核心流程只有 5 步(以下为精简版):

from llmcompressor import oneshot
from llmcompressor.modifiers.quantization import QuantizationModifier
from transformers import Qwen3_5ForConditionalGeneration

MODEL_ID = "Qwen/Qwen3.5-9B"

model = Qwen3_5ForConditionalGeneration.from_pretrained(MODEL_ID, dtype="auto")
recipe = QuantizationModifier(targets="Linear", scheme="FP8_DYNAMIC", ignore=IGNORE_LAYERS)

oneshot(model=model, recipe=recipe)      # 一行完成量化
model.save_pretrained("Qwen3.5-9B-FP8-dynamic", save_compressed=True)

4.3 别忘了保存 MTP 权重

🔑 这是新手最容易漏掉的一步:量化只会保存主模型,Qwen3.5 的 MTP(Multi-Token Prediction)模块权重需要单独拷贝,否则部署时会缺文件:

from compressed_tensors.utils import save_mtp_tensors_to_checkpoint

save_mtp_tensors_to_checkpoint(
    source_model="Qwen/Qwen3.5-9B",
    dest_dir="Qwen3.5-9B-FP8-dynamic",
)

完成后你会得到与仓库结构一致的产物:FP8 主权重 + MTP 权重 + 带 quantization_config 的 config.json。

五、精度验证:FP8 量化损失有多大?

RedHatAI 用 lm-evaluation-harness 和 lighteval 对原模型与量化模型做了全量对比(0-shot,多次随机种子取平均):

类别 基准测试 Qwen3.5-9B(原模型) FP8 量化后 保持率
指令遵循 GSM8k-Platinum 94.7% 94.5% 99.8%
指令遵循 MMLU-Pro 82.5% 82.4% 99.9%
指令遵循 IFEval(instruction strict) 92.9% 92.0% 99.0%
推理 Math 500 85.0% 84.7% 99.7%
推理 AIME 2025 88.3% 87.9% 99.5%
推理 GPQA Diamond 84.0% 83.8% 99.8%

📊 结论一目了然:六大基准全部保持 99% 以上,最大单项损失仅 1.4 个百分点(IFEval)。用约 27% 的体积换几乎无损的精度,这就是 FP8 动态量化在 9B 级多模态模型上的典型表现。复现评测所用的完整命令见 README.md。

六、vLLM 部署:两条命令跑起来

多模态模式(视觉 + 文本)

vllm serve RedHatAI/Qwen3.5-9B-FP8-dynamic \
  --reasoning-parser qwen3 \
  --max-model-len 262144

纯文本模式(显存更省)

vllm serve RedHatAI/Qwen3.5-9B-FP8-dynamic \
  --reasoning-parser qwen3 \
  --max-model-len 262144 \
  --language-model-only

服务起来后(默认 http://localhost:8000/v1),任何兼容 OpenAI API 的客户端都能直接调用,模型名填 RedHatAI/Qwen3.5-9B-FP8-dynamic 即可,调用示例见 README.md。

⚠️ 两个实用提示:

  • 支持 262144(256K)上下文,见 config.json 的 max_position_embeddings
  • 若只跑文本任务,加 --language-model-only 可以跳过视觉编码器,显著降低显存占用

总结:新手量化清单

✅ 三步即可完成本项目的全部复现:

  1. 加载原模型 → Qwen3_5ForConditionalGeneration.from_pretrained("Qwen/Qwen3.5-9B")
  2. 一行量化 → oneshot(model, QuantizationModifier(targets="Linear", scheme="FP8_DYNAMIC", ignore=...))
  3. 保存产物 → save_pretrained + save_mtp_tensors_to_checkpoint

FP8 动态量化最大的价值在于零数据门槛:不用攒校准集、不用调参,recipe.yaml 改 7 行就能套用其他 Transformer 模型。体积省 27%、精度保 99%、部署用 vLLM 一条命令——对于想给多模态大模型"瘦身"的朋友,这是一条最值得先走通的量化路线。🚀

登录后查看全文
Qwen3.5-9B-FP8-dynamic