用 LLM Compressor 量化你自己的模型:以 gemma-4-26B-A4B-it-NVFP4 为例的 NVFP4 实战

原创2026-11-11 12:24:522,272 阅读

用 LLM Compressor 量化你自己的模型:以 gemma-4-26B-A4B-it-NVFP4 为例的 NVFP4 实战

gemma-4-26B-A4B-it-NVFP4 是由 RedHatAI 使用 LLM Compressor 对 Google 的 Gemma 4 26B-A4B(混合专家架构大模型)做 NVFP4 量化 得到的开源模型:参数位宽从 16bit 降到 4bit,磁盘占用和 GPU 显存需求减少约 75%,可直接用 vLLM 部署。本文带你搞懂 NVFP4 量化原理,并一步步用 LLM Compressor 量化你自己的模型。


🧮 NVFP4 量化是什么?能省多少显存?

先说结论:量化 = 用更少的比特表示模型权重,从而压缩体积、降低显存、提速推理。

数据类型 每参数位数 26B 模型权重大约占用
BF16(原始) 16 bit ~52 GB
NVFP4(量化后) 4 bit ~13 GB

NVFP4(NVIDIA FP4)相比普通 INT4 有两个关键点:

  • 权重按 16 个一组做分块缩放(group size = 16),每组用 FP8 精度保存缩放因子,精度损失更小;
  • 激活值也量化到 FP4,且缩放是动态的(dynamic: "local"),推理时实时计算,进一步降低显存压力。

在本模型的 config.json 中可以看到完整的量化配置:"format": "nvfp4-pack-quantized"、"quant_method": "compressed-tensors"、"group_size": 16、"scale_dtype": "torch.float8_e4m3fn"。


📦 仓库文件速览:一个量化模型由什么组成?

打开 README.md 你就能了解这个模型的来龙去脉。整个仓库结构非常典型,也是你量化完自己模型后应有的样子:

文件 作用
model.safetensors 量化后的模型权重(NVFP4 打包格式)
config.json 模型配置,其中 quantization_config 记录了量化参数与不量化的层清单
recipe.yaml LLM Compressor 的量化配方,记录了本模型是怎么量化的
chat_template.jinja 对话模板,支持 thinking 推理模式与工具调用
tokenizer.json / tokenizer_config.json 分词器,部署时必须随权重一起保存
generation_config.json 默认采样参数(temperature=1.0、top_k=64、top_p=0.95)
every_eval_ever/ 各基准测试的完整评测结果(JSON)

💡 注意 quantization_config 里的 ignore 列表:所有 router.proj、vision_tower、embed_vision 和 lm_head 层都保持原始精度不量化——这是 MoE 多模态模型量化时保住精度的关键技巧,后面会细讲。


⚡ LLM Compressor 量化四步走:从加载模型到保存

整个量化流程只需 4 步,核心代码不到 20 行(完整版本见 README.md 的 "Creation" 部分):

第 1 步:加载基座模型和分词器

from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_ID = "google/gemma-4-26B-A4B-it"
model = AutoModelForCausalLM.from_pretrained(MODEL_ID, torch_dtype="auto", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)

第 2 步:准备 512 条校准数据

量化需要一小批真实数据来统计激活值的分布(校准),本例选取了 512 条真实对话:

from datasets import load_dataset

ds = load_dataset("mgoin/ultrachat_200k_s3", split="train_sft")
calibration_data = [ex["prompt"] for ex in ds.select(range(512))]

⚠️ 校准数据最好贴合你的目标场景。做代码场景就喂代码,做中文对话就喂中文,别用英文闲聊数据去校准代码模型。

第 3 步:写量化配方(Recipe)

from llmcompressor.modifiers.quantization import QuantizationModifier

recipe = QuantizationModifier(
    targets=["Linear"],   # 只量化线性层
    ignore=["lm_head", "re:.*embed.*", "re:.*router", "re:.*vision_tower.*"],  # 敏感层保留
    scheme="NVFP4",       # 量化方案
)

三个参数的含义:

  • targets:哪些层参与量化,这里只选 Linear(全连接层,占模型体积的大头);
  • ignore:跳过的输出头、嵌入层、MoE 路由器和视觉塔——这些层参数量小但对精度影响大;
  • scheme:量化方案名,NVFP4 对应 4bit 权重 + FP8 分组缩放。

第 4 步:执行量化并保存

from llmcompressor import apply

apply(model=model, tokenizer=tokenizer, recipe=recipe, calibration_data=calibration_data)
model.save_pretrained("my-model-NVFP4", save_compressed=True)  # save_compressed 必须加!
tokenizer.save_pretrained("my-model-NVFP4")

📝 recipe.yaml:声明式的量化配方

本仓库把上面的配方存成了 recipe.yaml,这是 LLM Compressor 支持的声明式写法,方便复现和版本管理:

default_stage:
  default_modifiers:
    QuantizationModifier:
      targets: [Linear]
      ignore: [lm_head, 're:.*embed.*', 're:.*router', 're:.*vision_tower.*']
      scheme: NVFP4
      bypass_divisibility_checks: false

建议你自己量化时,也把 recipe 保存进输出目录——将来排查精度问题或复现流程时非常有用。


🚀 用 vLLM 部署 NVFP4 模型的最快方法

量化好的模型可以直接交给 vLLM 加载,无需任何转换:

vllm serve RedHatAI/gemma-4-26B-A4B-it-NVFP4 \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.90 \
  --enable-auto-tool-choice \
  --reasoning-parser gemma4 \
  --tool-call-parser gemma4

💡 如果只跑纯文本任务,加上 --limit-mm-per-prompt '{"image": 0, "audio": 0}' 可以跳过视觉编码器,把显存留给更长的上下文。

启动后用 OpenAI 兼容 API 调用(开启思考模式):

from openai import OpenAI

client = OpenAI(api_key="EMPTY", base_url="http://<your-server-host>:8000/v1")
outputs = client.chat.completions.create(
    model="RedHatAI/gemma-4-26B-A4B-it-NVFP4",
    messages=[{"role": "user", "content": "用一句话解释 NVFP4"}],
    extra_body={"chat_template_kwargs": {"enable_thinking": True}},
)
print(outputs.choices[0].message.content)

📊 量化后精度掉多少?官方实测数据

量化最怕的就是"缩水缩水,效果全没"。RedHatAI 在 7 个基准上做了对比,Recovery(精度保持率) 整体在 90% 以上,完整结果可查 every_eval_ever/gsm8k_platinum.json、every_eval_ever/gpqa_diamond.json 等文件:

基准 原始模型 NVFP4 版 保持率
IFEval(指令跟随) 94.39 94.15 99.7%
GSM8K Platinum(数学) 95.95 95.31 99.3%
MATH-500 85.87 85.07 99.1%
GPQA Diamond(科学推理) 80.81 77.61 96.0%
LiveCodeBench v6(代码) 77.90 72.76 93.4%
BFCLv4(工具调用) 67.62 62.96 93.1%

可以看到:日常对话、数学推理几乎无损;难度极高的 AIME 2025 和 Agentic 工具调用场景掉分稍多——极限难度任务对量化更敏感,选型时心里有数即可。


⚠️ 新手量化避坑指南:5 个常见错误

  1. 忘了 save_compressed=True:不传这个参数会存出完整精度权重,白量化一场。
  2. 把 MoE 路由器也量化了:router 层决定走哪个专家,量化后路由容易出错。本模型 config.json 中 25 个 router.proj 全部在 ignore 列表里,务必效仿。
  3. 视觉塔/嵌入层乱量化:vision_tower、embed、lm_head 参数量小但牵一发动全身,保持 BF16 即可(见 config.json 的 ignore 条目)。
  4. 只保存了权重,没保存分词器和模板:tokenizer.json、chat_template.jinja、generation_config.json 要和权重一起 save_pretrained,否则服务启动会报错或对话格式错乱。
  5. 量化后不检查配置:打开输出目录的 config.json,确认 "quant_method": "compressed-tensors" 且 ignore 列表符合预期,再交给 vLLM。

写在最后

用 LLM Compressor 做 NVFP4 量化,本质上就是"选层 → 校准 → 量化 → 压缩保存"四步,20 行代码就能把一个 26B 级模型的显存需求砍掉 75%,而精度保持率轻松超过 90%。以 gemma-4-26B-A4B-it-NVFP4 为参照,把自己的模型也压一压,单卡跑起大模型不再是遥不可及的事。🎯

登录后查看全文
gemma-4-26B-A4B-it-NVFP4