用 LLM Compressor 量化你自己的模型:以 gemma-4-26B-A4B-it-NVFP4 为例的 NVFP4 实战
用 LLM Compressor 量化你自己的模型:以 gemma-4-26B-A4B-it-NVFP4 为例的 NVFP4 实战
gemma-4-26B-A4B-it-NVFP4 是由 RedHatAI 使用 LLM Compressor 对 Google 的 Gemma 4 26B-A4B(混合专家架构大模型)做 NVFP4 量化 得到的开源模型:参数位宽从 16bit 降到 4bit,磁盘占用和 GPU 显存需求减少约 75%,可直接用 vLLM 部署。本文带你搞懂 NVFP4 量化原理,并一步步用 LLM Compressor 量化你自己的模型。
🧮 NVFP4 量化是什么?能省多少显存?
先说结论:量化 = 用更少的比特表示模型权重,从而压缩体积、降低显存、提速推理。
| 数据类型 | 每参数位数 | 26B 模型权重大约占用 |
|---|---|---|
| BF16(原始) | 16 bit | ~52 GB |
| NVFP4(量化后) | 4 bit | ~13 GB |
NVFP4(NVIDIA FP4)相比普通 INT4 有两个关键点:
- 权重按 16 个一组做分块缩放(group size = 16),每组用 FP8 精度保存缩放因子,精度损失更小;
- 激活值也量化到 FP4,且缩放是动态的(
dynamic: "local"),推理时实时计算,进一步降低显存压力。
在本模型的 config.json 中可以看到完整的量化配置:"format": "nvfp4-pack-quantized"、"quant_method": "compressed-tensors"、"group_size": 16、"scale_dtype": "torch.float8_e4m3fn"。
📦 仓库文件速览:一个量化模型由什么组成?
打开 README.md 你就能了解这个模型的来龙去脉。整个仓库结构非常典型,也是你量化完自己模型后应有的样子:
| 文件 | 作用 |
|---|---|
| model.safetensors | 量化后的模型权重(NVFP4 打包格式) |
| config.json | 模型配置,其中 quantization_config 记录了量化参数与不量化的层清单 |
| recipe.yaml | LLM Compressor 的量化配方,记录了本模型是怎么量化的 |
| chat_template.jinja | 对话模板,支持 thinking 推理模式与工具调用 |
| tokenizer.json / tokenizer_config.json | 分词器,部署时必须随权重一起保存 |
| generation_config.json | 默认采样参数(temperature=1.0、top_k=64、top_p=0.95) |
| every_eval_ever/ | 各基准测试的完整评测结果(JSON) |
💡 注意 quantization_config 里的 ignore 列表:所有 router.proj、vision_tower、embed_vision 和 lm_head 层都保持原始精度不量化——这是 MoE 多模态模型量化时保住精度的关键技巧,后面会细讲。
⚡ LLM Compressor 量化四步走:从加载模型到保存
整个量化流程只需 4 步,核心代码不到 20 行(完整版本见 README.md 的 "Creation" 部分):
第 1 步:加载基座模型和分词器
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_ID = "google/gemma-4-26B-A4B-it"
model = AutoModelForCausalLM.from_pretrained(MODEL_ID, torch_dtype="auto", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
第 2 步:准备 512 条校准数据
量化需要一小批真实数据来统计激活值的分布(校准),本例选取了 512 条真实对话:
from datasets import load_dataset
ds = load_dataset("mgoin/ultrachat_200k_s3", split="train_sft")
calibration_data = [ex["prompt"] for ex in ds.select(range(512))]
⚠️ 校准数据最好贴合你的目标场景。做代码场景就喂代码,做中文对话就喂中文,别用英文闲聊数据去校准代码模型。
第 3 步:写量化配方(Recipe)
from llmcompressor.modifiers.quantization import QuantizationModifier
recipe = QuantizationModifier(
targets=["Linear"], # 只量化线性层
ignore=["lm_head", "re:.*embed.*", "re:.*router", "re:.*vision_tower.*"], # 敏感层保留
scheme="NVFP4", # 量化方案
)
三个参数的含义:
targets:哪些层参与量化,这里只选Linear(全连接层,占模型体积的大头);ignore:跳过的输出头、嵌入层、MoE 路由器和视觉塔——这些层参数量小但对精度影响大;scheme:量化方案名,NVFP4对应 4bit 权重 + FP8 分组缩放。
第 4 步:执行量化并保存
from llmcompressor import apply
apply(model=model, tokenizer=tokenizer, recipe=recipe, calibration_data=calibration_data)
model.save_pretrained("my-model-NVFP4", save_compressed=True) # save_compressed 必须加!
tokenizer.save_pretrained("my-model-NVFP4")
📝 recipe.yaml:声明式的量化配方
本仓库把上面的配方存成了 recipe.yaml,这是 LLM Compressor 支持的声明式写法,方便复现和版本管理:
default_stage:
default_modifiers:
QuantizationModifier:
targets: [Linear]
ignore: [lm_head, 're:.*embed.*', 're:.*router', 're:.*vision_tower.*']
scheme: NVFP4
bypass_divisibility_checks: false
建议你自己量化时,也把 recipe 保存进输出目录——将来排查精度问题或复现流程时非常有用。
🚀 用 vLLM 部署 NVFP4 模型的最快方法
量化好的模型可以直接交给 vLLM 加载,无需任何转换:
vllm serve RedHatAI/gemma-4-26B-A4B-it-NVFP4 \
--max-model-len 32768 \
--gpu-memory-utilization 0.90 \
--enable-auto-tool-choice \
--reasoning-parser gemma4 \
--tool-call-parser gemma4
💡 如果只跑纯文本任务,加上
--limit-mm-per-prompt '{"image": 0, "audio": 0}'可以跳过视觉编码器,把显存留给更长的上下文。
启动后用 OpenAI 兼容 API 调用(开启思考模式):
from openai import OpenAI
client = OpenAI(api_key="EMPTY", base_url="http://<your-server-host>:8000/v1")
outputs = client.chat.completions.create(
model="RedHatAI/gemma-4-26B-A4B-it-NVFP4",
messages=[{"role": "user", "content": "用一句话解释 NVFP4"}],
extra_body={"chat_template_kwargs": {"enable_thinking": True}},
)
print(outputs.choices[0].message.content)
📊 量化后精度掉多少?官方实测数据
量化最怕的就是"缩水缩水,效果全没"。RedHatAI 在 7 个基准上做了对比,Recovery(精度保持率) 整体在 90% 以上,完整结果可查 every_eval_ever/gsm8k_platinum.json、every_eval_ever/gpqa_diamond.json 等文件:
| 基准 | 原始模型 | NVFP4 版 | 保持率 |
|---|---|---|---|
| IFEval(指令跟随) | 94.39 | 94.15 | 99.7% |
| GSM8K Platinum(数学) | 95.95 | 95.31 | 99.3% |
| MATH-500 | 85.87 | 85.07 | 99.1% |
| GPQA Diamond(科学推理) | 80.81 | 77.61 | 96.0% |
| LiveCodeBench v6(代码) | 77.90 | 72.76 | 93.4% |
| BFCLv4(工具调用) | 67.62 | 62.96 | 93.1% |
可以看到:日常对话、数学推理几乎无损;难度极高的 AIME 2025 和 Agentic 工具调用场景掉分稍多——极限难度任务对量化更敏感,选型时心里有数即可。
⚠️ 新手量化避坑指南:5 个常见错误
- 忘了
save_compressed=True:不传这个参数会存出完整精度权重,白量化一场。 - 把 MoE 路由器也量化了:
router层决定走哪个专家,量化后路由容易出错。本模型 config.json 中 25 个router.proj全部在ignore列表里,务必效仿。 - 视觉塔/嵌入层乱量化:
vision_tower、embed、lm_head参数量小但牵一发动全身,保持 BF16 即可(见 config.json 的 ignore 条目)。 - 只保存了权重,没保存分词器和模板:tokenizer.json、chat_template.jinja、generation_config.json 要和权重一起
save_pretrained,否则服务启动会报错或对话格式错乱。 - 量化后不检查配置:打开输出目录的
config.json,确认"quant_method": "compressed-tensors"且ignore列表符合预期,再交给 vLLM。
写在最后
用 LLM Compressor 做 NVFP4 量化,本质上就是"选层 → 校准 → 量化 → 压缩保存"四步,20 行代码就能把一个 26B 级模型的显存需求砍掉 75%,而精度保持率轻松超过 90%。以 gemma-4-26B-A4B-it-NVFP4 为参照,把自己的模型也压一压,单卡跑起大模型不再是遥不可及的事。🎯