自己动手量化31B大模型:基于gemma-4-31B-it-NVFP4复现LLM Compressor的NVFP4配方
自己动手量化31B大模型:基于gemma-4-31B-it-NVFP4复现LLM Compressor的NVFP4配方
gemma-4-31B-it-NVFP4 是一份由 RedHatAI 发布的 NVFP4 量化 31B 大模型参考实现:它用 LLM Compressor 把 google/gemma-4-31B-it 的权重和激活从 16 bit 压到 4 bit(NVFP4 格式),显存占用直接减少约 75%,而 7 大基准测试的精度保持率普遍在 95% 以上。本文带你读懂这份 NVFP4 量化配方,并自己动手完整复现一遍:从环境准备、校准、量化到用 vLLM 部署上线。
一、先搞懂:NVFP4 量化能给 31B 模型省多少资源?
大模型量化的核心逻辑很简单:用更少的比特数表示每个参数,换取更小的体积和更快的推理速度。NVFP4(NVIDIA FP4)是当前 Blackwell 架构 GPU 上硬件原生支持的 4 bit 浮点格式:
| 对比项 | 原始模型(BF16) | NVFP4 量化后 |
|---|---|---|
| 每参数量 | 16 bit | 4 bit + FP8 缩放因子 |
| 31B 模型权重大小 | 约 62 GB | 约 16 GB |
| 磁盘 / 显存节省 | — | 约 75% ↓ |
| 硬件加速 | 通用 | Blackwell GPU 原生加速 |
一句话总结:量化前模型要 62 GB 显存,量化后 16 GB 左右就能装下,单卡部署 31B 大模型从此成为可能。
💡 关键认知:4 bit 不是"无脑砍精度"。NVFP4 每 16 个数值(
group_size=16)共享一个 FP8 缩放因子,属于分组量化,所以精度损失被控制得很低——这正是后文评测保持率能到 95%~100% 的原因。
二、仓库全景:一份"可复现"的量化参考实现
本仓库最大的价值在于每一步都留下了原始凭证:配方文件、量化配置、评测数据齐全,新手可以逐行对照学习。建议先克隆到本地:
git clone https://gitcode.com/hf_mirrors/RedHatAI/gemma-4-31B-it-NVFP4
📁 仓库文件导读:
| 文件 | 作用 |
|---|---|
| README.md | 模型概览、vLLM 部署方式、量化复现代码、完整评测表格 |
| recipe.yaml | ⭐ LLM Compressor 量化配方,核心仅 7 行 |
| config.json | 模型结构 + quantization_config 量化详情(L20-L58) |
| generation_config.json | 推理默认参数(temperature 1.0 / top_k 64 / top_p 0.95) |
| chat_template.jinja | Gemma 4 官方对话模板,含工具调用与思考模式 |
| every_eval_ever/ | 7 个基准测试的原始评测结果 JSON |
| model.safetensors | 量化后的权重文件 |
三、核心配方解读:7 行 recipe.yaml 说明了什么
打开 recipe.yaml,整个 NVFP4 配方就 7 行:
default_stage:
default_modifiers:
QuantizationModifier:
targets: [Linear]
ignore: ['re:.*vision.*', 're:.*audio.*', lm_head, 're:.*embed.*']
scheme: NVFP4
bypass_divisibility_checks: false
逐行拆解这三个关键参数:
targets: [Linear]—— 只量化 Transformer 块里的线性层(注意力投影、MLP),这是大模型参数量的绝对大头;ignore—— 白名单排除:视觉塔(vision)、音频模块、输出头(lm_head)和词嵌入(embed)保持原始精度。这是量化 31B 多模态模型的黄金法则,压错位置精度会明显受损;scheme: NVFP4—— 一键指定 NVFP4 方案,LLM Compressor 会自动处理分组、缩放因子等细节。
再看 config.json 中落盘后的 quantization_config,能看到量化细节:
| 配置项 | 权重(weights) | 激活(input_activations) |
|---|---|---|
| 位宽 / 分组 | 4 bit,group_size=16 |
4 bit,group_size=16 |
| 观察者 | memoryless_minmax(离线计算) |
static_minmax,dynamic: local(推理时按组动态缩放) |
| 缩放因子精度 | FP8(float8_e4m3fn) |
FP8 |
也就是说:权重是离线静态量化的,激活是推理时本地动态量化的——权重省空间,激活保精度,两者兼得。
四、动手复现:4 步把 31B 模型压到 16 GB
步骤 1:准备环境
硬件要求:一块 Blackwell 架构 GPU(如 B200 / RTX 50 系),显存能装下 BF16 的 31B 权重(多卡可用 device_map="auto" 自动分片)。软件上安装 LLM Compressor 和依赖:
pip install llm-compressor transformers datasets
步骤 2 ~ 4:加载、校准、保存(核心代码约 20 行)
完整脚本参考 README.md 中的 Creation 小节,精简版如下:
from datasets import load_dataset
from transformers import AutoModelForCausalLM, AutoTokenizer
from llmcompressor import apply
from llmcompressor.modifiers.quantization import QuantizationModifier
MODEL_ID = "google/gemma-4-31B-it"
SAVE_DIR = "gemma-4-31B-it-NVFP4"
model = AutoModelForCausalLM.from_pretrained(MODEL_ID, torch_dtype="auto", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
# 用 512 条真实对话作为校准数据,帮量化器摸清数值分布
ds = load_dataset("mgoin/ultrachat_200k_s3", split="train_sft")
calibration_data = [ex["prompt"] for ex in ds.select(range(512))]
recipe = QuantizationModifier(
targets=["Linear"],
ignore=["re:.*vision.*", "re:.*audio.*", "lm_head", "re:.*embed.*"],
scheme="NVFP4",
)
apply(model=model, tokenizer=tokenizer, recipe=recipe, calibration_data=calibration_data)
model.save_pretrained(SAVE_DIR, save_compressed=True) # 压缩格式落盘
tokenizer.save_pretrained(SAVE_DIR)
✅ 四个关键动作:
- 加载原模型:
torch_dtype="auto"会按 BF16 加载,device_map="auto"自动多卡分片; - 校准(Calibration):把 512 条对话"喂"给模型跑一遍前向,让量化器统计出每组的 min/max 分布——这是分组量化精度好的关键;
- 应用 NVFP4 配方:
QuantizationModifier的三参数与 recipe.yaml 完全一致; - 压缩保存:
save_compressed=True是必须的,权重才会以 4 bit 打包格式写入 safetensors。
五、效果验证:7 大基准测试几乎无损失
量化完最重要的问题是"精度掉没掉"。作者在 README.md 中给出了量化前后的完整对比,原始数据都在 every_eval_ever/ 目录(每个基准 3 个随机种子取平均,例如 gsm8k_platinum.json)。
未开启思考模式下的"精度保持率"(Recovery = 量化后 ÷ 量化前):
| 类别 | 基准测试 | 原始 31B | NVFP4 量化后 | 保持率 |
|---|---|---|---|---|
| 指令遵循 | IFEval | 90.70 | 89.77 | 99.0% |
| 数学推理 | GSM8K Platinum | 95.78 | 95.70 | 99.9% |
| 知识问答 | MMLU-Pro | 85.41 | 84.50 | 98.9% |
| 数学推理 | MATH-500 | 89.40 | 85.07 | 95.2% |
| 数学竞赛 | AIME 2025 | 65.83 | 65.00 | 98.7% |
| 科研问答 | GPQA Diamond | 77.44 | 76.60 | 98.9% |
| 代码生成 | LiveCodeBench v6 | 71.43 | 70.67 | 98.9% |
📊 结论一目了然:
- 最差的 MATH-500 也有 95.2% 保持率,其余全部 ≥ 98.7%;
- 开启思考模式后更夸张——LiveCodeBench 保持率 104.9%、GPQA 100.8%,量化模型甚至反超原始模型(采样波动范围内);
- 工具调用(BFCLv4)总分 71.24%,保持率 100.7%。
省 75% 显存、几乎不掉点——这就是 NVFP4 分组长位宽量化 + 精选校准数据的实际收益。
六、一键部署:用 vLLM 跑起量化后的模型
量化产物按 compressed-tensors 格式存储(见 config.json 的 quant_method 字段),vLLM 可原生加载(本仓库验证于 vLLM 0.24.0)。启动服务:
vllm serve RedHatAI/gemma-4-31B-it-NVFP4 \
--max-model-len 32768 \
--gpu-memory-utilization 0.90 \
--enable-auto-tool-choice \
--reasoning-parser gemma4 \
--tool-call-parser gemma4 \
--chat-template examples/tool_chat_template_gemma4.jinja \
--async-scheduling
几个参数的小提示:
--reasoning-parser gemma4和--tool-call-parser gemma4是 Gemma 4 的必配项,用于解析思考块和工具调用(README.md 的 front-matter 中required_cli_args已明确标注);- 纯文本任务可加
--language-model-only(评测复现时也用了它),跳过视觉编码器的显存分配,把显存留给更长的上下文; - 仓库自带的 chat_template.jinja 是 Google 官方规范模板,已支持 thinking 与 function calling;推理默认参数可参考 generation_config.json。
之后用任何 OpenAI 兼容客户端发请求即可,传 chat_template_kwargs: {"enable_thinking": true} 可开启思考模式。
七、新手最容易踩的 5 个坑 ⚠️
- 卡不对版:NVFP4 的硬件加速依赖 Blackwell GPU;在旧架构上量化流程能跑,但推理没有 4 bit 加速红利,且需 vLLM 支持对应 kernel;
- 量化了不该量化的层:视觉塔、
lm_head、embedding 必须留在ignore里——recipe.yaml 的排除列表就是标准答案; - 忘了
save_compressed=True:否则权重仍以 BF16 落盘,白量化一遍,显存一点没省; - 校准数据太少或太偏:官方用 512 条 ultrachat 对话;换成自己业务域的数据(保持 512 条量级)通常能让量化更贴合实际场景;
- 部署时漏掉 gemma4 解析器参数:不加
--reasoning-parser/--tool-call-parser,思考内容和工具调用会解析失败。
写在最后
回顾这条完整的量化流水线:7 行 recipe.yaml 定义配方 → 512 条对话校准 → NVFP4 分组量化 → 压缩落盘 → vLLM 部署,最终把 31B 大模型的显存门槛从 62 GB 拉到 16 GB,7 大基准测试保持率 95% 起步。
这套"配方 + 校准 + 评测凭证"的做法值得所有自量化场景借鉴:量化不是玄学,把 targets / ignore / scheme 三个参数搞明白,再保留一份可复现的评测记录,你的第一个 4 bit 大模型今天就能跑起来。🚀