如何评估大模型量化质量:用lm-evaluation-harness实测granite-4.0-h-tiny-w4a16-llmcompressor的GSM8K精度恢复率
如何评估大模型量化质量:用lm-evaluation-harness实测granite-4.0-h-tiny-w4a16-llmcompressor的GSM8K精度恢复率
granite-4.0-h-tiny-w4a16-llmcompressor 是 AMD 发布的 W4A16 4-bit 量化模型,可在纯 CPU 上部署推理。量化评估的核心,就是回答一个问题:压缩之后,模型到底掉了多少精度? 本文带你用开源评测框架 lm-evaluation-harness 实测它的 GSM8K 数学推理精度恢复率,一套命令跑完,掌握的方法同样适用于评估任何量化模型。
📌 先明确两个概念:
- 精度恢复率(Recovery) = 量化模型精度 ÷ BF16 原始模型精度,100% 表示零损失;
- GSM8K = 小学水平数学应用题数据集,专门考察多步推理能力,是小模型的"推理压力测试"。
一、量化质量为什么要评估:缩小72%体积,代价是多少?
这个模型把原始 BF16 权重从 12.9 GiB 压缩到 3.6 GiB(约 72% 体积缩减)。具体量化配方见 recipe.yaml:
| 配置项 | 取值 | 含义 |
|---|---|---|
| 算法 | GPTQ | 二阶近似,需要校准数据 |
| 方案 | W4A16 | 权重 INT4,激活保持 BF16 |
| 分组大小 | group_size=128 | 每 128 个权重共享一组缩放因子 |
| 校准数据 | ultrachat_200k 128 条 | 序列长度 2048 |
| 例外项 | MoE router、lm_head | 保持 BF16 不量化 |
在 config.json 中还能看到落盘的 quantization_config:quant_method 为 compressed-tensors、num_bits=4、symmetric=true、actorder=static。值得注意的是 router 被刻意排除——路由层的 4-bit 舍入误差会翻转专家选择,属于"小损失大影响"的敏感模块。
💡 关键点:模型越小,对 4-bit 舍入越敏感。所以"如何评估大模型量化质量"必须用客观基准测试,而不是靠主观问答感受。
二、评测工具:为什么选择lm-evaluation-harness
lm-evaluation-harness 是当前最主流的大模型评测框架之一,也是很多模型卡(Model Card)发布基线数据的通用工具。用它做量化质量测试有三个好处:
- 口径统一——GSM8K 等任务内置固定的 few-shot 示例和判分逻辑,保证你的结果和官方基线可直接对比;
- 引擎解耦——支持 vLLM 等推理引擎,可直接加载本模型的压缩格式在 CPU 上运行;
- 可复现——一条命令完成全流程,并可
--log_samples输出逐条日志便于审计。
三、动手实测:GSM8K评测的5个步骤
1. 准备环境
按 README.md 中 "Requirements" 一节锁定版本——该模型有严格版本要求(如 vllm==0.29.0、llmcompressor==0.13.0)。另需在启动前设置 LD_PRELOAD 指向 OpenMP 库(libomp.so 或 libiomp5.so),否则 CPU 多线程性能无法发挥。
2. 获取模型仓库
仓库包含量化权重与分词器文件,可直接克隆:
git clone https://gitcode.com/hf_mirrors/amd/granite-4.0-h-tiny-w4a16-llmcompressor
仓库关键文件:model.safetensors(量化权重,约 3.6 GiB)、tokenizer.json 与 chat_template.jinja(分词器与对话模板)、generation_config.json(生成参数)。
3. 运行评测命令
官方在 README.md "Evaluation Command" 一节给出了可直接执行的命令,核心参数说明:
| 参数 | 示例值 | 作用 |
|---|---|---|
--model |
vllm |
指定 vLLM 推理引擎 |
--model_args |
pretrained=...,dtype=bfloat16 |
模型路径与数据类型 |
--tasks |
gsm8k |
评测任务 |
--num_fewshot |
5 |
必须与基线一致才可比 |
--batch_size |
auto |
自动批处理,节省 CPU 时间 |
--apply_chat_template |
— | 用 chat_template.jinja 格式化输入 |
--gen_kwargs |
max_gen_toks=2048 |
控制数学推导生成长度 |
lm_eval \
--model vllm \
--model_args pretrained=amd/granite-4.0-h-tiny-w4a16-llmcompressor,dtype=bfloat16 \
--tasks gsm8k \
--batch_size auto \
--trust_remote_code \
--num_fewshot 5 \
--apply_chat_template \
--log_samples \
--gen_kwargs "max_gen_toks=2048" \
--output_path .
4. 读懂输出
GSM8K 结果关注归一化准确率:harness 会自动从模型的长推理文本中提取最终数值答案,与标准答案比对,忽略格式噪音,因此分数可以直接横向比较。
四、结果解读:97.23%的恢复率算及格吗?
README.md "Evaluation" 一节的官方数据:
| Benchmark | BF16 基线 | W4A16(本模型) | 恢复率 |
|---|---|---|---|
| GSM8K (5-shot) | 0.8203 | 0.7976 | 97.23% |
📊 三点解读:
- 约 2.3 个点的损失,落在 4-bit weight-only 量化常见的 2–5 点可接受区间内;
- 该模型是 7B 的混合 Mamba-MoE 架构(40 层中 36 层为线性注意力),每个 token 只激活 64 个专家中的 6 个,专家权重是量化主体,损失集中在此;
- 官方提示:若业务对精度要求更高,可选同系列的 W8A8 变体,恢复率更高。
✅ 结论:用 72% 的体积缩减换来 97% 的精度恢复,是"容量与质量"相当不错的平衡点。
五、量化评测常见坑位清单
- few-shot 不一致——基线跑 5-shot,自己跑 0-shot,精度落差是评测配置问题,不是量化问题;
- 忘记套用 chat template——加不加模板对部分模型差异明显,会扭曲恢复率;
- 生成长度太短——GSM8K 推导链较长,截断会批量判错,
max_gen_toks=2048是经验值; - 版本不匹配——该模型与 ZenDNN/ZenTorch 强绑定,错误版本会加载失败或输出乱码,先查 README.md 的 Limitations 一节;
- 单任务下结论——GSM8K 只覆盖数学推理,可在
--tasks中加入更多任务组合,获得更全面的量化质量画像。
六、总结:量化质量评测三步法
- 定基线:先跑 BF16 原始模型,记录同任务同 few-shot 的精度;
- 同口径:用 lm-evaluation-harness 以完全一致的任务、few-shot、模板配置评测量化模型;
- 算恢复率:恢复率 = 量化精度 ÷ 基线精度,结合体积缩减率判断量化方案是否值得。
本文以 W4A16 模型 granite-4.0-h-tiny-w4a16-llmcompressor 为对象演示了 GSM8K 精度恢复率的完整实测流程,量化配方详见 recipe.yaml,落盘的量化参数详见 config.json。换成其他量化模型,同样的命令即可复用。