AWQ vs GPTQ vs FP8:如何为GLM-4.7-Flash-AWQ选择最优量化方案(附实测对比方法)
AWQ vs GPTQ vs FP8:如何为GLM-4.7-Flash-AWQ选择最优量化方案(附实测对比方法)
GLM-4.7-Flash-AWQ 是智谱 30B-A3B MoE 大模型 GLM-4.7-Flash 的 AWQ 4-bit 量化版本,总大小仅约 19 GiB。本文带你横向对比 AWQ、GPTQ、FP8 三大主流量化方案的精度、速度与显存表现,并给出一套可复现的实测对比方法与 vLLM 部署要点,帮你在有限显存下快速选对量化方案。
📌 一、先认识 GLM-4.7-Flash-AWQ:30B MoE 的 4-bit 瘦身版
在谈量化方案之前,先搞清楚被量化的对象。GLM-4.7-Flash 是智谱推出的 30B-A3B 混合专家(MoE)模型——总参数约 30B,但每个 token 只激活约 3B 参数,属于"性能强、跑得轻"的轻量部署优选。
| 关键配置 | 数值 | 说明 |
|---|---|---|
| 架构 | Glm4MoeLiteForCausalLM | 47 层 MoE + 多 latent 注意力(MLA) |
| 专家路由 | 64 路由专家 + 1 共享专家,top-4 激活 | 每个 token 只过 4 个专家 |
| 量化方案 | AWQ 4-bit,group_size=128 | 详见 config.json |
| 模型大小 | 约 19 GiB(7 个分片) | BF16 原版约 60 GB,体积降至约 1/3 |
| 词表 / 上下文 | 154880 / 202752(服务时常用 32K) | 支持长上下文与 MTP 投机解码 |
| 推理框架 | vLLM(推荐 0.14.0rc2) | 支持工具调用、推理解析 |
基座模型在公开基准上表现相当能打(数据来自 README.md):
| Benchmark | GLM-4.7-Flash | Qwen3-30B-A3B-Thinking | GPT-OSS-20B |
|---|---|---|---|
| AIME 25(数学) | 91.6 | 85.0 | 91.7 |
| GPQA(科研问答) | 75.2 | 73.4 | 71.5 |
| SWE-bench Verified(编程) | 59.2 | 22.0 | 34.0 |
| τ²-Bench(智能体) | 79.5 | 49.0 | 47.7 |
⚖️ 二、AWQ、GPTQ、FP8 三大量化方案对比:精度、速度与显存
对大模型做量化,目前最主流的路线有三条,它们"瘦身"的思路完全不同:
| 维度 | AWQ | GPTQ | FP8 |
|---|---|---|---|
| 核心原理 | 激活感知:观察输入激活分布,识别并"保护"少数关键权重,其余压到 4-bit | 逐层二阶近似优化,量化误差即时补偿 | 不做整数量化,直接用 8-bit 浮点(E4M3/E5M2)存储计算 |
| 典型位宽 | INT4(group 128,带 zero-point) | INT4 / INT3(group 128) | FP8 |
| 精度损失 | 小(对 LLM 任务表现稳健) | 小(与 AWQ 互有胜负,因模型而异) | 极小(接近 BF16) |
| 推理速度 | 快(有成熟 INT4 GEMM 内核) | 快(需 GPTQ 内核支持) | 最快(Hopper 架构硬件原生加速) |
| 显存占用 | 约为 BF16 的 1/3 | 约为 BF16 的 1/3 | 约为 BF16 的 1/2 |
| 硬件门槛 | 低:普通消费级/数据中心 GPU 均可 | 低:同上 | 高:基本需要 H100/H200/H800 等新卡 |
| 适合谁 | 显存有限、追求"能跑起来" | 已有 GPTQ 权重的存量模型 | 追求极限吞吐的高性能集群 |
一句话总结:显存紧张选 AWQ/GPTQ,有好卡求速度选 FP8,精度敏感且显存充裕直接用 BF16。
🔍 三、从配置文件读懂本仓库的 AWQ 量化策略
为什么 GLM-4.7-Flash-AWQ 选 AWQ 而不是 GPTQ 或 FP8?打开配置文件就能找到答案。
config.json 中的量化配置:
"quantization_config": {
"quant_method": "awq",
"bits": 4,
"group_size": 128,
"version": "gemm",
"zero_point": true,
"modules_to_not_convert": ["mlp.gate.", "model.layers.0.", "self_attn"]
}
三个细节值得新手注意:
version: gemm:采用 AutoAWQ 的 GEMM 内核权重格式,在 vLLM 中解码阶段(batch=1 常见场景)效率优秀;zero_point: true:带零点校准的 4-bit 编码,比无零点方案对权重分布的拟合更准;modules_to_not_convert:这是 MoE 量化的关键技巧——只量化占体积大头的 MoE 专家层(gate_proj/up_proj/down_proj),而注意力层(self_attn)、MoE 路由器(mlp.gate)和第 0 层稠密 MLP 保持全精度。
这一点可以在权重索引文件 model.safetensors.index.json 中验证:全文件 2.7 万条量化张量记录(qweight/qzeros/scales)全部落在 mlp.experts.* 下,self_attn 各投影矩阵仍是原始 weight。
为什么路由器必须保精度? 路由器决定每个 token 去哪个专家,一旦被量化干扰,专家选择漂移会直接导致输出质量崩塌。"大刀量化专家、小刀保护路由",正是这类 MoE 量化模型通用且稳妥的做法。
📊 四、实测对比方法:四步评估 AWQ / GPTQ / FP8
如果你手头同时有同一基座的多种量化权重(或计划自己量化一份),可以按下面四步做可复现的横向对比:
第 1 步:准备对照组
同一基座模型的 AWQ 4-bit、GPTQ 4-bit、FP8 三个版本(如 FP8 无公开版本,可记录"无"跳过该列)。下载本仓库可用 HuggingFace Hub 客户端,指定 QuantTrio/GLM-4.7-Flash-AWQ 与本地缓存目录即可。
第 2 步:固定评测条件
- 固定 prompt 集:建议 2~3 个小任务各 50 条,例如数学计算(GSM8K 风格)、中文常识问答、代码补全;
- 固定采样参数:参考 generation_config.json 的默认值(
temperature=1.0, top_p=0.95, top_k=50),对比时统一使用同一组; - 固定服务参数:相同的
--max-model-len、--gpu-memory-utilization与卡数。
第 3 步:采集三类指标
| 指标类别 | 具体测什么 | 怎么测 |
|---|---|---|
| 精度 | 各任务的通过率 / 与参考答案的匹配率 | 脚本批量请求 + 自动判分 |
| 速度 | 首 token 延迟(TTFT)、生成吞吐(tokens/s) | 压测工具或简单计时脚本 |
| 显存 | 服务运行时的峰值显存 | nvidia-smi 或 vLLM 启动日志 |
第 4 步:填表决策
| 方案 | 任务通过率 | 平均 tokens/s | 峰值显存 | 结论 |
|---|---|---|---|---|
| AWQ 4-bit | 待填 | 待填 | 待填 | |
| GPTQ 4-bit | 待填 | 待填 | 待填 | |
| FP8 | 待填 | 待填 | 待填 |
经验规律:三者精度通常在同一梯队(差距多在 1~3 分以内),真正的分水岭是显存与吞吐——FP8 省显存少但速度最快,AWQ/GPTQ 省显存最多但需要 INT4 内核支持。
🚀 五、vLLM 部署 GLM-4.7-Flash-AWQ 快速启动指南
环境要求:vLLM 0.14.0rc2(需 nightly 安装源)、CUDA 12.8、Python 3.12 虚拟环境,并安装 transformers 最新主分支(详见 README.md 的 Dependencies 部分)。
启动命令(来自 README.md 的 vLLM Startup Command):
export VLLM_USE_DEEP_GEMM=0
export VLLM_USE_FLASHINFER_MOE_FP16=1
export VLLM_USE_FLASHINFER_SAMPLER=0
export OMP_NUM_THREADS=4
vllm serve \
__YOUR_PATH__/QuantTrio/GLM-4.7-Flash-AWQ \
--served-model-name MY_MODEL_NAME \
--swap-space 4 \
--max-model-len 32768 \
--gpu-memory-utilization 0.9 \
--tensor-parallel-size 2 \
--enable-expert-parallel \
--enable-auto-tool-choice \
--tool-call-parser glm47 \
--reasoning-parser glm45 \
--speculative-config.method mtp \
--speculative-config.num_speculative_tokens 1 \
--trust-remote-code \
--host 0.0.0.0 \
--port 8000
关键参数逐个解释:
| 参数 | 作用 |
|---|---|
--tensor-parallel-size 2 + --enable-expert-parallel |
双卡张量/专家并行,19 GiB 权重分到两卡,每卡权重仅约 10 GB |
--speculative-config.method mtp |
启用模型内置的 MTP 头(config.json 中 num_nextn_predict_layers: 1)做投机解码,白白提升解码速度 |
--tool-call-parser glm47 / --reasoning-parser glm45 |
解析 GLM-4.7 的工具调用与推理输出,配合 chat_template.jinja 的对话模板 |
--max-model-len 32768 |
服务上下文 32K,兼顾 KV cache 显存占用 |
--gpu-memory-utilization 0.9 / --swap-space 4 |
显存利用率拉满 + 4 GB CPU 交换空间兜底 |
✅ 六、量化方案选型速查表(结论)
| 你的场景 | 推荐方案 |
|---|---|
| 2×24GB / 2×48GB 显卡,想开箱即用 | AWQ 4-bit(本仓库,直接部署,无需重新量化) |
| 单张 48GB 显卡 | AWQ 4-bit(19 GiB 权重 + KV cache,单卡可跑) |
| 拥有 H100/H200/H800,追求极限吞吐 | 可评估 FP8 版本(若官方上游发布),速度优势明显 |
| 已有 GPTQ 权重、或 AWQ 内核不兼容 | GPTQ 4-bit 作为等价替代 |
| 显存充裕、对精度极致敏感 | 直接上 BF16 原版(约 60 GB,需多卡) |
最终建议:对 GLM-4.7-Flash 这类 MoE 结构,AWQ 4-bit 是综合最优解——显存降至 BF16 的约 1/3,精度损失可控,且"只量化专家层、保护路由器"的策略已被这个仓库的配置文件完整落地。普通用户和新手无需自己重新量化,下载现成的 GLM-4.7-Flash-AWQ 直接用 vLLM 拉起即可。
📁 附:仓库文件资料一览
- 部署说明与启动命令:README.md
- 模型结构与 AWQ 量化配置:config.json
- 权重分片映射(19.76 GB 总大小):model.safetensors.index.json
- 默认采样参数:generation_config.json
- 对话与工具调用模板:chat_template.jinja
- 分词器:tokenizer.json、tokenizer_config.json
- 权重分片:
model-00001-of-00007.safetensors~model-00007-of-00007.safetensors