AWQ量化是什么?为什么Qwen3.5-27B-AWQ-4bit能把27B模型压缩到20GB
AWQ量化是什么?为什么Qwen3.5-27B-AWQ-4bit能把27B模型压缩到20GB
Qwen3.5-27B-AWQ-4bit 是 270 亿参数多模态模型 Qwen3.5-27B 的 AWQ 4-bit 量化版本,模型总大小仅 20.06 GB。本文用通俗的语言讲清楚:AWQ 量化到底是什么原理、20 GB 这个数字是怎么算出来的,以及这个量化版模型如何在你自己的显卡上跑起来。
AWQ量化原理:一句话讲明白
把模型想成一个人:权重是"脑子里的知识",激活值是"思维活动"。🧠
AWQ(Activation-aware Weight Quantization,激活感知权重量化)的三招核心:
- 只压权重,不压推理:权重从 BF16(每参数 2 字节)压缩到 4-bit(每参数 0.5 字节),单看这部分体积直接缩小 4 倍,推理时才临时还原计算。
- 保护重要权重:不是所有权重都同等重要。AWQ 会先观察模型在真实输入下哪些"通道"的激活值大(即更重要),对这些关键权重精细量化,对不重要的权重大胆压缩。
- 分组量化:每 32 个权重共用一组缩放系数,比整张量共用一组系数精度更高,是精度与体积的最佳折中。
20GB 是怎么算出来的:压缩账本
以 27B 参数为基数,一张表看懂压缩效果:
| 精度 | 每参数占用 | 27B 权重体积 |
|---|---|---|
| BF16(原始精度) | 2 字节 | ≈ 54 GB |
| 4-bit AWQ(本模型) | 0.5 字节 | ≈ 13.5 GB |
那为什么不是 13.5 GB 而是 20.06 GB?因为敏感模块被刻意保留为高精度:视觉编码器(visual encoder)、词嵌入(embed_tokens)、线性注意力投影层、输出层(lm_head)等都不参与量化。这些模块占了约 6.5 GB,加上量化权重,最终合计 20.06 GB——约为原始 BF16 体积的 37%。
💡 换句话说:用不到一半一半的空间,装下了 90% 以上的高精度"安全垫"。
翻一翻仓库里的量化配置
这个仓库本身就是最好的教材,关键文件都在根目录:
- README.md:模型卡片。标注了
Model Size: 20.06 GB、量化工具为llm-compressor、校准数据集为nvidia/Llama-Nemotron-Post-Training-Dataset。 - config.json:
quantization_config一节记录了量化"配方"——num_bits: 4、group_size: 32、对称量化、observer: mse(用均方误差准则挑最优量化参数),量化格式为compressed-tensors的pack-quantized。同文件的ignore列表正是上文提到的"免压名单"。 - recipe.yaml:量化任务的完整脚本,包括
AWQModifier、平滑系数(duo_scaling: true,即激活值重标定)以及校准数据源。 - model.safetensors.index.json:权重分片索引,模型被拆成 4 个
model-0000X-of-00004.safetensors文件,方便断点下载。
📌 想确认一个模型到底怎么量化的,看 config.json 里的 quantization_config 就对了。
本地部署速览:如何运行 AWQ 量化模型
该模型兼容主流推理框架:vLLM、SGLang、KTransformers、Hugging Face Transformers(见 README.md 的 Quickstart 部分)。
以 vLLM 为例,核心命令只有三要素——模型路径、端口、上下文长度:
vllm serve cyankiwi/Qwen3.5-27B-AWQ-4bit --port 8000 --max-model-len 32768 --reasoning-parser qwen3
⚠️ 两个实用提醒:
- 模型默认支持 262,144 token 上下文,但长上下文的 KV Cache 很吃显存,跑不动时优先调小
--max-model-len; - 24 GB 显存(如 RTX 4090)配合较短上下文可以跑起来;48 GB 及以上会更从容。
常见问题
Q1:量化后模型"变笨"了吗? 4-bit 量化通常带来轻微精度损失,而本模型用 MSE observer 挑选最优量化参数,并把视觉编码器、嵌入层等敏感模块完全保留为高精度,质量损失被压到最小。
Q2:AWQ 和 GPTQ 这类方法有什么区别? GPTQ 基于逐层重构误差修正;AWQ 则从激活分布出发"保护"重要权重,两者思路不同但目标一致。本仓库走的是 AWQ 路线,配置细节可对照 recipe.yaml。
Q3:怎么判断下载的模型是不是量化版?
打开 config.json,看到 quantization_config 字段(quant_method 为 compressed-tensors、num_bits 为 4)即是量化权重,文件名带 -AWQ-4bit 也是常见命名约定。
🎯 总结:AWQ 量化让 27B 级别的多模态模型第一次对单卡用户友好——54 GB 变 20 GB,这就是 Qwen3.5-27B-AWQ-4bit 的全部意义。