AWQ量化是什么?为什么Qwen3.5-27B-AWQ-4bit能把27B模型压缩到20GB

原创2026-11-11 20:13:111,867 阅读

AWQ量化是什么?为什么Qwen3.5-27B-AWQ-4bit能把27B模型压缩到20GB

Qwen3.5-27B-AWQ-4bit 是 270 亿参数多模态模型 Qwen3.5-27B 的 AWQ 4-bit 量化版本,模型总大小仅 20.06 GB。本文用通俗的语言讲清楚:AWQ 量化到底是什么原理、20 GB 这个数字是怎么算出来的,以及这个量化版模型如何在你自己的显卡上跑起来。

AWQ量化原理:一句话讲明白

把模型想成一个人:权重是"脑子里的知识",激活值是"思维活动"。🧠

AWQ(Activation-aware Weight Quantization,激活感知权重量化)的三招核心:

  1. 只压权重,不压推理:权重从 BF16(每参数 2 字节)压缩到 4-bit(每参数 0.5 字节),单看这部分体积直接缩小 4 倍,推理时才临时还原计算。
  2. 保护重要权重:不是所有权重都同等重要。AWQ 会先观察模型在真实输入下哪些"通道"的激活值大(即更重要),对这些关键权重精细量化,对不重要的权重大胆压缩。
  3. 分组量化:每 32 个权重共用一组缩放系数,比整张量共用一组系数精度更高,是精度与体积的最佳折中。

20GB 是怎么算出来的:压缩账本

以 27B 参数为基数,一张表看懂压缩效果:

精度 每参数占用 27B 权重体积
BF16(原始精度) 2 字节 ≈ 54 GB
4-bit AWQ(本模型) 0.5 字节 ≈ 13.5 GB

那为什么不是 13.5 GB 而是 20.06 GB?因为敏感模块被刻意保留为高精度:视觉编码器(visual encoder)、词嵌入(embed_tokens)、线性注意力投影层、输出层(lm_head)等都不参与量化。这些模块占了约 6.5 GB,加上量化权重,最终合计 20.06 GB——约为原始 BF16 体积的 37%。

💡 换句话说:用不到一半一半的空间,装下了 90% 以上的高精度"安全垫"。

翻一翻仓库里的量化配置

这个仓库本身就是最好的教材,关键文件都在根目录:

  • README.md:模型卡片。标注了 Model Size: 20.06 GB、量化工具为 llm-compressor、校准数据集为 nvidia/Llama-Nemotron-Post-Training-Dataset。
  • config.json:quantization_config 一节记录了量化"配方"——num_bits: 4、group_size: 32、对称量化、observer: mse(用均方误差准则挑最优量化参数),量化格式为 compressed-tensors 的 pack-quantized。同文件的 ignore 列表正是上文提到的"免压名单"。
  • recipe.yaml:量化任务的完整脚本,包括 AWQModifier、平滑系数(duo_scaling: true,即激活值重标定)以及校准数据源。
  • model.safetensors.index.json:权重分片索引,模型被拆成 4 个 model-0000X-of-00004.safetensors 文件,方便断点下载。

📌 想确认一个模型到底怎么量化的,看 config.json 里的 quantization_config 就对了。

本地部署速览:如何运行 AWQ 量化模型

该模型兼容主流推理框架:vLLM、SGLang、KTransformers、Hugging Face Transformers(见 README.md 的 Quickstart 部分)。

以 vLLM 为例,核心命令只有三要素——模型路径、端口、上下文长度:

vllm serve cyankiwi/Qwen3.5-27B-AWQ-4bit --port 8000 --max-model-len 32768 --reasoning-parser qwen3

⚠️ 两个实用提醒:

  • 模型默认支持 262,144 token 上下文,但长上下文的 KV Cache 很吃显存,跑不动时优先调小 --max-model-len;
  • 24 GB 显存(如 RTX 4090)配合较短上下文可以跑起来;48 GB 及以上会更从容。

常见问题

Q1:量化后模型"变笨"了吗? 4-bit 量化通常带来轻微精度损失,而本模型用 MSE observer 挑选最优量化参数,并把视觉编码器、嵌入层等敏感模块完全保留为高精度,质量损失被压到最小。

Q2:AWQ 和 GPTQ 这类方法有什么区别? GPTQ 基于逐层重构误差修正;AWQ 则从激活分布出发"保护"重要权重,两者思路不同但目标一致。本仓库走的是 AWQ 路线,配置细节可对照 recipe.yaml。

Q3:怎么判断下载的模型是不是量化版? 打开 config.json,看到 quantization_config 字段(quant_method 为 compressed-tensors、num_bits 为 4)即是量化权重,文件名带 -AWQ-4bit 也是常见命名约定。

🎯 总结:AWQ 量化让 27B 级别的多模态模型第一次对单卡用户友好——54 GB 变 20 GB,这就是 Qwen3.5-27B-AWQ-4bit 的全部意义。

登录后查看全文
Qwen3.5-27B-AWQ-4bit