读懂Qwen3.6-27B-AWQ-4bit的recipe.yaml:AWQ平滑层映射与W4A16_ASYM量化原理
读懂Qwen3.6-27B-AWQ-4bit的recipe.yaml:AWQ平滑层映射与W4A16_ASYM量化原理
Qwen3.6-27B-AWQ-4bit 是 Qwen3.6-27B 大模型的 4-bit AWQ 量化版本。仅凭一份 24 行的 recipe.yaml,量化者就完成了平滑层映射与 W4A16_ASYM 量化方案的完整定义,将模型推理显存从约 54 GB 压缩到约 18 GB,而精度几乎无损。本文带你逐行读懂这份量化配方。📖
一、recipe.yaml 是干什么的?
recipe.yaml 是 llmcompressor 框架的"量化配方"文件,相当于一份可复现的量化说明书:告诉工具平滑哪些层、量化哪些层、用什么方案量化。
本文件的结构非常清晰,只有两个 Modifier(修改器):
default_stage:
default_modifiers:
AWQModifier:
mappings: [...] # 平滑层映射(4 组)
duo_scaling: both
n_grid: 20
QuantizationModifier:
targets: [Linear]
ignore: [lm_head, 're:.*visual.*', 're:.*vision.*']
scheme: W4A16_ASYM
AWQModifier:负责"保精度",通过平滑(smoothing)降低激活离群值,为 4-bit 量化铺路;QuantizationModifier:负责"做量化",把指定模块按 W4A16_ASYM 方案压到 4-bit。
下面分别拆解。
二、AWQ 平滑层映射:4 组规则读懂混合注意力架构
AWQ 的核心思想是:部分权重通道对应的激活值特别大(离群通道),直接压到 4-bit 会损失明显。平滑的做法是把这部分"难度"从激活侧转移到权重侧——在 LayerNorm 与线性层之间插入一个平滑系数,让两者数值分布更均衡,量化误差自然变小。
而"哪些 LayerNorm 该和哪些投影层配对平滑",就由 recipe.yaml 中的 mappings 精确指定。这份映射其实完整"翻译"了 Qwen3.6-27B 的混合注意力架构(64 层,每 4 层中 3 层线性注意力 + 1 层全注意力,可对照 config.json 中的 layer_types 字段)。
1️⃣ 全注意力层:input_layernorm → q/k/v_proj
- smooth_layer: re:.*layers\.(3|7|11|15|…|59|63)\.input_layernorm$
balance_layers: ['re:.*self_attn.q_proj$', 're:.*self_attn.k_proj$', 're:.*self_attn.v_proj$']
正则 3|7|11|…|63 覆盖了第 3、7、11 … 63 层——正是 layer_types 中每 4 层出现一次的 full_attention 层。这些层使用标准的 self_attn 模块,因此拿每层的 input_layernorm 去平衡 QKV 三个投影矩阵。
2️⃣ 线性注意力层:input_layernorm → 4 个 in_proj
- smooth_layer: re:.*layers\.(0|1|2|4|5|6|…)\.input_layernorm$
balance_layers: ['re:.*linear_attn.in_proj_qkv$', 're:.*linear_attn.in_proj_z$',
're:.*linear_attn.in_proj_b$', 're:.*linear_attn.in_proj_a$']
其余 48 层是 Gated DeltaNet 线性注意力层,没有 q/k/v_proj,取而代之的是 in_proj_qkv、in_proj_z、in_proj_b、in_proj_a 四个投影。规则里把 64 层减去全注意力层的完整层号列表逐一列出,保证每一层的 input_layernorm 都与其下游投影精确配对,一个不落。💡
3️⃣ FFN 入口:post_attention_layernorm → gate/up_proj
- smooth_layer: re:.*post_attention_layernorm$
balance_layers: ['re:.*gate_proj$', 're:.*up_proj$']
FFN(前馈网络)的 gate_proj 和 up_proj 是典型的离群值重灾区。这里用通配正则匹配所有 64 层的 post_attention_layernorm,统一平衡 FFN 入口的两个投影。
4️⃣ FFN 出口:up_proj → down_proj
- smooth_layer: re:.*up_proj$
balance_layers: ['re:.*down_proj$']
这条规则把 up_proj 本身当作平滑层,与 down_proj 配对——平衡 FFN 内部从中间维度降回隐藏维度的投影。
小结:4 组映射 = 2 组按层号区分的注意力入口 + 2 组覆盖全模型的 FFN 规则。正则写得精确,是因为不同层类型的模块命名完全不同,映射错配会导致平滑失效。
duo_scaling 与 n_grid:两个搜索参数
duo_scaling: both—— 同时对激活和权重两侧施加缩放,比单侧平滑更彻底;n_grid: 20—— 在 0~1 区间均匀采样 20 个候选平滑系数网格,逐一实测量化误差,选出最优值,而不是拍脑袋定一个系数。
三、W4A16_ASYM 量化原理:4-bit 不对称权重 + 16-bit 激活
QuantizationModifier 部分只有 4 行,却定义了最终的压缩格式:
QuantizationModifier:
targets: [Linear]
ignore: [lm_head, 're:.*visual.*', 're:.*vision.*']
scheme: W4A16_ASYM
bypass_divisibility_checks: false
W4A16 是什么意思?
- W4:权重(Weight)压缩到 4-bit 存储,体积约为 FP16 的 1/4;
- A16:推理时激活值(Activation)仍以 16-bit 计算,配合反量化后的权重做矩阵乘。这种"只压权重、不压激活"的策略避免了激活离群值被截断,是精度与压缩比的最佳平衡点。
ASYM(非对称)是什么意思?
对称量化假设权重以 0 为中心,而非对称量化为每个分组独立计算 scale + zero_point,能更贴合权重的真实分布。这一点可以从 config.json 的 quantization_config 中得到印证:
| 参数 | 值 | 含义 |
|---|---|---|
num_bits |
4 | 4-bit 存储 |
symmetric |
false | 非对称量化 |
group_size |
128 | 每 128 个权重共享一组 scale/zp |
zp_dtype |
torch.int8 | 零点用 8-bit 整数存储 |
format |
pack-quantized | 4 个 4-bit 权重打包进 1 个字节 |
分组量化(group=128)让 scale/zp 的粒度更细:不同通道的权重分布差异可以被局部吸收,这是 4-bit 下保住精度的关键之一。
哪些模块被"豁免"了?
lm_head:输出层直接决定词表上的 logits,4-bit 化容易破坏生成质量,保持高精度最稳妥;visual/vision:视觉编码器整体保留原精度——这也是该版本仍能正常跑多模态输入的原因。
四、校准数据与最终成果 🚀
- 校准集:
HuggingFaceH4/ultrachat_200k的train_sft分片随机 512 条对话,按 chat template 格式化,最长 1024 token(见 README.md 的 Quantization Details 一节)。校准数据只用于统计激活分布、搜索平滑系数,不改变模型权重本身; - 产出格式:Safetensors(model.safetensors),标准 HF 格式,可直接被 vLLM、Transformers 等加载;
- 硬件收益:FP16 需要约 54 GB 显存,量化后约 18 GB——一块 24 GB 消费级显卡即可部署 27B 模型,这正是 AWQ 4-bit 方案最大的实用价值。
五、文件资料速查
| 文件 | 作用 |
|---|---|
| recipe.yaml | 量化配方:平滑映射 + W4A16_ASYM 方案 |
| config.json | 模型结构 + 量化参数(group_size、int8 zp 等) |
| README.md | 量化详情、显存需求、部署与推理指南 |
| model.safetensors | 4-bit 量化权重 |
| tokenizer.json / tokenizer_config.json | 分词器定义 |
| chat_template.jinja | 对话模板 |
总结
这份 recipe.yaml 的价值在于:它用最少的行数,把混合注意力架构的逐层结构(48 层 DeltaNet + 16 层全注意力)翻译成了 4 组精准的平滑映射,再用 20 点网格搜索 + 双侧缩放选出最优系数;而 W4A16_ASYM 方案以"4-bit 非对称分组权重 + 16-bit 激活"的组合,加上对 lm_head 与视觉模块的豁免,最终实现了显存压缩 3 倍、精度几乎无损的效果。读懂它,也就读懂了现代大模型量化配方的典型写法。✅