读懂Qwen3.6-27B-AWQ-4bit的recipe.yaml:AWQ平滑层映射与W4A16_ASYM量化原理

原创2026-11-10 17:42:321,420 阅读

读懂Qwen3.6-27B-AWQ-4bit的recipe.yaml:AWQ平滑层映射与W4A16_ASYM量化原理

Qwen3.6-27B-AWQ-4bit 是 Qwen3.6-27B 大模型的 4-bit AWQ 量化版本。仅凭一份 24 行的 recipe.yaml,量化者就完成了平滑层映射与 W4A16_ASYM 量化方案的完整定义,将模型推理显存从约 54 GB 压缩到约 18 GB,而精度几乎无损。本文带你逐行读懂这份量化配方。📖

一、recipe.yaml 是干什么的?

recipe.yaml 是 llmcompressor 框架的"量化配方"文件,相当于一份可复现的量化说明书:告诉工具平滑哪些层、量化哪些层、用什么方案量化。

本文件的结构非常清晰,只有两个 Modifier(修改器):

default_stage:
  default_modifiers:
    AWQModifier:
      mappings: [...]        # 平滑层映射(4 组)
      duo_scaling: both
      n_grid: 20
    QuantizationModifier:
      targets: [Linear]
      ignore: [lm_head, 're:.*visual.*', 're:.*vision.*']
      scheme: W4A16_ASYM
  • AWQModifier:负责"保精度",通过平滑(smoothing)降低激活离群值,为 4-bit 量化铺路;
  • QuantizationModifier:负责"做量化",把指定模块按 W4A16_ASYM 方案压到 4-bit。

下面分别拆解。

二、AWQ 平滑层映射:4 组规则读懂混合注意力架构

AWQ 的核心思想是:部分权重通道对应的激活值特别大(离群通道),直接压到 4-bit 会损失明显。平滑的做法是把这部分"难度"从激活侧转移到权重侧——在 LayerNorm 与线性层之间插入一个平滑系数,让两者数值分布更均衡,量化误差自然变小。

而"哪些 LayerNorm 该和哪些投影层配对平滑",就由 recipe.yaml 中的 mappings 精确指定。这份映射其实完整"翻译"了 Qwen3.6-27B 的混合注意力架构(64 层,每 4 层中 3 层线性注意力 + 1 层全注意力,可对照 config.json 中的 layer_types 字段)。

1️⃣ 全注意力层:input_layernorm → q/k/v_proj

- smooth_layer: re:.*layers\.(3|7|11|15|…|59|63)\.input_layernorm$
  balance_layers: ['re:.*self_attn.q_proj$', 're:.*self_attn.k_proj$', 're:.*self_attn.v_proj$']

正则 3|7|11|…|63 覆盖了第 3、7、11 … 63 层——正是 layer_types 中每 4 层出现一次的 full_attention 层。这些层使用标准的 self_attn 模块,因此拿每层的 input_layernorm 去平衡 QKV 三个投影矩阵。

2️⃣ 线性注意力层:input_layernorm → 4 个 in_proj

- smooth_layer: re:.*layers\.(0|1|2|4|5|6|…)\.input_layernorm$
  balance_layers: ['re:.*linear_attn.in_proj_qkv$', 're:.*linear_attn.in_proj_z$',
                   're:.*linear_attn.in_proj_b$', 're:.*linear_attn.in_proj_a$']

其余 48 层是 Gated DeltaNet 线性注意力层,没有 q/k/v_proj,取而代之的是 in_proj_qkv、in_proj_z、in_proj_b、in_proj_a 四个投影。规则里把 64 层减去全注意力层的完整层号列表逐一列出,保证每一层的 input_layernorm 都与其下游投影精确配对,一个不落。💡

3️⃣ FFN 入口:post_attention_layernorm → gate/up_proj

- smooth_layer: re:.*post_attention_layernorm$
  balance_layers: ['re:.*gate_proj$', 're:.*up_proj$']

FFN(前馈网络)的 gate_proj 和 up_proj 是典型的离群值重灾区。这里用通配正则匹配所有 64 层的 post_attention_layernorm,统一平衡 FFN 入口的两个投影。

4️⃣ FFN 出口:up_proj → down_proj

- smooth_layer: re:.*up_proj$
  balance_layers: ['re:.*down_proj$']

这条规则把 up_proj 本身当作平滑层,与 down_proj 配对——平衡 FFN 内部从中间维度降回隐藏维度的投影。

小结:4 组映射 = 2 组按层号区分的注意力入口 + 2 组覆盖全模型的 FFN 规则。正则写得精确,是因为不同层类型的模块命名完全不同,映射错配会导致平滑失效。

duo_scaling 与 n_grid:两个搜索参数

  • duo_scaling: both —— 同时对激活和权重两侧施加缩放,比单侧平滑更彻底;
  • n_grid: 20 —— 在 0~1 区间均匀采样 20 个候选平滑系数网格,逐一实测量化误差,选出最优值,而不是拍脑袋定一个系数。

三、W4A16_ASYM 量化原理:4-bit 不对称权重 + 16-bit 激活

QuantizationModifier 部分只有 4 行,却定义了最终的压缩格式:

QuantizationModifier:
  targets: [Linear]
  ignore: [lm_head, 're:.*visual.*', 're:.*vision.*']
  scheme: W4A16_ASYM
  bypass_divisibility_checks: false

W4A16 是什么意思?

  • W4:权重(Weight)压缩到 4-bit 存储,体积约为 FP16 的 1/4;
  • A16:推理时激活值(Activation)仍以 16-bit 计算,配合反量化后的权重做矩阵乘。这种"只压权重、不压激活"的策略避免了激活离群值被截断,是精度与压缩比的最佳平衡点。

ASYM(非对称)是什么意思?

对称量化假设权重以 0 为中心,而非对称量化为每个分组独立计算 scale + zero_point,能更贴合权重的真实分布。这一点可以从 config.json 的 quantization_config 中得到印证:

参数 值 含义
num_bits 4 4-bit 存储
symmetric false 非对称量化
group_size 128 每 128 个权重共享一组 scale/zp
zp_dtype torch.int8 零点用 8-bit 整数存储
format pack-quantized 4 个 4-bit 权重打包进 1 个字节

分组量化(group=128)让 scale/zp 的粒度更细:不同通道的权重分布差异可以被局部吸收,这是 4-bit 下保住精度的关键之一。

哪些模块被"豁免"了?

  • lm_head:输出层直接决定词表上的 logits,4-bit 化容易破坏生成质量,保持高精度最稳妥;
  • visual / vision:视觉编码器整体保留原精度——这也是该版本仍能正常跑多模态输入的原因。

四、校准数据与最终成果 🚀

  • 校准集:HuggingFaceH4/ultrachat_200k 的 train_sft 分片随机 512 条对话,按 chat template 格式化,最长 1024 token(见 README.md 的 Quantization Details 一节)。校准数据只用于统计激活分布、搜索平滑系数,不改变模型权重本身;
  • 产出格式:Safetensors(model.safetensors),标准 HF 格式,可直接被 vLLM、Transformers 等加载;
  • 硬件收益:FP16 需要约 54 GB 显存,量化后约 18 GB——一块 24 GB 消费级显卡即可部署 27B 模型,这正是 AWQ 4-bit 方案最大的实用价值。

五、文件资料速查

文件 作用
recipe.yaml 量化配方:平滑映射 + W4A16_ASYM 方案
config.json 模型结构 + 量化参数(group_size、int8 zp 等)
README.md 量化详情、显存需求、部署与推理指南
model.safetensors 4-bit 量化权重
tokenizer.json / tokenizer_config.json 分词器定义
chat_template.jinja 对话模板

总结

这份 recipe.yaml 的价值在于:它用最少的行数,把混合注意力架构的逐层结构(48 层 DeltaNet + 16 层全注意力)翻译成了 4 组精准的平滑映射,再用 20 点网格搜索 + 双侧缩放选出最优系数;而 W4A16_ASYM 方案以"4-bit 非对称分组权重 + 16-bit 激活"的组合,加上对 lm_head 与视觉模块的豁免,最终实现了显存压缩 3 倍、精度几乎无损的效果。读懂它,也就读懂了现代大模型量化配方的典型写法。✅

登录后查看全文
Qwen3.6-27B-AWQ-4bit