深入理解Qwen3.8-27B-AWQ-W4A16-ASYM的W4A16_ASYM量化方案:非对称INT4加zero-point的秘密
深入理解Qwen3.8-27B-AWQ-W4A16-ASYM的W4A16_ASYM量化方案:非对称INT4加zero-point的秘密
Qwen3.8-27B-AWQ-W4A16-ASYM 是基于 W4A16_ASYM 方案(非对称 INT4 权重 + BF16 激活)对 Qwen3.8-27B 多模态大模型做 AWQ 量化后的产物,采用 compressed-tensors 格式打包,可被 vLLM 原生加载。整包约 18.2 GiB,相比 BF16 原版(约 54 GB)体积缩小到约 1/3。本文将拆解它的量化配置,讲清楚"非对称 + zero-point"到底在做什么。
W4A16_ASYM 名称拆解:每个字母代表什么?
先拆解这个量化方案的命名,一眼看懂含义:
| 符号 | 含义 | 说明 |
|---|---|---|
| W4 | Weight 4-bit | 权重压缩到 INT4,仅用 4 位整数存储 |
| A16 | Activation 16-bit | 激活值保持 BF16,不做激活量化 |
| ASYM | Asymmetric | 非对称量化,引入 zero-point 偏移量 |
这种"只压权重、不压激活"的做法称为 weight-only 量化:推理时权重从磁盘读出后按 INT4 反量化计算,激活值全程高精度。它的收益非常直接——显存占用大幅下降,而精度损失主要受权重本身的量化误差影响。
💡 在 config.json 中可以确认核心参数:"num_bits": 4、"symmetric": false、"strategy": "group"、"group_size": 128,与方案名完全对应。
为什么用非对称量化?zero-point 的秘密
对称量化的痛点
INT4 只有 16 个电平,对称量化通常利用 -8 ~ 7 这段对称区间。但神经网络权重分布常常不围绕 0 对称(存在整体偏移)。若强行用对称区间去套,偏移量会吃掉一部分有效位,精度白白损失。
zero-point 的"平移"魔法
非对称量化引入 zero-point(零点位 zp),先把分布平移到原点附近,再量化:
量化: q = round(w / scale) + zp
反量化: w ≈ (q - zp) × scale
scale 和 zp 都按组(本模型每 128 个权重为一组)独立计算,因此每组都能"紧贴"自己的实际分布。这就是 ASYM 比对称方案精度更稳的根本原因。
在 config.json 中可以看到 zero-point 以 "zp_dtype": "torch.int8" 存储——用 8 位整数记录偏移量,开销几乎可以忽略。
关键量化配置一览:group 128 与 pack-quantized
| 配置项 | 取值 | 作用 |
|---|---|---|
| scheme | W4A16_ASYM |
非对称 INT4 权重量化 |
| group_size | 128 | 每 128 个权重共享一组 scale/zp,精度与开销的平衡点 |
| strategy | group |
分组量化策略 |
| observer | memoryless_minmax |
按组内 min/max 确定量化边界 |
| format | pack-quantized |
每 32 个 INT4 权重打包进一个 int32,文件最紧凑 |
| 激活 | BF16 | weight-only,激活不量化 |
pack-quantized 格式意味着权重不再以原始张量形式存储,而是 4 位拼接打包,这也是加载后能在 model.safetensors.index.json 中见到 weight_packed、weight_scale、weight_zero_point 三种张量并列的原因——数据、缩放系数、零点位三件套齐全。
🔍 校准数据方面,量化使用了 ultrachat_200k 数据集的 512 条样本 × 2048 token,并通过 chat template 喂入,确保量化边界贴合真实对话分布(详见 README.md)。
哪些层被量化、哪些刻意保留 BF16?
Qwen3.8-27B 是混合架构:64 层按 3 × Gated DeltaNet → 1 × Gated Attention 循环,外加视觉塔与 MTP 头。并非所有 Linear 都适合压到 4 位,作者维护了一份精细的 ignore 清单(完整列表见 config.json):
已压入 INT4 的部分:
- Gated Attention:
q_proj/k_proj/v_proj/o_proj - FFN:
gate_proj/up_proj/down_proj - Gated DeltaNet:
in_proj_qkv/in_proj_z/out_proj
刻意保留 BF16 的部分:
lm_head与词表嵌入——输出层对精度极其敏感- 整个视觉塔(
model.visual.*)——量化视觉编码器对图像识别的伤害大于省下的显存 linear_attn.in_proj_a/in_proj_b——SSM 分支的敏感门控- 整个 MTP 头(
mtp.*)——保住推测解码(speculative decoding)能力
⚠️ MTP 头是这份量化里最容易踩坑的地方:
transformers对qwen3_5架构不实例化 MTP 头,naive 量化会直接把它丢掉。作者的做法是从 BF16 原始检查点把mtp.*张量复制回量化结果、登记进索引文件并写入 ignore 清单,从而完整保留推测解码(说明见 README.md)。
配方溯源:llm-compressor 的 AWQ 配方
仓库附带了 llm-compressor 生成的 recipe.yaml,完整记录了量化过程,这也是"可复现性"的关键:
- AWQModifier:启用
duo_scaling: true与n_grid: 20,即对 layernorm 与后续投影层做激活感知的平滑(activation smoothing),让"难量化"的权重变得友好 - 平滑映射分三类:full attention 层的
input_layernorm → q/k/v_proj、linear attention 层的input_layernorm → in_proj_*、post_attention_layernorm → gate/up_proj以及up_proj → down_proj - QuantizationModifier:
targets: <a href="https://link.gitcode.com/i/5bd3812b9954fa6c4b742952916a8579" target="_blank">Linear],scheme: W4A16_ASYM,ignore与 [config.json 中的清单一致
🧠 值得注意:量化是直接从 BF16 原始权重出发做的,而不是在官方 FP8 检查点之上再压 INT4——避免"误差叠误差",这也是该方案精度表现的关键前提。
快速上手:vLLM 一键部署
git clone https://gitcode.com/hf_mirrors/Ar4ikov/Qwen3.8-27B-AWQ-W4A16-ASYM
cd Qwen3.8-27B-AWQ-W4A16-ASYM
vllm serve ./ \
--max-model-len 262144 \
--tensor-parallel-size 2
若使用 transformers 加载:
from transformers import AutoModelForImageTextToText, AutoProcessor
model = AutoModelForImageTextToText.from_pretrained(
"./", dtype="auto", device_map="auto"
)
processor = AutoProcessor.from_pretrained("./")
⚠️ 一个重要提醒:transformers 加载时会把 INT4 权重解包还原成 BF16,因此在 transformers 里看不到显存收益。真正的省显存只有 vLLM、SGLang 这类带原生 INT4 核的运行时才能兑现。
采样参数沿用基座模型:Thinking 模式 temperature=1.0 / top_p=0.95 / top_k=20,Non-thinking 模式 temperature=0.7 / top_p=0.80 / presence_penalty=1.5(见 generation_config.json)。原生上下文 262144 token,经 YaRN 可扩展到 1M。
使用注意与结论
- 该量化未通过基准评测验证,官方仅确认生成连贯性,生产环境请自行跑 eval
- 视觉部分未量化,图像理解质量应接近基座模型;精度退化主要预期在文本侧
- 一句话总结:W4A16_ASYM = 非对称 INT4 权重(group 128 + zero-point)+ BF16 激活 + 精心挑选的 ignore 清单,在体积缩小约 3 倍的同时,用 AWQ 平滑与完整保留的 MTP/视觉塔守住了质量底线
这套配置对想自行为混合架构模型做 INT4 量化的读者是很好的参考模板:方案名、组大小、zero-point 存储类型、ignore 规则都能在 config.json 中直接对照学习。