深入理解Qwen3.8-27B-AWQ-W4A16-ASYM的W4A16_ASYM量化方案:非对称INT4加zero-point的秘密

原创2026-11-11 18:38:131,764 阅读
文章标签:大模型模型量化多模态人工智能本地部署

深入理解Qwen3.8-27B-AWQ-W4A16-ASYM的W4A16_ASYM量化方案:非对称INT4加zero-point的秘密

Qwen3.8-27B-AWQ-W4A16-ASYM 是基于 W4A16_ASYM 方案(非对称 INT4 权重 + BF16 激活)对 Qwen3.8-27B 多模态大模型做 AWQ 量化后的产物,采用 compressed-tensors 格式打包,可被 vLLM 原生加载。整包约 18.2 GiB,相比 BF16 原版(约 54 GB)体积缩小到约 1/3。本文将拆解它的量化配置,讲清楚"非对称 + zero-point"到底在做什么。

W4A16_ASYM 名称拆解:每个字母代表什么?

先拆解这个量化方案的命名,一眼看懂含义:

符号 含义 说明
W4 Weight 4-bit 权重压缩到 INT4,仅用 4 位整数存储
A16 Activation 16-bit 激活值保持 BF16,不做激活量化
ASYM Asymmetric 非对称量化,引入 zero-point 偏移量

这种"只压权重、不压激活"的做法称为 weight-only 量化:推理时权重从磁盘读出后按 INT4 反量化计算,激活值全程高精度。它的收益非常直接——显存占用大幅下降,而精度损失主要受权重本身的量化误差影响。

💡 在 config.json 中可以确认核心参数:"num_bits": 4、"symmetric": false、"strategy": "group"、"group_size": 128,与方案名完全对应。

为什么用非对称量化?zero-point 的秘密

对称量化的痛点

INT4 只有 16 个电平,对称量化通常利用 -8 ~ 7 这段对称区间。但神经网络权重分布常常不围绕 0 对称(存在整体偏移)。若强行用对称区间去套,偏移量会吃掉一部分有效位,精度白白损失。

zero-point 的"平移"魔法

非对称量化引入 zero-point(零点位 zp),先把分布平移到原点附近,再量化:

量化:   q = round(w / scale) + zp
反量化:  w ≈ (q - zp) × scale

scale 和 zp 都按组(本模型每 128 个权重为一组)独立计算,因此每组都能"紧贴"自己的实际分布。这就是 ASYM 比对称方案精度更稳的根本原因。

在 config.json 中可以看到 zero-point 以 "zp_dtype": "torch.int8" 存储——用 8 位整数记录偏移量,开销几乎可以忽略。

关键量化配置一览:group 128 与 pack-quantized

配置项 取值 作用
scheme W4A16_ASYM 非对称 INT4 权重量化
group_size 128 每 128 个权重共享一组 scale/zp,精度与开销的平衡点
strategy group 分组量化策略
observer memoryless_minmax 按组内 min/max 确定量化边界
format pack-quantized 每 32 个 INT4 权重打包进一个 int32,文件最紧凑
激活 BF16 weight-only,激活不量化

pack-quantized 格式意味着权重不再以原始张量形式存储,而是 4 位拼接打包,这也是加载后能在 model.safetensors.index.json 中见到 weight_packed、weight_scale、weight_zero_point 三种张量并列的原因——数据、缩放系数、零点位三件套齐全。

🔍 校准数据方面,量化使用了 ultrachat_200k 数据集的 512 条样本 × 2048 token,并通过 chat template 喂入,确保量化边界贴合真实对话分布(详见 README.md)。

哪些层被量化、哪些刻意保留 BF16?

Qwen3.8-27B 是混合架构:64 层按 3 × Gated DeltaNet → 1 × Gated Attention 循环,外加视觉塔与 MTP 头。并非所有 Linear 都适合压到 4 位,作者维护了一份精细的 ignore 清单(完整列表见 config.json):

已压入 INT4 的部分:

  • Gated Attention:q_proj / k_proj / v_proj / o_proj
  • FFN:gate_proj / up_proj / down_proj
  • Gated DeltaNet:in_proj_qkv / in_proj_z / out_proj

刻意保留 BF16 的部分:

  • lm_head 与词表嵌入——输出层对精度极其敏感
  • 整个视觉塔(model.visual.*)——量化视觉编码器对图像识别的伤害大于省下的显存
  • linear_attn.in_proj_a / in_proj_b——SSM 分支的敏感门控
  • 整个 MTP 头(mtp.*)——保住推测解码(speculative decoding)能力

⚠️ MTP 头是这份量化里最容易踩坑的地方:transformers 对 qwen3_5 架构不实例化 MTP 头,naive 量化会直接把它丢掉。作者的做法是从 BF16 原始检查点把 mtp.* 张量复制回量化结果、登记进索引文件并写入 ignore 清单,从而完整保留推测解码(说明见 README.md)。

配方溯源:llm-compressor 的 AWQ 配方

仓库附带了 llm-compressor 生成的 recipe.yaml,完整记录了量化过程,这也是"可复现性"的关键:

  • AWQModifier:启用 duo_scaling: true 与 n_grid: 20,即对 layernorm 与后续投影层做激活感知的平滑(activation smoothing),让"难量化"的权重变得友好
  • 平滑映射分三类:full attention 层的 input_layernorm → q/k/v_proj、linear attention 层的 input_layernorm → in_proj_*、post_attention_layernorm → gate/up_proj 以及 up_proj → down_proj
  • QuantizationModifier:targets: <a href="https://link.gitcode.com/i/5bd3812b9954fa6c4b742952916a8579" target="_blank">Linear],scheme: W4A16_ASYM,ignore 与 [config.json 中的清单一致

🧠 值得注意:量化是直接从 BF16 原始权重出发做的,而不是在官方 FP8 检查点之上再压 INT4——避免"误差叠误差",这也是该方案精度表现的关键前提。

快速上手:vLLM 一键部署

git clone https://gitcode.com/hf_mirrors/Ar4ikov/Qwen3.8-27B-AWQ-W4A16-ASYM
cd Qwen3.8-27B-AWQ-W4A16-ASYM

vllm serve ./ \
  --max-model-len 262144 \
  --tensor-parallel-size 2

若使用 transformers 加载:

from transformers import AutoModelForImageTextToText, AutoProcessor

model = AutoModelForImageTextToText.from_pretrained(
    "./", dtype="auto", device_map="auto"
)
processor = AutoProcessor.from_pretrained("./")

⚠️ 一个重要提醒:transformers 加载时会把 INT4 权重解包还原成 BF16,因此在 transformers 里看不到显存收益。真正的省显存只有 vLLM、SGLang 这类带原生 INT4 核的运行时才能兑现。

采样参数沿用基座模型:Thinking 模式 temperature=1.0 / top_p=0.95 / top_k=20,Non-thinking 模式 temperature=0.7 / top_p=0.80 / presence_penalty=1.5(见 generation_config.json)。原生上下文 262144 token,经 YaRN 可扩展到 1M。

使用注意与结论

  • 该量化未通过基准评测验证,官方仅确认生成连贯性,生产环境请自行跑 eval
  • 视觉部分未量化,图像理解质量应接近基座模型;精度退化主要预期在文本侧
  • 一句话总结:W4A16_ASYM = 非对称 INT4 权重(group 128 + zero-point)+ BF16 激活 + 精心挑选的 ignore 清单,在体积缩小约 3 倍的同时,用 AWQ 平滑与完整保留的 MTP/视觉塔守住了质量底线

这套配置对想自行为混合架构模型做 INT4 量化的读者是很好的参考模板:方案名、组大小、zero-point 存储类型、ignore 规则都能在 config.json 中直接对照学习。

登录后查看全文
Qwen3.8-27B-AWQ-W4A16-ASYM