Qwen3.5-4B-AWQ量化原理深度剖析:为什么linear_attn与MTP层不做4比特量化?config.json逐字段解读
Qwen3.5-4B-AWQ量化原理深度剖析:为什么linear_attn与MTP层不做4比特量化?config.json逐字段解读
Qwen3.5-4B-AWQ 是 Qwen3.5-4B 多模态大模型的 4比特 AWQ 量化版本,总大小压缩至约 5.7 GiB,可单卡部署。本文将剖析它的 AWQ 量化原理,重点回答"为什么 linear_attn(线性注意力)和 MTP 层不做 4比特量化"这个高频疑问,并对 config.json 逐字段解读。
📦 Qwen3.5-4B-AWQ 是什么?
一句话概括:它是 Qwen3.5-4B 的"瘦身版"——参数没变,但每个权重占用的位数变少了。
- 基于模型:Qwen3.5-4B(视觉-语言统一模型,4B 参数)
- 量化方式:AWQ(Activation-aware Weight Quantization,激活感知权重量化)
- 量化位宽:4-bit(组大小 128,带 zero_point)
- 量化特点:data-free(无需校准数据集,见 README.md:"quantizes the model using data-free quantization technique")
- 总大小:约 5.7 GiB(约 6,071,374,336 字节),分 3 个分片存放
仓库文件一览:
| 文件 | 作用 |
|---|---|
| config.json | 模型结构 + 量化配置(本文主角) |
| model.safetensors.index.json | 924 个张量的分布索引,可用来"验货" |
| model-00001-of-00003.safetensors 等 3 个分片 | 模型权重本体 |
| tokenizer.json、vocab.json | 分词器 |
| generation_config.json | 生成参数(top_k=20、top_p=0.8 等) |
🎚️ AWQ 4比特量化:16位变4位,省在哪、保在哪?
对新手来说,理解 AWQ 只需抓住 5 个关键点:
- 只压权重,不压激活:权重从 fp16(16位)压到 int4(4位),单个权重节省 75% 存储;前向计算时再解量化,激活保持原精度。
- group_size = 128:每 128 个连续权重共享 1 个 scale 和 1 个 zero-point。组越小,表示越精细,但开销越大,128 是业界常用平衡点。
- zero_point = true:使用非对称量化,允许权重分布偏移后依然精准落位到 16 个格子里。
- version = "gemm":权重按 GPU 矩阵乘法(GEMM)核友好的布局打包,推理解码快。
- data-free:传统 AWQ 通常要用一批校准数据统计"哪些权重更敏感",而这个仓库声明用免数据方式完成,部署前无需跑校准。
从 model.safetensors.index.json 可以验证存储格式:每个被量化的线性层会拆成 3 个张量——qweight(量化权重)、qzeros(零点)、scales(缩放因子),全仓正好 93 组 × 3 = 279 个量化张量。
💡 93 = 31 层 × 3 个投影。记住这个数字,它直接回答了"到底量化了哪些模块"。
⚖️ 为什么 linear_attn 不做 4比特量化?
Qwen3.5 采用混合架构:32 层中每 4 层为一组,3 层线性注意力(Gated DeltaNet)+ 1 层全注意力(layer_types 与 full_attention_interval: 4)。量化白名单把 linear_attn 整个模块排除在外(共 216 个张量保持 fp16),原因有三:
① 递归状态会放大误差。 线性注意力是循环结构:每一步的新状态都由"上一步状态 + 当前输入"算出。权重里哪怕引入 1% 的量化噪声,也会在长序列上被递归积分、逐级放大——上下文越长,漂移越明显。而 MLP 是"即用即弃"的前馈层,误差不会累积。
② 作者已经用最高精度保护了状态。 text_config 里有 mamba_ssm_dtype: float32——线性注意力的递归状态显式用 fp32 计算,可见设计者对这条路径的数值精度极为敏感。量化权重和 fp32 状态"背道而驰"。
③ 它本身就是效率担当,不靠量化省空间。 线性注意力用 O(1) 固定大小状态替代 O(n) 的 KV 缓存,才是这个混合架构省显存的核心手段;它的投影矩阵(in_proj_qkv、in_proj_z 等,head_dim 仅 128)参数量也不大。省不了多少,风险却很高,自然不量化。
🎯 为什么 MTP 层不做 4比特量化?
MTP(Multi-Token Prediction,多词元预测)层配置在 mtp_num_hidden_layers: 1,它不是摆设,而是 vLLM 推测解码的草稿引擎(README.md 推荐启动参数):
--speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}'
推理时,MTP 层先"猜"出 2 个后续 token,主模型一次性校验:猜对了就跳过两步,猜错了白白浪费算力。所以:
- 草稿质量直接决定加速比:MTP 分布与主模型差一点点,接受率就会明显下降,推测解码反而变慢。
- 它太小了,不值得省:MTP 共 15 个张量(1 层完整 Transformer 结构 + 几个 norm),相对 4B 参数占比极低,量化它省下的空间几乎为零。
- mtp_use_dedicated_embeddings: false:MTP 直接复用主模型词嵌入,结构极简,全精度存储毫无负担。
一句话:MTP 量化省的空间 ≈ 0,损失的速度 > 0。
顺带一提:self_attn 和 visual 也都没量化
modules_to_not_convert 里还有 self_attn(8 层全注意力的 Q/K/V/O 投影,54 个张量)、visual(视觉编码器,297 个张量)和 model.layers.0.(第 0 层整体)。逻辑一致:
- self_attn:注意力输出写入残差流并贯穿全模型,量化敏感度高;
- visual:视觉理解(图像/视频 patch 编码)对低比特脆弱,且占比有限;
- layer 0:第一层最靠近输入嵌入,它的误差会污染后面全部 31 层,是全精度"压舱石"。
真正被 4比特量化的,只有第 1~31 层的 MLP 三个投影(gate_proj / up_proj / down_proj)——这正是 Transformer 参数大头(约 2/3),用 AWQ 压这里收益最大。
📊 config.json 逐字段解读
下面按四大块拆解 config.json(行号以仓库文件为准)。
1️⃣ 顶层字段:模型身份
| 字段 | 值 | 含义 |
|---|---|---|
name_or_path |
tclf90/Qwen3.5-4B-AWQ |
本量化仓库的来源标识 |
architectures |
Qwen3_5ForConditionalGeneration |
加载该架构类 |
model_type |
qwen3_5 |
模型家族 |
image_token_id / video_token_id |
248056 / 248057 | 图像、视频占位 token |
vision_start_token_id / vision_end_token_id |
248053 / 248054 | 视觉序列起止标记 |
2️⃣ text_config:语言主干
| 字段 | 值 | 含义 |
|---|---|---|
num_hidden_layers |
32 | 32 层 Transformer |
hidden_size / intermediate_size |
2560 / 9216 | 隐藏维 / FFN 中间维 |
layer_types |
8×(linear×3 + full×1) | 混合注意力的"图纸",共 32 项 |
full_attention_interval |
4 | 每 4 层插 1 层全注意力 |
num_attention_heads / num_key_value_heads |
16 / 4 | 全注意力 Q/KV 头数(GQA) |
head_dim |
256 | 全注意力头维度 |
linear_num_value_heads / linear_num_key_heads |
32 / 16 | Gated DeltaNet 的 V / QK 头数 |
linear_key_head_dim / linear_value_head_dim |
128 / 128 | 线性注意力头维度 |
linear_conv_kernel_dim |
4 | DeltaNet 短卷积核大小 |
max_position_embeddings |
262144 | 原生 256K 上下文(可外推至约 1M) |
mtp_num_hidden_layers |
1 | MTP 只带 1 个隐藏层 |
mtp_use_dedicated_embeddings |
false | MTP 复用主模型嵌入 |
mamba_ssm_dtype |
float32 | ⭐ 线性注意力状态按 fp32 计算 |
tie_word_embeddings |
true | 输出层与词嵌入共享权重 |
rope_parameters |
mrope + partial_rotary_factor: 0.25 |
多模态 RoPE,仅 64 维旋转(256×0.25) |
3️⃣ vision_config:视觉编码器
| 字段 | 值 | 含义 |
|---|---|---|
depth / hidden_size |
24 / 1024 | 24 层 ViT,隐层 1024 |
out_hidden_size |
2560 | 视觉输出对齐文本隐藏维 |
patch_size / spatial_merge_size |
16 / 2 | 16×16 图像块,2×2 空间合并 |
temporal_patch_size |
2 | 视频按 2 帧一组切块 |
4️⃣ quantization_config:量化核心 ⭐
{
"quant_method": "awq",
"bits": 4,
"group_size": 128,
"version": "gemm",
"zero_point": true,
"modules_to_not_convert": [
"visual",
"linear_attn",
"self_attn",
"model.layers.0.",
"mtp"
]
}
五个"不量化"条目,加上前面权重索引的 93 组量化张量,拼出了完整的量化策略:保精度(注意力递归、MTP 草稿、首层、视觉)× 压体积(31 层 MLP)。
🔍 动手验证:3 步确认量化范围
- 打开 model.safetensors.index.json,搜索
qweight:命中 93 处,全部形如model.language_model.layers.{1..31}.mlp.{gate,up,down}_proj; - 搜索
linear_attn:216 个张量均为普通.weight(fp16),无任何qweight; - 搜索
mtp.:15 个张量,同样是全精度.weight。
部署时按 README.md 建议(vLLM ≥ 0.16、CUDA 12.8),核心启动命令如下:
vllm serve __YOUR_PATH__/Qwen3.5-4B-AWQ \
--max-model-len 262144 \
--gpu-memory-utilization 0.9 \
--enable-auto-tool-choice \
--speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}'
✅ 总结:一张表看懂量化取舍
| 模块 | 是否 4比特量化 | 核心原因 |
|---|---|---|
| 第 1–31 层 MLP(gate/up/down_proj) | ✅ 是 | 参数占比最大,AWQ 收益最高 |
| linear_attn(Gated DeltaNet) | ❌ 否 | 递归状态累积量化误差,且状态本身按 fp32 计算 |
| MTP 层 | ❌ 否 | 推测解码草稿质量决定加速比,且体积极小 |
| self_attn(全注意力投影) | ❌ 否 | 误差写入残差流,贯穿全模型 |
| visual(视觉编码器) | ❌ 否 | 视觉任务对低比特敏感,占比有限 |
| 第 0 层整体 | ❌ 否 | 靠近输入分布,误差会污染全部后续层 |
给新手的记忆口诀:前馈可压、递归慎压、草稿要准、首层要稳。理解了这个思路,你再看任何量化模型的 config.json,都能一眼判断它"压了谁、保了谁"。