Qwen3.5-4B-AWQ量化原理深度剖析:为什么linear_attn与MTP层不做4比特量化?config.json逐字段解读

原创2026-11-11 14:23:142,175 阅读

Qwen3.5-4B-AWQ量化原理深度剖析:为什么linear_attn与MTP层不做4比特量化?config.json逐字段解读

Qwen3.5-4B-AWQ 是 Qwen3.5-4B 多模态大模型的 4比特 AWQ 量化版本,总大小压缩至约 5.7 GiB,可单卡部署。本文将剖析它的 AWQ 量化原理,重点回答"为什么 linear_attn(线性注意力)和 MTP 层不做 4比特量化"这个高频疑问,并对 config.json 逐字段解读。

📦 Qwen3.5-4B-AWQ 是什么?

一句话概括:它是 Qwen3.5-4B 的"瘦身版"——参数没变,但每个权重占用的位数变少了。

  • 基于模型:Qwen3.5-4B(视觉-语言统一模型,4B 参数)
  • 量化方式:AWQ(Activation-aware Weight Quantization,激活感知权重量化)
  • 量化位宽:4-bit(组大小 128,带 zero_point)
  • 量化特点:data-free(无需校准数据集,见 README.md:"quantizes the model using data-free quantization technique")
  • 总大小:约 5.7 GiB(约 6,071,374,336 字节),分 3 个分片存放

仓库文件一览:

文件 作用
config.json 模型结构 + 量化配置(本文主角)
model.safetensors.index.json 924 个张量的分布索引,可用来"验货"
model-00001-of-00003.safetensors 等 3 个分片 模型权重本体
tokenizer.json、vocab.json 分词器
generation_config.json 生成参数(top_k=20、top_p=0.8 等)

🎚️ AWQ 4比特量化:16位变4位,省在哪、保在哪?

对新手来说,理解 AWQ 只需抓住 5 个关键点:

  1. 只压权重,不压激活:权重从 fp16(16位)压到 int4(4位),单个权重节省 75% 存储;前向计算时再解量化,激活保持原精度。
  2. group_size = 128:每 128 个连续权重共享 1 个 scale 和 1 个 zero-point。组越小,表示越精细,但开销越大,128 是业界常用平衡点。
  3. zero_point = true:使用非对称量化,允许权重分布偏移后依然精准落位到 16 个格子里。
  4. version = "gemm":权重按 GPU 矩阵乘法(GEMM)核友好的布局打包,推理解码快。
  5. data-free:传统 AWQ 通常要用一批校准数据统计"哪些权重更敏感",而这个仓库声明用免数据方式完成,部署前无需跑校准。

从 model.safetensors.index.json 可以验证存储格式:每个被量化的线性层会拆成 3 个张量——qweight(量化权重)、qzeros(零点)、scales(缩放因子),全仓正好 93 组 × 3 = 279 个量化张量。

💡 93 = 31 层 × 3 个投影。记住这个数字,它直接回答了"到底量化了哪些模块"。

⚖️ 为什么 linear_attn 不做 4比特量化?

Qwen3.5 采用混合架构:32 层中每 4 层为一组,3 层线性注意力(Gated DeltaNet)+ 1 层全注意力(layer_types 与 full_attention_interval: 4)。量化白名单把 linear_attn 整个模块排除在外(共 216 个张量保持 fp16),原因有三:

① 递归状态会放大误差。 线性注意力是循环结构:每一步的新状态都由"上一步状态 + 当前输入"算出。权重里哪怕引入 1% 的量化噪声,也会在长序列上被递归积分、逐级放大——上下文越长,漂移越明显。而 MLP 是"即用即弃"的前馈层,误差不会累积。

② 作者已经用最高精度保护了状态。 text_config 里有 mamba_ssm_dtype: float32——线性注意力的递归状态显式用 fp32 计算,可见设计者对这条路径的数值精度极为敏感。量化权重和 fp32 状态"背道而驰"。

③ 它本身就是效率担当,不靠量化省空间。 线性注意力用 O(1) 固定大小状态替代 O(n) 的 KV 缓存,才是这个混合架构省显存的核心手段;它的投影矩阵(in_proj_qkv、in_proj_z 等,head_dim 仅 128)参数量也不大。省不了多少,风险却很高,自然不量化。

🎯 为什么 MTP 层不做 4比特量化?

MTP(Multi-Token Prediction,多词元预测)层配置在 mtp_num_hidden_layers: 1,它不是摆设,而是 vLLM 推测解码的草稿引擎(README.md 推荐启动参数):

--speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}'

推理时,MTP 层先"猜"出 2 个后续 token,主模型一次性校验:猜对了就跳过两步,猜错了白白浪费算力。所以:

  • 草稿质量直接决定加速比:MTP 分布与主模型差一点点,接受率就会明显下降,推测解码反而变慢。
  • 它太小了,不值得省:MTP 共 15 个张量(1 层完整 Transformer 结构 + 几个 norm),相对 4B 参数占比极低,量化它省下的空间几乎为零。
  • mtp_use_dedicated_embeddings: false:MTP 直接复用主模型词嵌入,结构极简,全精度存储毫无负担。

一句话:MTP 量化省的空间 ≈ 0,损失的速度 > 0。

顺带一提:self_attn 和 visual 也都没量化

modules_to_not_convert 里还有 self_attn(8 层全注意力的 Q/K/V/O 投影,54 个张量)、visual(视觉编码器,297 个张量)和 model.layers.0.(第 0 层整体)。逻辑一致:

  • self_attn:注意力输出写入残差流并贯穿全模型,量化敏感度高;
  • visual:视觉理解(图像/视频 patch 编码)对低比特脆弱,且占比有限;
  • layer 0:第一层最靠近输入嵌入,它的误差会污染后面全部 31 层,是全精度"压舱石"。

真正被 4比特量化的,只有第 1~31 层的 MLP 三个投影(gate_proj / up_proj / down_proj)——这正是 Transformer 参数大头(约 2/3),用 AWQ 压这里收益最大。

📊 config.json 逐字段解读

下面按四大块拆解 config.json(行号以仓库文件为准)。

1️⃣ 顶层字段:模型身份

字段 值 含义
name_or_path tclf90/Qwen3.5-4B-AWQ 本量化仓库的来源标识
architectures Qwen3_5ForConditionalGeneration 加载该架构类
model_type qwen3_5 模型家族
image_token_id / video_token_id 248056 / 248057 图像、视频占位 token
vision_start_token_id / vision_end_token_id 248053 / 248054 视觉序列起止标记

2️⃣ text_config:语言主干

字段 值 含义
num_hidden_layers 32 32 层 Transformer
hidden_size / intermediate_size 2560 / 9216 隐藏维 / FFN 中间维
layer_types 8×(linear×3 + full×1) 混合注意力的"图纸",共 32 项
full_attention_interval 4 每 4 层插 1 层全注意力
num_attention_heads / num_key_value_heads 16 / 4 全注意力 Q/KV 头数(GQA)
head_dim 256 全注意力头维度
linear_num_value_heads / linear_num_key_heads 32 / 16 Gated DeltaNet 的 V / QK 头数
linear_key_head_dim / linear_value_head_dim 128 / 128 线性注意力头维度
linear_conv_kernel_dim 4 DeltaNet 短卷积核大小
max_position_embeddings 262144 原生 256K 上下文(可外推至约 1M)
mtp_num_hidden_layers 1 MTP 只带 1 个隐藏层
mtp_use_dedicated_embeddings false MTP 复用主模型嵌入
mamba_ssm_dtype float32 ⭐ 线性注意力状态按 fp32 计算
tie_word_embeddings true 输出层与词嵌入共享权重
rope_parameters mrope + partial_rotary_factor: 0.25 多模态 RoPE,仅 64 维旋转(256×0.25)

3️⃣ vision_config:视觉编码器

字段 值 含义
depth / hidden_size 24 / 1024 24 层 ViT,隐层 1024
out_hidden_size 2560 视觉输出对齐文本隐藏维
patch_size / spatial_merge_size 16 / 2 16×16 图像块,2×2 空间合并
temporal_patch_size 2 视频按 2 帧一组切块

4️⃣ quantization_config:量化核心 ⭐

{
  "quant_method": "awq",
  "bits": 4,
  "group_size": 128,
  "version": "gemm",
  "zero_point": true,
  "modules_to_not_convert": [
    "visual",
    "linear_attn",
    "self_attn",
    "model.layers.0.",
    "mtp"
  ]
}

五个"不量化"条目,加上前面权重索引的 93 组量化张量,拼出了完整的量化策略:保精度(注意力递归、MTP 草稿、首层、视觉)× 压体积(31 层 MLP)。

🔍 动手验证:3 步确认量化范围

  1. 打开 model.safetensors.index.json,搜索 qweight:命中 93 处,全部形如 model.language_model.layers.{1..31}.mlp.{gate,up,down}_proj;
  2. 搜索 linear_attn:216 个张量均为普通 .weight(fp16),无任何 qweight;
  3. 搜索 mtp.:15 个张量,同样是全精度 .weight。

部署时按 README.md 建议(vLLM ≥ 0.16、CUDA 12.8),核心启动命令如下:

vllm serve __YOUR_PATH__/Qwen3.5-4B-AWQ \
    --max-model-len 262144 \
    --gpu-memory-utilization 0.9 \
    --enable-auto-tool-choice \
    --speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}'

✅ 总结:一张表看懂量化取舍

模块 是否 4比特量化 核心原因
第 1–31 层 MLP(gate/up/down_proj) ✅ 是 参数占比最大,AWQ 收益最高
linear_attn(Gated DeltaNet) ❌ 否 递归状态累积量化误差,且状态本身按 fp32 计算
MTP 层 ❌ 否 推测解码草稿质量决定加速比,且体积极小
self_attn(全注意力投影) ❌ 否 误差写入残差流,贯穿全模型
visual(视觉编码器) ❌ 否 视觉任务对低比特敏感,占比有限
第 0 层整体 ❌ 否 靠近输入分布,误差会污染全部后续层

给新手的记忆口诀:前馈可压、递归慎压、草稿要准、首层要稳。理解了这个思路,你再看任何量化模型的 config.json,都能一眼判断它"压了谁、保了谁"。

登录后查看全文
Qwen3.5-4B-AWQ