解码config.json:Qwen3.5-4B-NVFP4量化范围揭秘——为何KV Cache与视觉编码器不量化

原创2026-11-09 20:25:521,892 阅读
文章标签:人工智能大模型模型量化多模态Qwen

解码config.json:Qwen3.5-4B-NVFP4量化范围揭秘——为何KV Cache与视觉编码器不量化

Qwen3.5-4B-NVFP4 是 Qwen3.5-4B 的 4 位 NVFP4 量化版本,整个量化方案其实就藏在 config.json 的一个字段里。这篇文章只带你看两个 JSON 文件,就能搞懂它量化了哪些部分、刻意跳过了哪些部分,并重点回答两个高频疑问:为什么 KV Cache 不量化?为什么视觉编码器不量化?

📌 先搞懂:NVFP4 量化是什么

NVFP4 是面向 Blackwell 架构的 4 位浮点量化格式:权重和激活值用 E2M1 4 位码本存储,每 16 个元素共享一个 FP8(E4M3)缩放因子,让 4 位数值在神经网络计算中依然"可用"。

在这个模型里,NVFP4 同时作用于权重和输入激活(即 W4A4),相比 BF16,磁盘占用与 GPU 显存都降到约 1/4,量化后 checkpoint 只有约 3GB。

依据:config.json 中 quant_algo: NVFP4、quant_method: modelopt,以及 README.md 的 "Quantization Details" 一节。

一、量化范围详解:读懂 quantization_config 的三个关键

1.1 targets:所有 Linear 线性层都在名单上

config_groups.group_0 的核心配置非常简短:

"weights":           { "num_bits": 4, "type": "float", "group_size": 16 },
"input_activations": { "num_bits": 4, "type": "float", "group_size": 16 },
"targets": ["Linear"]

翻译成人话:语言模型里每一个线性层——注意力 Q/K/V 投影、输出投影、MLP 的 gate/up/down 三个投影——都以 4 位存储,并按 group_size: 16 做块级缩放。这正是省显存的主力。

1.2 ignore:一份精心挑选的"免量化名单"

ignore 列表共 27 项,可以归为四类(见 config.json):

免量化模块 数量 它是什么
lm_head 1 输出层(与输入 embedding 共享权重)
layers.?.linear_attn.conv1d 24 线性注意力层的深度卷积
model.visual* 全部 整个视觉编码器
mtp.layers.0* 全部 多 Token 预测(MTP)模块

一个有趣的细节:被排除的 conv1d 层号(0、1、2、4、5、6、8、9、10、12、13、14、16、17、18、20、21、22、24、25、26、28、29、30)恰好就是全部 24 个 linear_attention 层。对照 config.json 的 layer_types 可见:32 层中每第 4 层才是 full_attention,其余全是 linear_attention。

为什么排除 conv1d?它是 Gated DeltaNet 里的深度卷积,核大小只有 4(linear_conv_kernel_dim: 4),单层参数约 1 万个,量化收益极小,而一维卷积对低比特噪声又比较敏感——干脆保持高精度最稳妥。

二、KV Cache 为什么不量化?

这是最反直觉的一点:都省到 4 位了,为什么反而不动 KV Cache?原因有三:

  1. KV Cache 是"运行时记忆",不是权重。 权重加载后固定不变,可以用校准集(本模型采用 MSE 校准)精确刻画其分布;而 KV Cache 的数值是解码时逐 token 现场生成的,分布随位置和词元不断变化,每一步都动态量化,既有算力开销,又容易引入误差。

  2. 混合架构已经"砍掉"了 3/4 的 KV Cache。 24 个线性注意力层维护的是固定大小的循环状态(mamba_ssm_dtype: float32),显存不随上下文长度增长;真正产生 KV Cache 的只有 8 个 full attention 层(GQA:4 个 KV 头、head_dim 256),每层每 token 仅约 4KB,整体规模已比纯全注意力模型小得多。

  3. 缓存误差会沿序列累积。 KV Cache 在每个生成步骤都会被反复读取,微小误差会不断复利。在原生 262144 token 的长上下文场景下,量化缓存带来的收益有限,长文本退化风险却很明显。

对应配置在 hf_quant_config.json 写得明明白白:"kv_cache_quant_algo": null——null 就是"不对 KV Cache 启用任何量化算法"。README.md 也明确写道:"The KV-cache is not quantized."

三、视觉编码器为什么不量化?

model.visual* 被整体排除,权重保持原始 BF16 精度,主要出于两点考虑:

  • 它只跑一次,省不了多少。 视觉编码器在图片/视频进入时做一次前向,把视觉内容编码成视觉 token 就"下班"了;推理耗时的大头在逐 token 解码阶段。量化它带来的加速收益很小。
  • 视觉感知对低精度格外敏感。 OCR、小字识别、空间关系等任务依赖细微的特征差异,4 位量化容易让细节"糊掉",文档理解、图表问答类任务会明显掉点。视觉塔保持高精度,等于给视觉质量上了保险。

况且视觉编码器本身不大(hidden_size: 1024、depth: 24,见 config.json 的 vision_config),不量化多占的显存很有限,这笔账很划算。

图片/视频的预处理参数在 processor_config.json 与 preprocessor_config.json、video_preprocessor_config.json 中,想深入视觉输入管线可以先看这几个文件。

四、还有两处容易忽略的"免死金牌"

  • lm_head:输出层要对 248320 个词元(见 vocab.json)逐一把打分,对精度极其敏感;而且 tie_word_embeddings: true 表示 lm_head 与输入 embedding 共享权重——量化它,输入侧的 embedding 也会一起受损,等于影响全局。
  • mtp.layers.0*:MTP 模块负责多步预测、配合加速解码,它的输出分布需要与主干高度一致。一旦量化破坏这种一致性,投机解码的接受率反而会下降。

五、快速验证量化范围:30 秒自查方法

拿到任何量化模型,都可以按这三步自查:

  1. 打开 config.json 的 quantization_config:targets 告诉你谁被量化,ignore 告诉你谁被豁免;
  2. 对照 hf_quant_config.json 复核 quant_algo、group_size 与 kv_cache_quant_algo(null = KV Cache 不量化);
  3. 部署时用 SGLang 并指定 --quantization modelopt_fp4,具体命令见 README.md 的 "Usage" 一节。
检查点 字段 取值 含义
量化算法 quant_algo NVFP4 4 位浮点 + FP8 块缩放
量化组大小 group_size 16 每 16 个元素共享一个缩放因子
KV Cache kv_cache_quant_algo null 不量化
视觉编码器 ignore → model.visual* 豁免 保持 BF16 精度

六、写在最后

Qwen3.5-4B-NVFP4 的量化策略不是"位数越小越好",而是一场精细的取舍:

  • ⚡ Linear 线性层:参数主力 → 量化到 NVFP4,显存降到约 1/4,checkpoint 约 3GB;
  • 🛡️ KV Cache:占比本就不大、且误差会累积 → 保持高精度;
  • 🖼️ 视觉编码器:只跑一次、精度敏感 → 保持 BF16;
  • ✂️ conv1d / lm_head / MTP:参数小或容错低 → 全部豁免。

读懂了 targets 和 ignore 这两个字段,你就掌握了快速拆解任意量化模型"量化范围"的钥匙。

登录后查看全文
Qwen3.5-4B-NVFP4