解码config.json:Qwen3.5-4B-NVFP4量化范围揭秘——为何KV Cache与视觉编码器不量化
解码config.json:Qwen3.5-4B-NVFP4量化范围揭秘——为何KV Cache与视觉编码器不量化
Qwen3.5-4B-NVFP4 是 Qwen3.5-4B 的 4 位 NVFP4 量化版本,整个量化方案其实就藏在 config.json 的一个字段里。这篇文章只带你看两个 JSON 文件,就能搞懂它量化了哪些部分、刻意跳过了哪些部分,并重点回答两个高频疑问:为什么 KV Cache 不量化?为什么视觉编码器不量化?
📌 先搞懂:NVFP4 量化是什么
NVFP4 是面向 Blackwell 架构的 4 位浮点量化格式:权重和激活值用 E2M1 4 位码本存储,每 16 个元素共享一个 FP8(E4M3)缩放因子,让 4 位数值在神经网络计算中依然"可用"。
在这个模型里,NVFP4 同时作用于权重和输入激活(即 W4A4),相比 BF16,磁盘占用与 GPU 显存都降到约 1/4,量化后 checkpoint 只有约 3GB。
依据:config.json 中
quant_algo: NVFP4、quant_method: modelopt,以及 README.md 的 "Quantization Details" 一节。
一、量化范围详解:读懂 quantization_config 的三个关键
1.1 targets:所有 Linear 线性层都在名单上
config_groups.group_0 的核心配置非常简短:
"weights": { "num_bits": 4, "type": "float", "group_size": 16 },
"input_activations": { "num_bits": 4, "type": "float", "group_size": 16 },
"targets": ["Linear"]
翻译成人话:语言模型里每一个线性层——注意力 Q/K/V 投影、输出投影、MLP 的 gate/up/down 三个投影——都以 4 位存储,并按 group_size: 16 做块级缩放。这正是省显存的主力。
1.2 ignore:一份精心挑选的"免量化名单"
ignore 列表共 27 项,可以归为四类(见 config.json):
| 免量化模块 | 数量 | 它是什么 |
|---|---|---|
lm_head |
1 | 输出层(与输入 embedding 共享权重) |
layers.?.linear_attn.conv1d |
24 | 线性注意力层的深度卷积 |
model.visual* |
全部 | 整个视觉编码器 |
mtp.layers.0* |
全部 | 多 Token 预测(MTP)模块 |
一个有趣的细节:被排除的 conv1d 层号(0、1、2、4、5、6、8、9、10、12、13、14、16、17、18、20、21、22、24、25、26、28、29、30)恰好就是全部 24 个 linear_attention 层。对照 config.json 的 layer_types 可见:32 层中每第 4 层才是 full_attention,其余全是 linear_attention。
为什么排除 conv1d?它是 Gated DeltaNet 里的深度卷积,核大小只有 4(linear_conv_kernel_dim: 4),单层参数约 1 万个,量化收益极小,而一维卷积对低比特噪声又比较敏感——干脆保持高精度最稳妥。
二、KV Cache 为什么不量化?
这是最反直觉的一点:都省到 4 位了,为什么反而不动 KV Cache?原因有三:
-
KV Cache 是"运行时记忆",不是权重。 权重加载后固定不变,可以用校准集(本模型采用 MSE 校准)精确刻画其分布;而 KV Cache 的数值是解码时逐 token 现场生成的,分布随位置和词元不断变化,每一步都动态量化,既有算力开销,又容易引入误差。
-
混合架构已经"砍掉"了 3/4 的 KV Cache。 24 个线性注意力层维护的是固定大小的循环状态(
mamba_ssm_dtype: float32),显存不随上下文长度增长;真正产生 KV Cache 的只有 8 个 full attention 层(GQA:4 个 KV 头、head_dim 256),每层每 token 仅约 4KB,整体规模已比纯全注意力模型小得多。 -
缓存误差会沿序列累积。 KV Cache 在每个生成步骤都会被反复读取,微小误差会不断复利。在原生 262144 token 的长上下文场景下,量化缓存带来的收益有限,长文本退化风险却很明显。
对应配置在 hf_quant_config.json 写得明明白白:"kv_cache_quant_algo": null——null 就是"不对 KV Cache 启用任何量化算法"。README.md 也明确写道:"The KV-cache is not quantized."
三、视觉编码器为什么不量化?
model.visual* 被整体排除,权重保持原始 BF16 精度,主要出于两点考虑:
- 它只跑一次,省不了多少。 视觉编码器在图片/视频进入时做一次前向,把视觉内容编码成视觉 token 就"下班"了;推理耗时的大头在逐 token 解码阶段。量化它带来的加速收益很小。
- 视觉感知对低精度格外敏感。 OCR、小字识别、空间关系等任务依赖细微的特征差异,4 位量化容易让细节"糊掉",文档理解、图表问答类任务会明显掉点。视觉塔保持高精度,等于给视觉质量上了保险。
况且视觉编码器本身不大(hidden_size: 1024、depth: 24,见 config.json 的 vision_config),不量化多占的显存很有限,这笔账很划算。
图片/视频的预处理参数在 processor_config.json 与 preprocessor_config.json、video_preprocessor_config.json 中,想深入视觉输入管线可以先看这几个文件。
四、还有两处容易忽略的"免死金牌"
lm_head:输出层要对 248320 个词元(见 vocab.json)逐一把打分,对精度极其敏感;而且tie_word_embeddings: true表示 lm_head 与输入 embedding 共享权重——量化它,输入侧的 embedding 也会一起受损,等于影响全局。mtp.layers.0*:MTP 模块负责多步预测、配合加速解码,它的输出分布需要与主干高度一致。一旦量化破坏这种一致性,投机解码的接受率反而会下降。
五、快速验证量化范围:30 秒自查方法
拿到任何量化模型,都可以按这三步自查:
- 打开 config.json 的
quantization_config:targets告诉你谁被量化,ignore告诉你谁被豁免; - 对照 hf_quant_config.json 复核
quant_algo、group_size与kv_cache_quant_algo(null= KV Cache 不量化); - 部署时用 SGLang 并指定
--quantization modelopt_fp4,具体命令见 README.md 的 "Usage" 一节。
| 检查点 | 字段 | 取值 | 含义 |
|---|---|---|---|
| 量化算法 | quant_algo |
NVFP4 | 4 位浮点 + FP8 块缩放 |
| 量化组大小 | group_size |
16 | 每 16 个元素共享一个缩放因子 |
| KV Cache | kv_cache_quant_algo |
null | 不量化 |
| 视觉编码器 | ignore → model.visual* |
豁免 | 保持 BF16 精度 |
六、写在最后
Qwen3.5-4B-NVFP4 的量化策略不是"位数越小越好",而是一场精细的取舍:
- ⚡ Linear 线性层:参数主力 → 量化到 NVFP4,显存降到约 1/4,checkpoint 约 3GB;
- 🛡️ KV Cache:占比本就不大、且误差会累积 → 保持高精度;
- 🖼️ 视觉编码器:只跑一次、精度敏感 → 保持 BF16;
- ✂️ conv1d / lm_head / MTP:参数小或容错低 → 全部豁免。
读懂了 targets 和 ignore 这两个字段,你就掌握了快速拆解任意量化模型"量化范围"的钥匙。