NVFP4 W4A4+FP8混合量化配方全解析:逐层读懂Qwen3.8-27B-NVFP4-BF16-LMHead的400个量化层
NVFP4 W4A4+FP8混合量化配方全解析:逐层读懂Qwen3.8-27B-NVFP4-BF16-LMHead的400个量化层
Qwen3.8-27B-NVFP4-BF16-LMHead 采用 NVFP4 W4A4 + FP8 混合量化配方:64 层 MLP 的 192 个投影以 4-bit NVFP4 存储,208 个注意力张量用 FP8,仅 lm_head 保留 BF16。本文逐层拆解它的 400 个量化层,带你看懂量化配方、校准数据与验收标准,是面向部署者的完整解读指南。
量化配方速览:一张表看懂 400 个量化层
这个检查点由 RadixArk 基于 NVIDIA Model Optimizer(modelopt 0.47.0) 生成,是 Qwen3.8-27B 的量化衍生品。它的核心思路是"该省则省、该保则保"——把计算量最大的 MLP 压到 4-bit,把对精度敏感的注意力压到 8-bit,再把输出层 lm_head 完整保留。
| 模块 | 量化算法 | 层/张量数 | 说明 |
|---|---|---|---|
MLP gate_proj / up_proj / down_proj |
NVFP4 W4A4 | 192 | group_size 16,动态激活 |
线性注意力 in_proj_qkv / in_proj_z / out_proj |
FP8 | 144 | 48 层线性注意力 × 3 |
全注意力 q_proj / k_proj / v_proj / o_proj |
FP8 | 64 | 16 层全注意力 × 4 |
| KV Cache | FP8 (e4m3) | — | 运行时缓存 |
lm_head、MTP、视觉塔 |
BF16(保留) | — | 逐字节保留原始精度 |
📌 400 = 192 NVFP4 + 208 FP8,正好对应 64 个隐藏层里每一个投影。 完整的逐层配方见 hf_quant_config.json,精度契约见 conversion-manifest.json。
整体算法标记为 MIXED_PRECISION,KV Cache 走 FP8:
- hf_quant_config.json:
"quant_algo": "MIXED_PRECISION"、"kv_cache_quant_algo": "FP8" - tensor-audit.json:
FP8: 208、NVFP4: 193基础张量计数
NVFP4 W4A4 如何压缩 MLP:group_size 16 的秘密
"W4A4" 指的是 4-bit 权重 + 4-bit 激活:权重和输入都被压成 4-bit 浮点(NVFP4),由 Blackwell(GB300)硬件直接加速,显存占用和算力需求双双下降。
关键在 group_size: 16。每个投影权重按 16 个元素分成一组,每组共享一个缩放因子(scale)。这样既保留了 4-bit 的紧凑,又用细粒度缩放把量化误差压到可接受范围——这正是"混合精度"里最容易被新手忽略的细节。
以第 0 层为例,三个 MLP 投影全部是 NVFP4:
- hf_quant_config.json:
layers.0.mlp.gate_proj / up_proj / down_proj均为"quant_algo": "NVFP4", "group_size": 16
64 层 × 3 个投影 = 192 个 NVFP4 层,全部使用同一套 group_size 16 配置,没有任何例外。
⚡ 审计显示全模型共 995 个 scale 张量、约 11.5 亿个缩放因子(scale 取值范围 5.01e-05 ~ 448.0),可见缩放粒度之细,见 tensor-audit.json。
FP8 接管注意力层:144 + 64 = 208 的由来
Qwen3.8-27B 是稠密多模态架构(Qwen3_5ForConditionalGeneration),共 64 层,其中注意力类型交替出现:每 4 层里,前 3 层是线性注意力(linear_attention),第 4 层是全注意力(full_attention)。
这一点在 config.json 的 "full_attention_interval": 4 和 config.json 的 layer_types 数组里能直接验证:linear, linear, linear, full 循环重复。
由此 FP8 张量数可以精确算出:
- 线性注意力:48 层 × 3(
in_proj_qkv、in_proj_z、out_proj)= 144 - 全注意力:16 层 × 4(
q/k/v/o_proj)= 64 - 合计 208 个 FP8 注意力张量
例如全注意力层的四投影:
- hf_quant_config.json:
layers.3.self_attn.q/k/v/o_proj均为"quant_algo": "FP8"
💡 为什么注意力用 FP8 而不是 NVFP4?注意力对动态范围和精度更敏感,8-bit 是"省显存又不掉点"的平衡点;而 MLP 参数占比最大、对量化更鲁棒,压到 4-bit 收益最高。
为什么 lm_head 特意保留 BF16
这是本检查点与源 NVFP4 检查点唯一的区别:lm_head 没有被量化,直接沿用 Qwen3.8-27B 的原始 BF16 权重。
lm_head 负责把隐藏层状态映射成整个词表的 logits,是生成"最后一个 token 概率"的关键一步。把它压成 4-bit 会直接扰动词表分布,而保留 BF16 几乎零代价(它只占参数的一小部分)。
MTP(多 token 预测)模块同样被显式排除在量化之外:
- hf_quant_config.json:
"exclude_modules": ["mtp*", "mtp.layers.0*"]
审计显示约 4.1 GB 张量逐字节保留原始 BF16(lm_head、MTP、视觉塔、LayerNorm、嵌入等),见 tensor-audit.json。
🎯 一句话总结配方:MLP→NVFP4,注意力→FP8,KV→FP8,输出层/MTP/视觉→BF16。
校准与验收:1024 条样本换来 97.27%
量化不是一步压缩,还需要**校准(calibration)**来估计每个组的缩放范围。本项目使用:
| 校准项 | 取值 |
|---|---|
| 数据集 | abisee/cnn_dailymail(train 分片) |
| 样本数 | 1024 |
| 序列长度 | 512 |
| 算法 | max |
| 随机种子 | 1234 |
配置详见 conversion-manifest.json。
验收结果(GSM8K,1319 题) 门槛设为准确率 ≥ 0.965、空生成/截断/请求错误均为 0,最终 verdict: pass,准确率 97.27%(1283/1319):
- qualification.json:
accuracy: 0.9727、stop_rate: 1.0 - qualification-criteria.json:
minimum_accuracy: 0.965等门槛
README 中另有一组同口径实测:GSM8K 96.13%(1268/1319),以及 Terminal-Bench 2.1 达 69.4%(247/356,pass@1)。作为对照,源 NVFP4 检查点(lm_head 被量化)GSM8K 为 96.36%,差异落在温度 1.0 的单次采样噪声内——说明保留 BF16 lm_head 并未牺牲精度。
MTP 推测解译的平均接受长度 2.775(接受率 0.59),配合 NEXTN/EAGLE 加速,见 qualification.json。
文件导读:读懂仓库里的关键 JSON
仓库是只读的量化模型包,几个 JSON 就是"配方说明书",建议按此顺序阅读:
| 文件 | 作用 |
|---|---|
| hf_quant_config.json | ⭐ 逐层量化配方(400 层)核心,含 quantized_layers |
| conversion-manifest.json | 转换环境、校准参数、精度契约、源版本 |
| tensor-audit.json | 张量审计:基础张量计数、scale 统计、总字节 |
| qualification.json | 验收结论:GSM8K、MTP、OOM、运行环境 |
| qualification-criteria.json | 验收门槛与运行时参数(含 FP8 KV、推测解译) |
| config.json | 模型结构:64 层、layer_types、full_attention_interval |
| model.safetensors.index.json | 张量到分片的映射(3 个分片) |
| README.md | 总览、部署命令与评估 |
权重本体拆为 3 个分片:model-00001-of-00003.safetensors、model-00002-of-00003.safetensors、model-00003-of-00003.safetensors,合计约 21.9 GB、2194 个张量。许可为 Apache-2.0(LICENSE)。
📦 想快速核对某一层是否被量化,直接在
hf_quant_config.json里搜layers.<层号>.mlp即可——出现NVFP4就是 4-bit,出现FP8就是 8-bit。
4×GB300 上的 SGLang 部署参数
本检查点在 4×NVIDIA GB300(Blackwell)、张量并行 TP4 的 SGLang 环境生成并验证。启动时启用 NEXTN 推测解译(3 步、topk 1、4 个草稿 token),并挂载 qwen3 推理解析器与 qwen3_coder 工具解析器:
sglang serve \
--trust-remote-code \
--model-path RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead \
--tp-size 4 \
--mem-fraction-static 0.75 \
--speculative-algorithm NEXTN \
--speculative-num-steps 3 \
--speculative-eagle-topk 1 \
--speculative-num-draft-tokens 4 \
--reasoning-parser qwen3 \
--tool-call-parser qwen3_coder \
--host 0.0.0.0 --port 30000
关键运行参数与验收环境一致(qualification-criteria.json):kv_cache_dtype: fp8_e4m3、memory_fraction_static: 0.75、modelopt_loader: modelopt_fp4、tensor_parallel_size: 4。模型原生上下文最长 262,144 tokens,支持文本、图像、视频输入。
常见问题 FAQ
Q1:这个模型和源 NVFP4 检查点到底差在哪?
只差一点——本检查点的 lm_head 保留 BF16,未被量化;其余所有张量与源 NVFP4 检查点完全一致。
Q2:为什么不是全部压到 4-bit?
注意力对精度更敏感,压 4-bit 会掉点;lm_head 决定输出分布,保留 BF16 代价极低。混合配方在显存、速度与精度间取得平衡。
Q3:group_size 16 影响什么?
它是 NVFP4 的缩放分组粒度:每 16 个权重共享一个 scale。粒度越细、误差越小,这也是该配方能稳定通过 96.5% 精度门槛的关键。
Q4:能在非 GB300 上跑吗? 配方面向 NVIDIA Blackwell 验证(NVFP4 需相应硬件加速)。其他部署拓扑请遵循 SGLang 的 Qwen3.8-27B 指南,参数可参考 README.md 与 qualification-criteria.json。
小结:Qwen3.8-27B-NVFP4-BF16-LMHead 的配方非常清晰——192 个 MLP 投影走 NVFP4 W4A4(group_size 16),208 个注意力张量走 FP8,KV 用 FP8,lm_head/MTP/视觉塔保留 BF16。读懂 hf_quant_config.json 里这 400 个量化层,你就掌握了它"省在哪里、保在哪里"的全部逻辑。