NVFP4 W4A4+FP8混合量化配方全解析:逐层读懂Qwen3.8-27B-NVFP4-BF16-LMHead的400个量化层

原创2026-10-16 18:38:181,981 阅读

NVFP4 W4A4+FP8混合量化配方全解析:逐层读懂Qwen3.8-27B-NVFP4-BF16-LMHead的400个量化层

Qwen3.8-27B-NVFP4-BF16-LMHead 采用 NVFP4 W4A4 + FP8 混合量化配方:64 层 MLP 的 192 个投影以 4-bit NVFP4 存储,208 个注意力张量用 FP8,仅 lm_head 保留 BF16。本文逐层拆解它的 400 个量化层,带你看懂量化配方、校准数据与验收标准,是面向部署者的完整解读指南。


量化配方速览:一张表看懂 400 个量化层

这个检查点由 RadixArk 基于 NVIDIA Model Optimizer(modelopt 0.47.0) 生成,是 Qwen3.8-27B 的量化衍生品。它的核心思路是"该省则省、该保则保"——把计算量最大的 MLP 压到 4-bit,把对精度敏感的注意力压到 8-bit,再把输出层 lm_head 完整保留。

模块 量化算法 层/张量数 说明
MLP gate_proj / up_proj / down_proj NVFP4 W4A4 192 group_size 16,动态激活
线性注意力 in_proj_qkv / in_proj_z / out_proj FP8 144 48 层线性注意力 × 3
全注意力 q_proj / k_proj / v_proj / o_proj FP8 64 16 层全注意力 × 4
KV Cache FP8 (e4m3) — 运行时缓存
lm_head、MTP、视觉塔 BF16(保留) — 逐字节保留原始精度

📌 400 = 192 NVFP4 + 208 FP8,正好对应 64 个隐藏层里每一个投影。 完整的逐层配方见 hf_quant_config.json,精度契约见 conversion-manifest.json。

整体算法标记为 MIXED_PRECISION,KV Cache 走 FP8:


NVFP4 W4A4 如何压缩 MLP:group_size 16 的秘密

"W4A4" 指的是 4-bit 权重 + 4-bit 激活:权重和输入都被压成 4-bit 浮点(NVFP4),由 Blackwell(GB300)硬件直接加速,显存占用和算力需求双双下降。

关键在 group_size: 16。每个投影权重按 16 个元素分成一组,每组共享一个缩放因子(scale)。这样既保留了 4-bit 的紧凑,又用细粒度缩放把量化误差压到可接受范围——这正是"混合精度"里最容易被新手忽略的细节。

以第 0 层为例,三个 MLP 投影全部是 NVFP4:

  • hf_quant_config.json:layers.0.mlp.gate_proj / up_proj / down_proj 均为 "quant_algo": "NVFP4", "group_size": 16

64 层 × 3 个投影 = 192 个 NVFP4 层,全部使用同一套 group_size 16 配置,没有任何例外。

⚡ 审计显示全模型共 995 个 scale 张量、约 11.5 亿个缩放因子(scale 取值范围 5.01e-05 ~ 448.0),可见缩放粒度之细,见 tensor-audit.json。


FP8 接管注意力层:144 + 64 = 208 的由来

Qwen3.8-27B 是稠密多模态架构(Qwen3_5ForConditionalGeneration),共 64 层,其中注意力类型交替出现:每 4 层里,前 3 层是线性注意力(linear_attention),第 4 层是全注意力(full_attention)。

这一点在 config.json 的 "full_attention_interval": 4 和 config.json 的 layer_types 数组里能直接验证:linear, linear, linear, full 循环重复。

由此 FP8 张量数可以精确算出:

  • 线性注意力:48 层 × 3(in_proj_qkv、in_proj_z、out_proj)= 144
  • 全注意力:16 层 × 4(q/k/v/o_proj)= 64
  • 合计 208 个 FP8 注意力张量

例如全注意力层的四投影:

💡 为什么注意力用 FP8 而不是 NVFP4?注意力对动态范围和精度更敏感,8-bit 是"省显存又不掉点"的平衡点;而 MLP 参数占比最大、对量化更鲁棒,压到 4-bit 收益最高。


为什么 lm_head 特意保留 BF16

这是本检查点与源 NVFP4 检查点唯一的区别:lm_head 没有被量化,直接沿用 Qwen3.8-27B 的原始 BF16 权重。

lm_head 负责把隐藏层状态映射成整个词表的 logits,是生成"最后一个 token 概率"的关键一步。把它压成 4-bit 会直接扰动词表分布,而保留 BF16 几乎零代价(它只占参数的一小部分)。

MTP(多 token 预测)模块同样被显式排除在量化之外:

审计显示约 4.1 GB 张量逐字节保留原始 BF16(lm_head、MTP、视觉塔、LayerNorm、嵌入等),见 tensor-audit.json。

🎯 一句话总结配方:MLP→NVFP4,注意力→FP8,KV→FP8,输出层/MTP/视觉→BF16。


校准与验收:1024 条样本换来 97.27%

量化不是一步压缩,还需要**校准(calibration)**来估计每个组的缩放范围。本项目使用:

校准项 取值
数据集 abisee/cnn_dailymail(train 分片)
样本数 1024
序列长度 512
算法 max
随机种子 1234

配置详见 conversion-manifest.json。

验收结果(GSM8K,1319 题) 门槛设为准确率 ≥ 0.965、空生成/截断/请求错误均为 0,最终 verdict: pass,准确率 97.27%(1283/1319):

README 中另有一组同口径实测:GSM8K 96.13%(1268/1319),以及 Terminal-Bench 2.1 达 69.4%(247/356,pass@1)。作为对照,源 NVFP4 检查点(lm_head 被量化)GSM8K 为 96.36%,差异落在温度 1.0 的单次采样噪声内——说明保留 BF16 lm_head 并未牺牲精度。

MTP 推测解译的平均接受长度 2.775(接受率 0.59),配合 NEXTN/EAGLE 加速,见 qualification.json。


文件导读:读懂仓库里的关键 JSON

仓库是只读的量化模型包,几个 JSON 就是"配方说明书",建议按此顺序阅读:

文件 作用
hf_quant_config.json ⭐ 逐层量化配方(400 层)核心,含 quantized_layers
conversion-manifest.json 转换环境、校准参数、精度契约、源版本
tensor-audit.json 张量审计:基础张量计数、scale 统计、总字节
qualification.json 验收结论:GSM8K、MTP、OOM、运行环境
qualification-criteria.json 验收门槛与运行时参数(含 FP8 KV、推测解译)
config.json 模型结构:64 层、layer_types、full_attention_interval
model.safetensors.index.json 张量到分片的映射(3 个分片)
README.md 总览、部署命令与评估

权重本体拆为 3 个分片:model-00001-of-00003.safetensors、model-00002-of-00003.safetensors、model-00003-of-00003.safetensors,合计约 21.9 GB、2194 个张量。许可为 Apache-2.0(LICENSE)。

📦 想快速核对某一层是否被量化,直接在 hf_quant_config.json 里搜 layers.<层号>.mlp 即可——出现 NVFP4 就是 4-bit,出现 FP8 就是 8-bit。


4×GB300 上的 SGLang 部署参数

本检查点在 4×NVIDIA GB300(Blackwell)、张量并行 TP4 的 SGLang 环境生成并验证。启动时启用 NEXTN 推测解译(3 步、topk 1、4 个草稿 token),并挂载 qwen3 推理解析器与 qwen3_coder 工具解析器:

sglang serve \
  --trust-remote-code \
  --model-path RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead \
  --tp-size 4 \
  --mem-fraction-static 0.75 \
  --speculative-algorithm NEXTN \
  --speculative-num-steps 3 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 4 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder \
  --host 0.0.0.0 --port 30000

关键运行参数与验收环境一致(qualification-criteria.json):kv_cache_dtype: fp8_e4m3、memory_fraction_static: 0.75、modelopt_loader: modelopt_fp4、tensor_parallel_size: 4。模型原生上下文最长 262,144 tokens,支持文本、图像、视频输入。


常见问题 FAQ

Q1:这个模型和源 NVFP4 检查点到底差在哪? 只差一点——本检查点的 lm_head 保留 BF16,未被量化;其余所有张量与源 NVFP4 检查点完全一致。

Q2:为什么不是全部压到 4-bit? 注意力对精度更敏感,压 4-bit 会掉点;lm_head 决定输出分布,保留 BF16 代价极低。混合配方在显存、速度与精度间取得平衡。

Q3:group_size 16 影响什么? 它是 NVFP4 的缩放分组粒度:每 16 个权重共享一个 scale。粒度越细、误差越小,这也是该配方能稳定通过 96.5% 精度门槛的关键。

Q4:能在非 GB300 上跑吗? 配方面向 NVIDIA Blackwell 验证(NVFP4 需相应硬件加速)。其他部署拓扑请遵循 SGLang 的 Qwen3.8-27B 指南,参数可参考 README.md 与 qualification-criteria.json。


小结:Qwen3.8-27B-NVFP4-BF16-LMHead 的配方非常清晰——192 个 MLP 投影走 NVFP4 W4A4(group_size 16),208 个注意力张量走 FP8,KV 用 FP8,lm_head/MTP/视觉塔保留 BF16。读懂 hf_quant_config.json 里这 400 个量化层,你就掌握了它"省在哪里、保在哪里"的全部逻辑。

登录后查看全文
Qwen3.8-27B-NVFP4-BF16-LMHead