NVFP4量化到底是什么?Qwen3.6-35B-A3B-NVFP4项目完整入门指南
NVFP4量化到底是什么?Qwen3.6-35B-A3B-NVFP4项目完整入门指南
如果你听说过大模型"瘦身",那 NVFP4 量化就是目前最前沿的方案之一。本文带你从零看懂 NVFP4 量化:Qwen3.6-35B-A3B-NVFP4 项目将 Qwen3.6-35B-A3B 混合专家(MoE)模型的权重和激活值全部压缩到 4 位浮点格式,体积缩小约 4 倍,而 12 项基准测试的精度保留率平均超过 95%。下面用 5 分钟完成入门。
什么是NVFP4量化?为什么值得了解
量化(Quantization) 就是把模型参数从高精度(如 BF16 的 16 位)压缩到低精度(如 4 位),从而减少显存占用、提升吞吐、降低部署成本。
NVFP4 是一种 4 位浮点量化格式,可以理解为"4bit 版 float",它的核心设计是两级缩放:
| 特性 | 说明 |
|---|---|
| 数值位宽 | 每个权重/激活值仅占 4 bit(BF16 需要 16 bit) |
| 分组粒度 | 每 16 个数值共享一组缩放系数(group_size: 16) |
| 缩放系数精度 | 缩放值本身用 FP8(float8_e4m3fn)存储,即"双重量化" |
| 量化范围 | 权重 + 输入激活值都参与量化(W4A4),而非只压权重 |
打开 config.json 可以看到项目的实际量化配置:format: nvfp4-pack-quantized、num_bits: 4、group_size: 16、symmetric: true。权重使用静态校准,激活值使用动态量化(dynamic: local),这是兼顾精度与推理速度的常见组合。
量化配方则完整记录在 recipe.yaml 中:目标为所有 Linear 层,方案为 NVFP4,并明确列出了不参与量化的层(视觉塔、linear_attn、路由门控等敏感模块),这是保证精度不塌方的关键技巧。
NVFP4 vs BF16:压缩了多少
以 BF16 为 16 bit 基准,NVFP4 每个数值仅用 4 bit,再算上 FP8 缩放系数开销,权重体积约为原来的 1/4。对 35B 参数的模型来说,这意味着:
- 📦 显存占用大幅下降,单卡可装下的模型更大
- ⚡ 内存带宽压力显著减小(大模型推理通常是带宽瓶颈)
- 💰 同样的 GPU 能服务更多并发请求
项目里有什么?核心文件速览
这是一个开箱即用的 HuggingFace 模型仓库,文件组织非常清晰:
| 文件/目录 | 作用 |
|---|---|
| config.json | 模型架构 + NVFP4 量化配置(quantization_config) |
| generation_config.json | 推荐采样参数(top_p: 0.95、top_k: 20) |
| recipe.yaml | 量化配方(llm-compressor 格式) |
| model.safetensors / model_visual.safetensors | 语言主干与视觉塔权重 |
| model_mtp.safetensors | MTP(多词元预测)层,保持原精度未量化 |
| nvfp4_every_eval_ever/ | NVFP4 版的 8 项基准评测结果 |
| bf16_every_eval_ever/ | BF16 原版基准结果(对照组) |
| score/data_overall.csv / base_score/data_overall.csv | BFCL 工具调用评测总表(量化版 vs 原版) |
| results_35B-A3B_NVFP4_all.txt | BFCL 全量测试原始输出 |
从 config.json 可以看到模型底子:256 个专家、每 token 激活 8 个(A3B 的含义)、40 层、上下文长度最高 262144(约 256K)。仓库还附带 chat_template.jinja 与完整 tokenizer,可直接用于对话服务。
3步部署你的NVFP4模型
该项目已在 vLLM 0.24.0、RHOAI 3.5、RHAIIS 3.5 上验证通过,部署只需 3 步。
第1步:克隆模型仓库
git lfs install
git clone https://gitcode.com/hf_mirrors/RedHatAI/Qwen3.6-35B-A3B-NVFP4
第2步:一行命令启动 vLLM 服务
根据 README.md 的官方说明:
vllm serve RedHatAI/Qwen3.6-35B-A3B-NVFP4 \
--reasoning-parser qwen3 \
--enable-prefix-caching \
--moe_backend flashinfer_cutlass
第3步:关键参数为什么这么写
--reasoning-parser qwen3:解析模型的推理(thinking)块,仓库元数据中也声明了enable_thinking: true默认开启--enable-prefix-caching:前缀缓存,对多轮对话、Agent 场景提速明显--moe_backend flashinfer_cutlass:MoE 计算后端。README 特别提示:如果你的硬件算力大于显存带宽,这个 MoE 变体性能更优
只跑语言任务时,可加上 --language-model-only 参数跳过视觉部分。
量化后精度如何?12项基准一目了然
大家最关心的问题是:压到 4 bit 后"傻"了多少?项目作者用 lm-evaluation-harness、lighteval、SWE-bench、BFCL v4 做了完整对照实验(每项跑 3 个随机种子取平均),结果收录在 README.md。
| 基准 | BF16 原版 | NVFP4 量化版 | 精度保留率 |
|---|---|---|---|
| GSM8K Platinum(数学) | 95.73 | 96.08 | 100.37% |
| IfEval(指令遵循) | 93.09 | 92.45 | 99.31% |
| AIME 2025(竞赛数学) | 92.92 | 91.25 | 98.21% |
| GPQA Diamond(研究生科学) | 84.51 | 84.68 | 100.20% |
| Math 500 | 84.80 | 85.00 | 100.24% |
| LiveCodeBench v6(代码) | 77.33 | 74.67 | 96.55% |
| MMLU-Pro(知识) | 85.32 | 84.70 | 99.28% |
| BFCLv4 Overall(工具调用) | 57.83 | 56.10 | 97.01% |
| BFCLv4 Multi-Turn(多轮) | 62.25 | 58.13 | 93.38% |
| BFCLv4 Agentic(智能体) | 49.91 | 49.31 | 98.80% |
| SWE-bench Verified(修 Bug) | 54.8 | 50.2 | 91.61% |
💡 结论:11 项保留率 ≥ 96%,多项甚至反超原版(如 GSM8K、GPQA、Math 500)。只有长程 Agent 任务(SWE-bench、多轮工具调用)掉得稍多,但仍在 91% 以上。
逐项原始数据可在 nvfp4_every_eval_ever/ 中核对,例如 nvfp4_every_eval_ever/swebench.json 显示 500 个实例中解决了 251 个;对照原版见 bf16_every_eval_ever/swebench.json(解决 274 个)。
BFCL 工具调用还能拆得更细,来自 score/data_overall.csv 与 base_score/data_overall.csv 的对比:
| BFCL 维度 | 原版 | NVFP4 | 点评 |
|---|---|---|---|
| 非实时 AST(单次工具调用) | 38.33% | 39.02% | 量化版反而更高 |
| 实时 Live | 69.28% | 67.88% | 小幅下降 |
| 多轮 Multi-Turn | 62.25% | 58.13% | 长程任务略受影响 |
| 智能体 Agentic | 49.91% | 49.31% | 基本持平 |
评测还统计了成本与延迟:两版总成本相差仅 $0.15($14.97 vs $15.12),NVFP4 平均延迟 13.46s 略低于原版的 13.66s。
这个模型能做什么?
结合仓库元数据与配置,Qwen3.6-35B-A3B-NVFP4 的核心能力:
- 🛠 工具调用(Tool Calling):已通过 BFCL v4 认证(
tool_calling_supported: true),支持qwen3_coder解析器 - 🧠 推理模式:默认开启
enable_thinking,适合数学、代码等需要"想清楚再答"的场景 - 🖼 图文理解:带视觉塔(image-text-to-text),可看图回答
- 📚 超长上下文:最大 262K token,适合处理整本技术文档
- 🚀 MTP 加速:多词元预测层以原始精度保留在 model_mtp.safetensors 中,部分推理框架可借此加速生成
常见问题 FAQ
Q1:为什么视觉层、注意力层没有被量化?
4 bit 对数值敏感的结构会造成不可逆精度损失。recipe.yaml 的 ignore 列表将视觉塔、linear_attn、lm_head、专家路由门控(mlp.gate、shared_expert_gate)等排除在外,只压大头的 Linear 层——这是"精度保留率 95%+"的根本原因。
Q2:MTP 层为什么单独一个文件? 量化脚本加载模型时不含 MTP 层,因此这些层从原检查点原样拷贝保存(见 README.md),保证多词元预测能力不受量化影响。
Q3:如何自己复现 NVFP4 量化?
README.md 完整给出了基于 llm-compressor 的脚本:用 256 条 UltraChat 样本、4096 长度做校准,并对所有专家做校准(moe_calibrate_all_experts=True),最后以 compressed-tensors 格式保存。
Q4:和 INT4 量化比,NVFP4 好在哪? INT4 是定点整数,动态范围小,极端值易截断;NVFP4 每个 16 值小组自带独立缩放,浮点格式动态范围更大,因此 W4A4 下精度损失更小——本项目的 11 项 96%+ 保留率就是例证。
写在最后
NVFP4 量化让 35B 级 MoE 模型在消费级/单卡环境部署变得更现实:体积 1/4、精度 95%+、一行 vllm 命令即可启动。如果你的场景是工具调用、数学推理或长文档处理,可以直接用 config.json 中的这套配置起步;如果对 SWE-bench 类超长程任务精度要求苛刻,可再权衡是否使用 BF16 原版。动手部署吧!