诚实的精度权衡:Qwen3.8-27B-NVFP4-MTP-GGUF注意力BF16转NVFP4二次量化损失值不值
诚实的精度权衡:Qwen3.8-27B-NVFP4-MTP-GGUF注意力BF16转NVFP4二次量化损失值不值
Qwen3.8-27B-NVFP4-MTP-GGUF 是一套为 NVIDIA Blackwell 显卡打造的九档 GGUF 量化模型家族。本文回答一个很实际的问题:为了把注意力层(Attention)从 BF16 二次量化到 NVFP4、换得约 2 倍的空间压缩,付出的精度损失到底值不值?以及普通用户该如何在 ORIG、MID-HIGH、HIGHEST 等九档中做出选择。
一、这个仓库是什么:一个"精度阶梯"式的 GGUF 家族
仓库基于 unsloth/Qwen3.8-27B-NVFP4 转换而来,面向 Qwen3.8-27B —— 一个原生视觉语言 27B 稠密模型(Gated DeltaNet + Gated Attention 混合架构,262,144 原生上下文,内置 MTP 推测解码头)。
整套家族共 9 个 GGUF 文件 + 1 个视觉投影器,核心思路是:MLP 主干保持 NVFP4 不折腾,只对"额外 10 个张量"(LM head、token embedding、MTP 草稿头)分档设置精度,从而形成一条从 14.86 GB 到 33.13 GB 的完整精度阶梯。
| 档位 | 大小 | lm_head | token_embd | MTP head | Attention |
|---|---|---|---|---|---|
| VERY-LOW.gguf | 14.86 GB | Q3_K | Q2_K | Q2_K | NVFP4 |
| COMPACT-LOW.gguf | 15.16 GB | Q4_K | Q3_K | Q2_K | NVFP4 |
| LOW.gguf | 15.53 GB | Q5_0 | IQ4_XS | IQ4_XS | NVFP4 |
| MEDIUM.gguf | 16.38 GB | Q8_0 | Q6_K | IQ4_XS | NVFP4 |
| MID-HIGH.gguf | 16.90 GB | Q8_0 | Q8_0 | Q8_0 | NVFP4 |
| HIGH.gguf | 17.57 GB | BF16 | Q6_K | IQ4_XS | NVFP4 |
| VERY-HIGH.gguf | 19.69 GB | BF16 | BF16 | BF16 | NVFP4 |
| HIGHEST.gguf | 23.19 GB | Q8_0 | BF16 | BF16 | Q8_0 |
| ORIG.gguf | 33.13 GB | BF16 | BF16 | BF16 | BF16 |
| mmproj-BF16.gguf | 931 MB | —(视觉投影器,配合 --mmproj 使用) |
每一档的逐张量精度映射都以纯文本形式公开在仓库里(各 1,202 条),方便复现,例如 overrides-mid-high.txt、overrides-high.txt。
二、"二次量化"从何而来:F8 → BF16 → NVFP4 的链路
这是理解"值不值"的关键背景:
- 源模型是混合精度。上游 NVFP4 检查点里,第 0-55 层的 MLP 是 NVFP4(4-bit),而注意力层(self_attn、linear_attn 的投影矩阵)、LM head、第 56-63 层 MLP 是 F8 浮点量化(8-bit)。
- GGML 没有 F8 类型。llama.cpp 的转换器又不支持"多个量化配置组",于是作者先把 233 个 F8 张量反量化成 BF16,再转换为 ORIG(注意力以 BF16 形式落地)。
- 紧凑档位再做一次量化。七个紧凑档位(VERY-LOW ~ VERY-HIGH)把注意力从 BF16 进一步量化到 NVFP4 —— 这就是"二次量化":F8 → BF16 → NVFP4,对注意力张量来说是连续两次量化损失。
作者在 README 里有一段坦率的说明(原文称 Honest trade-off note):紧凑档位确实在注意力精度上相对源模型有损失;HIGHEST 用 Q8_0 替代 BF16 走注意力通路,"远比 ORIG 接近源模型的有效精度",且比 ORIG 小约 10 GB。这份诚实正是本文标题的由来。
三、实测数据:NVFP4 注意力换来了什么
作者没有跑正式 benchmark,但留下了两组有参考价值的单跑观察(明确声明"不要当作承诺"):
双 16 GB Blackwell 卡(RTX 5070 Ti + RTX 5060 Ti),180k 上下文负载:
| 档位 | Prefill t/s | Decode t/s | MTP 接受率 | MTP 平均长度 |
|---|---|---|---|---|
| LOW | 645.6 | 18.44 | 0.726 | 2.88 |
| MEDIUM | 649.3 | 18.48 | 0.749 | 2.91 |
| MID-HIGH | 649.0 | 18.00 | 0.765 | 2.82 |
| HIGH | 647.6 | 15.54 | 0.751 | 2.65 |
| VERY-HIGH | 650.4 | 15.42 | 0.729 | 2.77 |
社区 RTX 5090 32 GB 单卡实测(llama.cpp b10434,9 条短提示词,192K 上下文):
| 档位 | MTP 接受率 | 平均 tok/s | 峰值 tok/s |
|---|---|---|---|
| LOW | 49.0% | 148.3 | 203 |
| MEDIUM | 44.3% | 133.7 | 182 |
| VERY-HIGH | 49.5% | 111.9 | 139 |
三个值得注意的结论:
- ✅ Prefill 各档几乎相同(~645-650 t/s)——因为 448 个张量的 NVFP4 主干在所有紧凑档位中字节级一致(经逐张量 SHA-256 校验)。注意力的 NVFP4 化影响的主要是显存占用,不是算力。
- ⚡ Decode 出现两个梯队:Q5_0/Q8_0 lm_head 档位 ~18.4 t/s,BF16 lm_head 档位 ~15.5 t/s。BF16 头买的是输出质量,不是速度。
- 🔍 质量抽查未见明显断崖:社区测试者在 LOW 档的抽查中输出连贯("写两句话"的提示词恰好输出两句话),长上下文(64K)还会提高 MTP 接受率(LOW 从 49% 升到 56%)。
换句话说:NVFP4 二次量化带来的"可见质量损失"在抽查中并不显著,而节省的 ~10-18 GB 显存是实实在在的——对 16 GB 消费级显卡用户,这笔交易整体划算。
四、怎么选:按显存和诉求对号入座 🧭
- 追求保真度 / 研究对照:选 ORIG.gguf(33 GB,保留 BF16 注意力)或 HIGHEST.gguf(23 GB,Q8_0 注意力 + 原 NVFP4 MLP,是"最接近源布局的紧凑近似")。注意 ORIG 只能靠压缩上下文或 CPU offload 塞进单张 16 GB 卡,定位是保真源文件,不推荐直接部署。
- 性价比甜点:MID-HIGH.gguf(16.9 GB)——三组头部张量全部 Q8_0,是紧凑主干能承载的最高精度头,也是家族中拆分模式下的最快 decode(25.98 t/s),MTP 接受率 0.765 与紧凑档持平。
- 追求速度 / 单卡 16 GB:LOW.gguf(15.5 GB)——社区实测的吞吐冠军(148 t/s 平均 / 203 t/s 峰值),质量抽查无明显劣化。
- 极致省显存:VERY-LOW.gguf(14.9 GB)或 COMPACT-LOW.gguf(15.2 GB,比 VERY-LOW 只贵 300 MB 却把 lm_head 从 Q3_K 提到 Q4_K,质量更稳)。
💡 还有一个判断依据:所有紧凑档共享同一套 448 张量 NVFP4 主干,换档位 ≈ 只换 10 个头部张量,所以档位之间的质量差异集中在 LM head / embedding / MTP 头上,注意力质量差异只在"紧凑档 vs HIGHEST/ORIG"之间才有意义。
五、快速上手:llama.cpp 一条命令跑起来 🚀
要求:较新的 llama.cpp(支持 NVFP4 / GGML type 40 的 CUDA kernel + sm_120 Blackwell 支持)与 draft-mtp 推测解码路径。
llama-server \
--model Qwen3.8-27B-NVFP4-MTP-MID-HIGH.gguf \
--mmproj mmproj-BF16.gguf \
--ctx-size 262144 \
--flash-attn on \
--spec-type draft-mtp \
--spec-draft-n-max 6 \
--spec-draft-p-min 0.75 \
--temp 0.7 --top-p 0.95 --top-k 20
要点提醒:
- 视觉输入:加上
--mmproj mmproj-BF16.gguf(与 unsloth 官方投影器字节级一致)即可读图/读视频。 - MTP 参数按硬件调:
--spec-draft-n-max建议试 1-6,以本机最快者为准(社区 5090 上 4 最快,作者配置为 6)。 - 下载后先核对 SHA-256:有用户因 HF 缓存残留旧文件导致 MTP 接受率 0%,重新下载并校验哈希后恢复正常(各文件哈希完整列在 README.md 的 SHA-256 一节)。
- 采样预设:thinking 模式
temp 1.0 / top_p 0.95 / top_k 20;instruct 模式temp 0.7 / top_p 0.80 / top_k 20。
六、结论:损失值不值?
对绝大多数 16-32 GB Blackwell 用户:值。 二次量化的注意力损失真实存在,但抽查与实测数据都没有显示出质量断崖;换来的是从 33 GB 到 15-17 GB 的显存解放,以及 MTP 推测解码在短提示词下 140-200 tok/s 的流畅体验。
对追求保真的用户:不必硬扛——HIGHEST 以比 ORIG 小约 10 GB 的代价,把注意力路径恢复到 Q8_0 精度,是"损失与体积"之间最诚实的中间答案;而 ORIG 本身的意义在于它保留了源模型注意力质量的参照基线,也是全部档位的量化起点。
这套家族最有价值的地方,其实不是某个"最优档",而是它把每一次精度决策都摊开给你看:九个文件、九组 overrides 映射文件、逐张量 SHA-256,以及作者不回避损失的诚实注释——你随时可以知道自己在为什么买单。