诚实的精度权衡:Qwen3.8-27B-NVFP4-MTP-GGUF注意力BF16转NVFP4二次量化损失值不值

原创2026-11-12 22:40:221,868 阅读
文章标签:大模型模型量化多模态本地部署计算机视觉

诚实的精度权衡:Qwen3.8-27B-NVFP4-MTP-GGUF注意力BF16转NVFP4二次量化损失值不值

Qwen3.8-27B-NVFP4-MTP-GGUF 是一套为 NVIDIA Blackwell 显卡打造的九档 GGUF 量化模型家族。本文回答一个很实际的问题:为了把注意力层(Attention)从 BF16 二次量化到 NVFP4、换得约 2 倍的空间压缩,付出的精度损失到底值不值?以及普通用户该如何在 ORIG、MID-HIGH、HIGHEST 等九档中做出选择。

一、这个仓库是什么:一个"精度阶梯"式的 GGUF 家族

仓库基于 unsloth/Qwen3.8-27B-NVFP4 转换而来,面向 Qwen3.8-27B —— 一个原生视觉语言 27B 稠密模型(Gated DeltaNet + Gated Attention 混合架构,262,144 原生上下文,内置 MTP 推测解码头)。

整套家族共 9 个 GGUF 文件 + 1 个视觉投影器,核心思路是:MLP 主干保持 NVFP4 不折腾,只对"额外 10 个张量"(LM head、token embedding、MTP 草稿头)分档设置精度,从而形成一条从 14.86 GB 到 33.13 GB 的完整精度阶梯。

档位 大小 lm_head token_embd MTP head Attention
VERY-LOW.gguf 14.86 GB Q3_K Q2_K Q2_K NVFP4
COMPACT-LOW.gguf 15.16 GB Q4_K Q3_K Q2_K NVFP4
LOW.gguf 15.53 GB Q5_0 IQ4_XS IQ4_XS NVFP4
MEDIUM.gguf 16.38 GB Q8_0 Q6_K IQ4_XS NVFP4
MID-HIGH.gguf 16.90 GB Q8_0 Q8_0 Q8_0 NVFP4
HIGH.gguf 17.57 GB BF16 Q6_K IQ4_XS NVFP4
VERY-HIGH.gguf 19.69 GB BF16 BF16 BF16 NVFP4
HIGHEST.gguf 23.19 GB Q8_0 BF16 BF16 Q8_0
ORIG.gguf 33.13 GB BF16 BF16 BF16 BF16
mmproj-BF16.gguf 931 MB —(视觉投影器,配合 --mmproj 使用)

每一档的逐张量精度映射都以纯文本形式公开在仓库里(各 1,202 条),方便复现,例如 overrides-mid-high.txt、overrides-high.txt。

二、"二次量化"从何而来:F8 → BF16 → NVFP4 的链路

这是理解"值不值"的关键背景:

  1. 源模型是混合精度。上游 NVFP4 检查点里,第 0-55 层的 MLP 是 NVFP4(4-bit),而注意力层(self_attn、linear_attn 的投影矩阵)、LM head、第 56-63 层 MLP 是 F8 浮点量化(8-bit)。
  2. GGML 没有 F8 类型。llama.cpp 的转换器又不支持"多个量化配置组",于是作者先把 233 个 F8 张量反量化成 BF16,再转换为 ORIG(注意力以 BF16 形式落地)。
  3. 紧凑档位再做一次量化。七个紧凑档位(VERY-LOW ~ VERY-HIGH)把注意力从 BF16 进一步量化到 NVFP4 —— 这就是"二次量化":F8 → BF16 → NVFP4,对注意力张量来说是连续两次量化损失。

作者在 README 里有一段坦率的说明(原文称 Honest trade-off note):紧凑档位确实在注意力精度上相对源模型有损失;HIGHEST 用 Q8_0 替代 BF16 走注意力通路,"远比 ORIG 接近源模型的有效精度",且比 ORIG 小约 10 GB。这份诚实正是本文标题的由来。

三、实测数据:NVFP4 注意力换来了什么

作者没有跑正式 benchmark,但留下了两组有参考价值的单跑观察(明确声明"不要当作承诺"):

双 16 GB Blackwell 卡(RTX 5070 Ti + RTX 5060 Ti),180k 上下文负载:

档位 Prefill t/s Decode t/s MTP 接受率 MTP 平均长度
LOW 645.6 18.44 0.726 2.88
MEDIUM 649.3 18.48 0.749 2.91
MID-HIGH 649.0 18.00 0.765 2.82
HIGH 647.6 15.54 0.751 2.65
VERY-HIGH 650.4 15.42 0.729 2.77

社区 RTX 5090 32 GB 单卡实测(llama.cpp b10434,9 条短提示词,192K 上下文):

档位 MTP 接受率 平均 tok/s 峰值 tok/s
LOW 49.0% 148.3 203
MEDIUM 44.3% 133.7 182
VERY-HIGH 49.5% 111.9 139

三个值得注意的结论:

  • ✅ Prefill 各档几乎相同(~645-650 t/s)——因为 448 个张量的 NVFP4 主干在所有紧凑档位中字节级一致(经逐张量 SHA-256 校验)。注意力的 NVFP4 化影响的主要是显存占用,不是算力。
  • ⚡ Decode 出现两个梯队:Q5_0/Q8_0 lm_head 档位 ~18.4 t/s,BF16 lm_head 档位 ~15.5 t/s。BF16 头买的是输出质量,不是速度。
  • 🔍 质量抽查未见明显断崖:社区测试者在 LOW 档的抽查中输出连贯("写两句话"的提示词恰好输出两句话),长上下文(64K)还会提高 MTP 接受率(LOW 从 49% 升到 56%)。

换句话说:NVFP4 二次量化带来的"可见质量损失"在抽查中并不显著,而节省的 ~10-18 GB 显存是实实在在的——对 16 GB 消费级显卡用户,这笔交易整体划算。

四、怎么选:按显存和诉求对号入座 🧭

  • 追求保真度 / 研究对照:选 ORIG.gguf(33 GB,保留 BF16 注意力)或 HIGHEST.gguf(23 GB,Q8_0 注意力 + 原 NVFP4 MLP,是"最接近源布局的紧凑近似")。注意 ORIG 只能靠压缩上下文或 CPU offload 塞进单张 16 GB 卡,定位是保真源文件,不推荐直接部署。
  • 性价比甜点:MID-HIGH.gguf(16.9 GB)——三组头部张量全部 Q8_0,是紧凑主干能承载的最高精度头,也是家族中拆分模式下的最快 decode(25.98 t/s),MTP 接受率 0.765 与紧凑档持平。
  • 追求速度 / 单卡 16 GB:LOW.gguf(15.5 GB)——社区实测的吞吐冠军(148 t/s 平均 / 203 t/s 峰值),质量抽查无明显劣化。
  • 极致省显存:VERY-LOW.gguf(14.9 GB)或 COMPACT-LOW.gguf(15.2 GB,比 VERY-LOW 只贵 300 MB 却把 lm_head 从 Q3_K 提到 Q4_K,质量更稳)。

💡 还有一个判断依据:所有紧凑档共享同一套 448 张量 NVFP4 主干,换档位 ≈ 只换 10 个头部张量,所以档位之间的质量差异集中在 LM head / embedding / MTP 头上,注意力质量差异只在"紧凑档 vs HIGHEST/ORIG"之间才有意义。

五、快速上手:llama.cpp 一条命令跑起来 🚀

要求:较新的 llama.cpp(支持 NVFP4 / GGML type 40 的 CUDA kernel + sm_120 Blackwell 支持)与 draft-mtp 推测解码路径。

llama-server \
  --model Qwen3.8-27B-NVFP4-MTP-MID-HIGH.gguf \
  --mmproj mmproj-BF16.gguf \
  --ctx-size 262144 \
  --flash-attn on \
  --spec-type draft-mtp \
  --spec-draft-n-max 6 \
  --spec-draft-p-min 0.75 \
  --temp 0.7 --top-p 0.95 --top-k 20

要点提醒:

  • 视觉输入:加上 --mmproj mmproj-BF16.gguf(与 unsloth 官方投影器字节级一致)即可读图/读视频。
  • MTP 参数按硬件调:--spec-draft-n-max 建议试 1-6,以本机最快者为准(社区 5090 上 4 最快,作者配置为 6)。
  • 下载后先核对 SHA-256:有用户因 HF 缓存残留旧文件导致 MTP 接受率 0%,重新下载并校验哈希后恢复正常(各文件哈希完整列在 README.md 的 SHA-256 一节)。
  • 采样预设:thinking 模式 temp 1.0 / top_p 0.95 / top_k 20;instruct 模式 temp 0.7 / top_p 0.80 / top_k 20。

六、结论:损失值不值?

对绝大多数 16-32 GB Blackwell 用户:值。 二次量化的注意力损失真实存在,但抽查与实测数据都没有显示出质量断崖;换来的是从 33 GB 到 15-17 GB 的显存解放,以及 MTP 推测解码在短提示词下 140-200 tok/s 的流畅体验。

对追求保真的用户:不必硬扛——HIGHEST 以比 ORIG 小约 10 GB 的代价,把注意力路径恢复到 Q8_0 精度,是"损失与体积"之间最诚实的中间答案;而 ORIG 本身的意义在于它保留了源模型注意力质量的参照基线,也是全部档位的量化起点。

这套家族最有价值的地方,其实不是某个"最优档",而是它把每一次精度决策都摊开给你看:九个文件、九组 overrides 映射文件、逐张量 SHA-256,以及作者不回避损失的诚实注释——你随时可以知道自己在为什么买单。

登录后查看全文
Qwen3.8-27B-NVFP4-MTP-GGUF