如何用121项自动化测试验证量化模型正确性:Qwen3.8-27B-QUASAR-NVFP4-NInfer验证清单全公开
如何用121项自动化测试验证量化模型正确性:Qwen3.8-27B-QUASAR-NVFP4-NInfer验证清单全公开
🎯 Qwen3.8-27B-QUASAR-NVFP4-NInfer 是一个基于 NVFP4 量化感知训练(QAT)的大模型推理构件,面向 NVIDIA Blackwell GPU 的 NInfer 运行时发布。它最值得关注的一点:整个发布流程配套了 121 项自动化测试(CTest)+ 9 条真实构件验证路线 + 逐字节比对,把量化模型正确性验证做得异常透明。本文公开这份完整验证清单,帮你判断"这个量化模型能不能信"。
为什么量化模型需要专门的验证?
把 27B 参数的模型压成 NVFP4(4-bit 浮点),风险远不止"精度掉一点":
- 权重转换可能出错:E2M1 编码、E4M3 分块缩放、FP32 全局除数一旦搬错,输出直接失真;
- 容器格式迁移可能丢权重:从 v2 容器升级到 v3 容器时,任何意外重量化都会悄悄改变模型;
- 推测解码(Speculative Decoding)路径复杂:MTP、DFlash2 等加速路线与 KV 缓存格式的组合极易出现隐蔽 bug。
量化模型验证的核心思路就是:用大量可复现的自动化测试,证明"转换没破坏模型"和"运行时输出与基线一致"。这正是本项目所做的。
验证环境:先交代清楚测试条件
验证在真实硬件上完成,而非模拟环境:
| 项目 | 配置 |
|---|---|
| GPU | NVIDIA GeForce RTX 5090 Laptop GPU(24 GiB) |
| 驱动 | 595.91.07 |
| CUDA Toolkit | 13.1.115 |
| 编译目标 | Release / sm_120a |
| Python | 3.11.16 |
完整环境记录在 artifact-manifest.json 的 validation 字段中。
第一层:121项自动化测试全量通过
运行时集成验证时,完整构建并跑通了 121 项自包含的 CTest 检查,全部通过后才允许发布。这些测试覆盖:
- 容器解析、目录结构、对象编码的有效性
- 各 KV 缓存格式(BF16、INT8、FP8、NVFP4、K8V4、KVarN)的读写一致性
- 推测解码(MTP 1–5 草稿 token、DFlash2 1–15 草稿 token)的状态机逻辑
- CUDA Graphs、前缀复用、检查点/状态恢复等运行时路径
第二层:9条真实构件验证路线
仅跑单元测试还不够——项目用发布版构件本身(而非占位数据)跑通了 9 条端到端验证路线,清单如下(源自 artifact-manifest.json 的 routes 字段):
| # | 验证路线 | 验证内容 |
|---|---|---|
| 1 | 资源加载 | Vision、MTP、优化提案头资源的加载与绑定 |
| 2 | prefill 一致性 | 不同缓存策略下 prefill 状态与 logit 逐位一致 |
| 3 | 因果评分隔离 | 评分 tile、重叠后缀、重复窗口的隔离性 |
| 4 | MTP3 × 全 KV 格式 | C=1 下 6 种 KV 格式,每种输出 512 token 的贪心一致性 |
| 5 | MTP5 高并发 | C=8,KVarN/BF16,128–121 token 不等预算的贪心一致性 |
| 6 | 前缀复用 | C=2,不等的 KVarN 恢复前缀(预算 128/127) |
| 7 | DFlash2 深草稿 | K15、C=2、INT8、CUDA Graphs、优化头与检查点状态 |
| 8 | 视觉停止/恢复 | KVarN MTP5 下 Vision 的停止/恢复与媒体续接 |
| 9 | 状态真实恢复 | Host 状态的真实恢复验证 |
💡 所谓"贪心一致性(greedy parity)",是指推测解码的输出必须与普通解码在同一运行时内逐 token 相同——这是量化构件最硬的 correctness 判据。
第三层:逐字节比对 v2→v3 迁移
2026-09-27 的 v3 升级不是"重新训练",而是纯格式迁移。qwen3_8_27b_nvfp4.ninfer.upgrade.json 给出了逐项核验结果:
- ✅
all_tensor_payloads_byte_equal: true—— 全部 1,328 个张量载荷逐字节相同 - ✅ 5 个前端资源保持不变,仅 chat template 被受控替换
- ✅
requantized_weights: false—— 零重量化 - ✅ 替换模板与运行时维护版本 SHA-256 精确相等
这是"迁移未动权重"最有力的证据。
下载后如何自行验证?
发布文件 19,782,432,752 字节(18.42 GiB),SHA-256 为 29bd2a54...2587b。用仓库自带的 SHA256SUMS 一键核验:
hf download MirkoCovizzi/Qwen3.8-27B-QUASAR-NVFP4-NInfer \
qwen3_8_27b_nvfp4.ninfer SHA256SUMS \
--revision v3 --local-dir models/quasar-v3
(cd models/quasar-v3 && sha256sum --check SHA256SUMS)
校验通过后,文件完整性即与发布方逐字节等价。
诚实的边界:验证清单不覆盖什么
项目同样明确标注了验证不能证明的事(见 artifact-manifest.json 的 limits 字段):
- 未做全语料困惑度(perplexity)或大范围质量评测;
- 贪心一致性仅在同一运行时内成立,跨版本输出不承诺一致;
- 性能对比未完成,本次发布不做新的加速/质量声明。
这种"能证明什么、不能证明什么"的显式区分,是评估任何量化模型发布的关键素养。
关键文件速查
| 文件 | 用途 |
|---|---|
| README.md | 验证与限制说明(121 项测试与 9 条路线出处) |
| artifact-manifest.json | 构件元数据、张量清单与验证记录 |
| qwen3_8_27b_nvfp4.ninfer.upgrade.json | v2→v3 迁移逐字节验证报告 |
| qwen3_8_27b_nvfp4.v2.conversion.json | 原始 v2 转换配方与来源溯源 |
| SHA256SUMS | 发布文件完整性校验清单 |
总结
📋 Qwen3.8-27B-QUASAR-NVFP4-NInfer 的验证体系可概括为三道闸门:121 项 CTest 自动化测试 → 9 条真实构件端到端路线 → v2/v3 逐字节比对,外加 SHA-256 下载校验兜底。对于任何"量化模型是否可靠"的疑问,这份清单展示了一套可复制的工程实践:环境钉死、测试自包含、证据可复现、边界讲清楚。