别只听我说:Qwen3.8-27B-NVFP4的qualification与tensor-audit证据链如何验证可信度

原创2026-10-17 18:05:431,744 阅读

别只听我说:Qwen3.8-27B-NVFP4的qualification与tensor-audit证据链如何验证可信度

Qwen3.8-27B-NVFP4 是 RadixArk 基于 Qwen3.8-27B 用 NVIDIA Model Optimizer 完成 NVFP4 混合精度量化的模型检查点。下载 22 GB 的量化模型之前,你凭什么相信"量化没有把模型弄坏"?答案不在宣传文案里,而在仓库根目录的 4 份 JSON 文件中:conversion-manifest.json 证明出身,tensor-audit.json 逐张"体检"张量,qualification-criteria.json 提前锁死及格线,qualification.json 给出最终成绩单。这套环环相扣的"证据链",让可信度从一句口号变成可逐条核对的数据。

为什么量化模型需要一条"证据链" 🕵️

量化的本质是用更低的精度(如 NVFP4 的 4 位浮点)换取体积和速度。代价是:权重分布变了,理论上可能悄悄损失能力。

一个负责任的量化发布,应该回答四个问题:

问题 证据文件 类比
原料从哪来? conversion-manifest.json 出身证明
每个部件精度对不对? tensor-audit.json 体检报告
及格线是多少? qualification-criteria.json 赛前立下的规则
实测过了没有? qualification.json 最终成绩单

四份文件各自独立,但通过数字和哈希值相互咬合,任何一环对不上,整条链就断了。

第一环:conversion-manifest.json 证明"出身"

打开 conversion-manifest.json,第一眼就能看到最关键的溯源信息:

  • 来源:Qwen/Qwen3.8-27B,精确到提交号 e13a4f0e35203116364e3b3f3f0c82f6ef1afd3c,而不是模糊的"基于 Qwen 模型"。
  • 原料清单:源仓库全部 99 个文件、18 个 safetensors 分片,逐一列出 sha256 校验和与字节数(约 55.6 GB 原始载荷)。你完全可以本地复算哈希来确认原料未被篡改。
  • 工具版本:Model Optimizer 精确到 commit 87c9f8cf…;环境里 torch 2.11.0+cu130、Python 3.12.3、CUDA 13.0 全部写明。
  • 校准配方:1,024 条 cnn_dailymail 训练集样本、序列长 512、随机种子 1234——校准参数可复现。
  • 精度契约:precision_contract 明确写下哪些部分用 NVFP4(MLP 与 lm_head,group size 16)、哪些用 FP8(Attention)、哪些保留 BF16 原精度(MTP 与视觉模块)。

这份"契约"是后面所有核查的比对基准。

第二环:tensor-audit.json 对 2,194 个张量逐一"过秤"

tensor-audit.json 只有短短 20 行,却是对产物本身最硬核的审计:

审计项 数值 含义
output_tensor_count 2,194 输出张量总数(3 个分片)
NVFP4 base 193 按契约应量化为 NVFP4 的张量
FP8 base 208 按契约应量化为 FP8 的张量
scale_tensor_count 995 量化所需的缩放因子张量齐全
unchanged_tensor_count 798 视觉/MTP 等保留 BF16 原样的张量
verdict pass 审计结论

它回答的核心问题是:"契约说 NVFP4 的地方,是不是真的 NVFP4?该带 scale 的张量,scale 一个不少?该原样保留的 798 个张量,字节数是否分毫不差(约 4.37 GB)?"

再交叉验证一下体积:model.safetensors.index.json 显示输出总载荷 21,921,428,072 字节(约 21.9 GB),相比源模型的约 55.6 GB 缩小了六成以上——这正是 W4A4 量化该有的样子,而不是玄学。

想逐层看每个投影矩阵用了什么精度,hf_quant_config.json 给出了按层展开的完整清单,例如 mlp.gate_proj 全部标注 NVFP4、group size 16,linear_attn.* 标注 FP8,与审计文件的聚合数字完全吻合。

第三环:qualification-criteria.json 提前锁死"及格线"

这是证据链里最容易被忽视、却最关键的一环:qualification-criteria.json 在评测开始前就写明了通过标准(gates):

  • minimum_accuracy: 0.965——准确率至少 96.5%
  • stop_rate: 1.0——100% 的样本必须正常结束
  • maximum_request_errors: 0、maximum_truncations: 0——不允许任何请求错误或被截断
  • target_oom_kills: 0——全程不允许 OOM
  • minimum_mtp_acceptance_length: 1.0——投机采样(MTP)必须有基本收益

先立规则再考试,比"考完再说及格线"可信得多。文件里还固定了评测配置:GSM8K 数据集修订号、thinking 模式、temperature=1.0、top_p=0.95、top_k=20,以及 SGLang 引擎的具体 revision,确保任何第三方都能按同样条件复测。

第四环:qualification.json 最终成绩单

qualification.json 把所有证据汇总成一份"判决书",核心数字一览:

  • GSM8K 准确率 97.27%(1,319 题答对 1,283),高于 96.5% 的及格线 ✅
  • stop_rate: 1.0,truncations: 0,request_errors: 0——1,319 条全部正常收尾
  • MTP 最终 final_acceptance_length: 2.775,远超 1.0 的门槛
  • oom_kills 四个时间点(启动前、加载后、评测后、关闭后)全部为 0
  • 运行环境:4 张 NVIDIA GB300、TP4、SGLang,与 README.md 中的评测说明一致
  • 最终 "verdict": "pass",且 checkpoint.audit_verdict 同样是 pass

更有说服力的是 evidence_sha256 字段:它为评测日志、评测指标、逐题预测、服务器日志、tensor 审计等 8 份底层证据文件各存了一个 sha256 指纹。也就是说,这份成绩单不是孤立的自述,而是"钉"在一组可复核的原始产物上的。

普通人三步快速自查清单 ✅

拿到任何量化模型仓库,按这个顺序看 30 秒:

  1. 看判决:打开 qualification.json,确认 verdict 为 pass,且准确率高于 criteria 中的 minimum_accuracy。
  2. 对账本:对照 tensor-audit.json 与 hf_quant_config.json,确认 NVFP4/FP8/BF16 的张量数量与声明的精度策略一致。
  3. 查出身:翻 conversion-manifest.json,确认源模型 revision、工具 commit 和环境版本齐全,必要时复算文件 sha256。

三步都通过,"别只听我说"就变成了"数据自己说"。这正是 Qwen3.8-27B-NVFP4 这套证据链的价值:它不保证模型完美,但保证了你看到的一切指标,都有据可查、可复现、可追责。📎

登录后查看全文
Qwen3.8-27B-NVFP4