别只听我说:Qwen3.8-27B-NVFP4的qualification与tensor-audit证据链如何验证可信度
别只听我说:Qwen3.8-27B-NVFP4的qualification与tensor-audit证据链如何验证可信度
Qwen3.8-27B-NVFP4 是 RadixArk 基于 Qwen3.8-27B 用 NVIDIA Model Optimizer 完成 NVFP4 混合精度量化的模型检查点。下载 22 GB 的量化模型之前,你凭什么相信"量化没有把模型弄坏"?答案不在宣传文案里,而在仓库根目录的 4 份 JSON 文件中:conversion-manifest.json 证明出身,tensor-audit.json 逐张"体检"张量,qualification-criteria.json 提前锁死及格线,qualification.json 给出最终成绩单。这套环环相扣的"证据链",让可信度从一句口号变成可逐条核对的数据。
为什么量化模型需要一条"证据链" 🕵️
量化的本质是用更低的精度(如 NVFP4 的 4 位浮点)换取体积和速度。代价是:权重分布变了,理论上可能悄悄损失能力。
一个负责任的量化发布,应该回答四个问题:
| 问题 | 证据文件 | 类比 |
|---|---|---|
| 原料从哪来? | conversion-manifest.json | 出身证明 |
| 每个部件精度对不对? | tensor-audit.json | 体检报告 |
| 及格线是多少? | qualification-criteria.json | 赛前立下的规则 |
| 实测过了没有? | qualification.json | 最终成绩单 |
四份文件各自独立,但通过数字和哈希值相互咬合,任何一环对不上,整条链就断了。
第一环:conversion-manifest.json 证明"出身"
打开 conversion-manifest.json,第一眼就能看到最关键的溯源信息:
- 来源:
Qwen/Qwen3.8-27B,精确到提交号e13a4f0e35203116364e3b3f3f0c82f6ef1afd3c,而不是模糊的"基于 Qwen 模型"。 - 原料清单:源仓库全部 99 个文件、18 个 safetensors 分片,逐一列出 sha256 校验和与字节数(约 55.6 GB 原始载荷)。你完全可以本地复算哈希来确认原料未被篡改。
- 工具版本:Model Optimizer 精确到 commit
87c9f8cf…;环境里 torch2.11.0+cu130、Python3.12.3、CUDA 13.0 全部写明。 - 校准配方:1,024 条
cnn_dailymail训练集样本、序列长 512、随机种子 1234——校准参数可复现。 - 精度契约:
precision_contract明确写下哪些部分用 NVFP4(MLP 与 lm_head,group size 16)、哪些用 FP8(Attention)、哪些保留 BF16 原精度(MTP 与视觉模块)。
这份"契约"是后面所有核查的比对基准。
第二环:tensor-audit.json 对 2,194 个张量逐一"过秤"
tensor-audit.json 只有短短 20 行,却是对产物本身最硬核的审计:
| 审计项 | 数值 | 含义 |
|---|---|---|
output_tensor_count |
2,194 | 输出张量总数(3 个分片) |
NVFP4 base |
193 | 按契约应量化为 NVFP4 的张量 |
FP8 base |
208 | 按契约应量化为 FP8 的张量 |
scale_tensor_count |
995 | 量化所需的缩放因子张量齐全 |
unchanged_tensor_count |
798 | 视觉/MTP 等保留 BF16 原样的张量 |
verdict |
pass | 审计结论 |
它回答的核心问题是:"契约说 NVFP4 的地方,是不是真的 NVFP4?该带 scale 的张量,scale 一个不少?该原样保留的 798 个张量,字节数是否分毫不差(约 4.37 GB)?"
再交叉验证一下体积:model.safetensors.index.json 显示输出总载荷 21,921,428,072 字节(约 21.9 GB),相比源模型的约 55.6 GB 缩小了六成以上——这正是 W4A4 量化该有的样子,而不是玄学。
想逐层看每个投影矩阵用了什么精度,hf_quant_config.json 给出了按层展开的完整清单,例如 mlp.gate_proj 全部标注 NVFP4、group size 16,linear_attn.* 标注 FP8,与审计文件的聚合数字完全吻合。
第三环:qualification-criteria.json 提前锁死"及格线"
这是证据链里最容易被忽视、却最关键的一环:qualification-criteria.json 在评测开始前就写明了通过标准(gates):
minimum_accuracy: 0.965——准确率至少 96.5%stop_rate: 1.0——100% 的样本必须正常结束maximum_request_errors: 0、maximum_truncations: 0——不允许任何请求错误或被截断target_oom_kills: 0——全程不允许 OOMminimum_mtp_acceptance_length: 1.0——投机采样(MTP)必须有基本收益
先立规则再考试,比"考完再说及格线"可信得多。文件里还固定了评测配置:GSM8K 数据集修订号、thinking 模式、temperature=1.0、top_p=0.95、top_k=20,以及 SGLang 引擎的具体 revision,确保任何第三方都能按同样条件复测。
第四环:qualification.json 最终成绩单
qualification.json 把所有证据汇总成一份"判决书",核心数字一览:
- GSM8K 准确率 97.27%(1,319 题答对 1,283),高于 96.5% 的及格线 ✅
stop_rate: 1.0,truncations: 0,request_errors: 0——1,319 条全部正常收尾- MTP 最终
final_acceptance_length: 2.775,远超 1.0 的门槛 oom_kills四个时间点(启动前、加载后、评测后、关闭后)全部为 0- 运行环境:4 张 NVIDIA GB300、TP4、SGLang,与 README.md 中的评测说明一致
- 最终
"verdict": "pass",且checkpoint.audit_verdict同样是pass
更有说服力的是 evidence_sha256 字段:它为评测日志、评测指标、逐题预测、服务器日志、tensor 审计等 8 份底层证据文件各存了一个 sha256 指纹。也就是说,这份成绩单不是孤立的自述,而是"钉"在一组可复核的原始产物上的。
普通人三步快速自查清单 ✅
拿到任何量化模型仓库,按这个顺序看 30 秒:
- 看判决:打开 qualification.json,确认
verdict为pass,且准确率高于 criteria 中的minimum_accuracy。 - 对账本:对照 tensor-audit.json 与 hf_quant_config.json,确认 NVFP4/FP8/BF16 的张量数量与声明的精度策略一致。
- 查出身:翻 conversion-manifest.json,确认源模型 revision、工具 commit 和环境版本齐全,必要时复算文件 sha256。
三步都通过,"别只听我说"就变成了"数据自己说"。这正是 Qwen3.8-27B-NVFP4 这套证据链的价值:它不保证模型完美,但保证了你看到的一切指标,都有据可查、可复现、可追责。📎