SHA-256逐字节验收:Qwen3.8-Flash-Next n-gram Table(NInfer v3)完整性校验与溯源链指南
SHA-256逐字节验收:Qwen3.8-Flash-Next n-gram Table(NInfer v3)完整性校验与溯源链指南
🔍 Qwen3.8-Flash-Next-ngram-table-NInfer-v3 是 Qwen3.8-Flash-Next 模型的 n-gram 表(逐层 token 嵌入 PLE)的 NInfer v3 产物,仓库自带 SHA256SUMS 清单,支持 SHA-256 逐字节验收,并附带完整的 溯源链(转换报告 + 三份 profile 报告),让普通用户也能独立验证"下载的文件和发布时是否一字不差"。
📦 核心文件:Qwen3.8-Flash-Next-ngram-table-IQ4_NL-ninfer-v3.ninfer(28,905,035,512 字节,约 26.92 GiB),它是所有 Qwen3.8-Flash-Next NInfer 量化模型共享的 n-gram 表,模型启动时会用哈希常量 + SHA-256 对表做"点名",不一致直接拒载。
这份 n-gram 表里装了什么?
一句话:一张 320,001,536 行 × 160 值 的哈希查找表(约 51.2B 参数),由 16 个哈希头(16 hash heads)分别管理上下文中 2-token 与 3-token 的 n-gram,每个 token 生成时按 n-gram 地址读取自己对应的 16 行。
从转换报告 Qwen3.8-Flash-Next-ngram-table-IQ4_NL-ninfer-v3.ninfer.conversion.json 可以逐字段读出它的"身份证":
| 关键字段 | 值 | 含义 |
|---|---|---|
format |
gguf_iq4_nl |
行数据为 IQ4_NL 量化块,每行 90 字节,逐字节拷贝自 GSQ-RCO GGUF 第二分片 |
rows / row_width |
320001536 / 160 |
总行数与每行宽度 |
head_vocab / head_offset |
16 组 | 16 个哈希头的词表大小与行偏移,互不重叠、拼满整张表 |
multipliers |
3 个大素数 | n-gram 哈希的乘法常量,模型必须用同样的常量才能查到正确的行 |
table_sha256 |
dd55c289…56cc3 |
全部行数据的 SHA-256,是溯源链的锚点 |
provenance.sources |
基座配置 + Q2_0-00002-of-00002.gguf |
记录行数据的原始来源文件 |
⚠️ 记住 table_sha256 = dd55c28902f38cd88134b2a569c51282c5ffce30080487e1a645740115c56cc3,后面三层文件都要与它对账。
一键验收:用 SHA256SUMS 做 SHA-256 逐字节校验
仓库根目录的 SHA256SUMS 覆盖了全部 7 个产物文件,是最权威的"验收单":
# 进入仓库目录后执行
sha256sum -c SHA256SUMS
全部通过时每个文件后都会输出 OK。如果只想单独核验大文件:
sha256sum Qwen3.8-Flash-Next-ngram-table-IQ4_NL-ninfer-v3.ninfer
# 期望输出:81006fbee3f30934f653a635eac6c0415aa0fd6d1aa28b660cd6fa73e8f1bd4e
💡 两个大文件(
.ninfer与broad-v1.hot)均走 Git LFS(见 .gitattributes)。若克隆后文件只有几百字节,说明 LFS 指针未拉取,此时算出的哈希自然对不上——请先完成 LFS 下载再验收。
验收后你应确认的 5 个哈希(摘自 SHA256SUMS):
| 文件 | SHA-256(前 12 位) |
|---|---|
.ninfer 主文件 |
81006fbee3f3… |
.ninfer.conversion.json |
6a388260ae75… |
| broad-v1.hot(104,893,176 字节行排序档案) | c4294554386e… |
| profile-attachment.json | b51fee8984a3… |
| profile-corpus.json | c044e4d9e4f6… |
溯源链第一层:转换报告记录了"怎么来的"
Qwen3.8-Flash-Next-ngram-table-IQ4_NL-ninfer-v3.ninfer.conversion.json 不仅是一份配置,还是完整的生产记录,普通用户也能看懂:
- 来源可追溯:
provenance.sources.ngram指向 ISTA-DASLab 的Qwen3.8-Flash-Next-GSQ-RCO-Q2_0-00002-of-00002.gguf,NOTICE 进一步说明该行数据在所有 GSQ-RCO 发布(含 Coder 版)中是同一个文件,逐行、按 IQ4_NL 块原样拷贝,仓库只做"重新打包",不改一个字节; - 参数可复算:
payload_bytes = 28,800,138,240(即 320,001,536 行 × 90 字节),与哈希常量、格式共同锁定数据内容; - 方法透明:
methods表明对象weight/000000采用import_encoded方法从per_layer_token_embd.weight导入,无二次量化。
溯源链第二层:profile-attachment 的三重交叉验证
本次更新追加了可选的广谱 n-gram 缓存档案,profile-attachment.json 是"附件验收书",它把三条链一次性扣死:
- 整包哈希:
sha256 = 81006fbe…—— 与 SHA256SUMS 中.ninfer主文件完全一致 ✅ - 行数据未变:
table_sha256 = dd55c289…,且object_sha256["weight/000000"]同为dd55c289…,与第一层转换报告的table_sha256完全一致 ✅ - 字节账本吻合:
payload 28,800,138,240 + 档案 104,893,176 + 4,096 容器开销 = 28,905,035,512,与整包bytes一字不差;base_objects_verified: 1声明原有对象全部通过逐字节读回 ✅
🧾 结论:加入档案后模型权重、量化、行摘要均未改动——这正是"完整性校验"最有价值的用法:能证明"加了新功能 ≠ 动了老数据"。
溯源链第三层:profile 报告如何自证可信
- profile-corpus.json:记录语料
seed、tokenizer_sha256 = 0997f410…及 5 个钉住版本的语料分片(4 个 Common Corpus + 1 个代码语料),训练集与留出集按文档/仓库隔离,保证评测不被"背题"污染; - profile-heldout.json:26,223,284 个排序行、1,103,918 个留出 token、445 个领域/语言分组的命中率,例如 RAM 预算 256 MiB 时行命中 33.79%,4 GiB 以上稳定在 49.64%;
- profile-engine.json:
"status": "passed",记录了disk/ 内嵌档案两种模式下的启动参数、样本输出与内存计数,并且 NumPy 与 C++ 两个 profiler 产出字节一致的档案(其profile_sha256仍为c4294554…,与 SHA256SUMS 中broad-v1.hot对应)。
⚖️ 三份 profile 文件 + attachment 中反复出现的
c4294554…(档案)与81006fbe…(整包)互为镜像,任何一处被改动都会立刻露馅。
常见问题 FAQ
Q1:模型启动提示"表不匹配"或被拒绝?
NInfer 会拿模型内记录的哈希常量、格式与 SHA-256(table_sha256)与文件比对,任一字节不同就拒载(详见 README.md)。请回到 sha256sum -c SHA256SUMS 验收,并确认 LFS 文件已完整拉取。
Q2:不用这张表行不行?
模型缺表会被拒;--no-ngram-table 可强制跳过,但那是实验模式——Q2_0 发布版在 WikiText-2 上的困惑度会从 2.66 涨到 5.01,几乎翻倍,无实用价值。
Q3:普通磁盘够不够放 26.9 GiB 的表?
够。默认磁盘驻留下不会整表读入:每个 token 只读 16 行(约 1.4 KB),走系统页缓存,放在任意磁盘即可;--ngram-residency ram 才整表载入内存。
Q4:这些文件的授权是什么? 行数据出自 ISTA-DASLab 的 GSQ-RCO GGUF(Apache-2.0),底层模型遵循 Qwen Community License 1.0,全文见 LICENSE;本仓库只是将行数据重新打包为 NInfer 容器,NOTICE 完整列出了归属。
小结:一条命令,三层对账
1️⃣ sha256sum -c SHA256SUMS 验"文件没坏";
2️⃣ 对照 转换报告 与 profile-attachment.json 中的 dd55c289… / 81006fbe… / c4294554… 验"内容没变";
3️⃣ 翻阅三份 profile 报告验"结论可复现"。
这套 SHA-256 逐字节验收 + 三层溯源链 的设计,让任何人都能在本地独立证明:你下载到的 Qwen3.8-Flash-Next n-gram 表,与发布时发布的,就是同一份字节。