39GB 的 N-gram 表之谜:深剖 Qwen3.8-Flash-Next-EXL3-4.05bpw 的 51B 哈希 N-gram 嵌入原理
39GB 的 N-gram 表之谜:深剖 Qwen3.8-Flash-Next-EXL3-4.05bpw 的 51B 哈希 N-gram 嵌入原理
Qwen3.8-Flash-Next-EXL3-4.05bpw 是 125B MoE 多模态大模型 Qwen3.8-Flash-Next 的 EXL3 4.05 bpw 量化模型包,仓库中最醒目的文件就是那张 39GB 的 n-gram 表 ngram_embedding.safetensors。本文带你彻底搞懂它背后的 51B 哈希 N-gram 嵌入:它是什么、39GB 怎么算出来的、为什么非"哈希"不可,以及推理引擎如何加载和使用这张大表。
一、39GB 的 ngram_embedding.safetensors 是什么?
先看模型包的整体构成(见 README.md 的 Files 一节):
| 文件 | 大小 | 说明 |
|---|---|---|
| model-00001-of-00009.safetensors ~ model-00009-of-00009.safetensors | 约 68 GB | 量化后的主体权重(EXL3 trellis,4.05 bpw) |
| ngram_embedding.safetensors | 约 39 GB | 6-bit 哈希 n-gram 表,单个 tensor,不列在索引中 |
| vision_tower_bf16.safetensors / vision_k6.safetensors | 约 1.5 GB | 视觉编码器(bf16 全精度版 / 6-bit 版) |
| config.json / model.safetensors.index.json | — | 模型配置与张量索引 |
这张 n-gram 表有 3 个特点:
- 独立存放:它是单独一个 safetensors 文件,model.safetensors.index.json 里并不列出它,veloGB10 引擎按文件名直接加载(见 README.md);
- 6-bit 精度:分支名
4.05bpw_h6_ng6中的ng6即"n-gram 6-bit",主体专家是 4-bit、dense 层和 lm_head 是 6-bit(见 README.md); - 参数量惊人:它承载了模型里 51B 的"额外参数",比很多中型模型本身还大。
二、51B 参数与 39GB:一笔简单的算术账 🧮
README 写道:"a 51B hashed n-gram embedding"(README.md)。这个数字怎么来的?答案藏在 config.json 里:
"ngram_size": 3,
"ngram_vocab_size_base": 20000000
- 表共 2000 万行(
ngram_vocab_size_base); - 每行的维度为 2560,与模型 hidden_size 相同(
ple_embed_dim,config.json); - 参数量 = 20,000,000 × 2,560 = 51.2B,这就是"51B"的由来。
再算磁盘占用:每个参数 6-bit(0.75 字节)存储,
51.2B × 6 / 8 ≈ 38.4 GB ≈ README 所说的 39 GB
| 项目 | 数值 |
|---|---|
| 表行数 | 20,000,000 |
| 每行维度 | 2,560 |
| 总参数量 | 51.2B |
| 存储精度 | 6 bit |
| 磁盘大小 | ≈ 38.4 GB(约 39 GB) |
三、哈希 N-gram 嵌入原理:为什么必须"哈希"?
N-gram 指的是连续的 2 个 / 3 个 token(bigram / trigram),对应配置中的 "ngram_size": 3(config.json)。问题在于:词表大小为 248,320(config.json),那么可能的组合数是天文数字——
- bigram 组合数:248,320² ≈ 6.2 × 10¹⁰(约 620 亿)
- trigram 组合数:248,320³ ≈ 1.5 × 10¹⁶(约 15 千万亿)
显然无法给每个组合都分配一行。模型的做法是哈希(hashing):
- 把当前位置的 bigram / trigram 送入哈希函数,压缩成一个 0 ~ 2000 万之间的行号(row id);
- 用行号查表,取出对应的 2560 维向量;
- 这个向量作为该位置的"短语级"表示,注入模型。
多个不同的 N-gram 可能哈希到同一行(碰撞),这是用少量信息损失换恒定内存的经典 trade-off——和"哈希表用空间换时间"是同一个思想。为了让 GPU 上按分片加载时对齐,行数是 128 的整数倍(make_ngram_vocab_size_divisible_by: 128,config.json)。
打个比方:词嵌入表是一本"单字词典",只有 24.8 万条目;而 n-gram 表相当于一本容量固定的"短语速查手册"——查不到原样短语时,就按哈希规则翻到某一页,那一页的备注仍然能提供有用的上下文线索。
四、N-gram 嵌入在模型里的位置 📍
从 config.json 的 ple_* 系列字段可以看出它的接线方式:
"ple_embed_dim": 2560,
"ple_layer_ids": [2],
"ple_conv_kernel_size": 4,
"heads_per_ngram": 8
- 只作用于第 2 层(
ple_layer_ids: <a href="https://link.gitcode.com/i/d5b997e4275456f5d43b67e7451a27e1" target="_blank">2]):README 明确写的是 "51B n-gram embedding (20M rows, bigrams/trigrams at layer 2)"([README.md); - 查表得到的向量与 hidden_size 对齐(2560 维),可直接加进该层的隐藏状态;
- 推理时对每个位置,只用当前及前 1~2 个 token 算出 bigram/trigram 哈希,代价是一次内存随机读,几乎不增加计算量;
- 序列边界分段(end-of-sequence segmentation):每条新序列会重置 n-gram 上下文,避免上一条对话的 token 串到这一条里——这一点在正确性验证中专门被测过(见下文)。
五、推理引擎如何加载这张 39GB 大表
该模型包主要配合 veloGB10 推理引擎运行在 NVIDIA DGX Spark / GB10 上(需 v0.7.2+,它新增了 6-bit n-gram 读取器,README.md)。针对不同节点数,加载策略不同:
单节点(TP=1)——表放 SSD
GB10 的内存装得下 68 GB 权重和 KV,装不下 39 GB 的表,于是引擎把 n-gram 表放在 SSD 上按需读取:
./gb10_inference --server \
--model-dir /path/to/model/Qwen3.8-Flash-Next-EXL3-4.05bpw \
--port 9000 --max-seq-len 262144 \
--prefix-cache on --mtp=auto
--ple-ram auto 会在内存不足时自动选择 SSD 方案(也可强制 --ple-ram ssd)。代价是 decode 慢约 1–3%,输出逐位一致(README.md)。
多节点(TP=2 / TP=4)——分片分发
表被切成 128 个分片(split_ngram_parts: 128,config.json)。主节点通过 TP blob 缓存(~/.cache/gb10_tp)只把每个节点缺的分片发过去:TP=2 时约 71 GiB/节点、TP=4 时约 57 GiB/节点(含每个 rank 各持一份 n-gram 表),第二次启动同一模型则不再传输(README.md)。
六、正确性验证:与 exllamav3 参考实现逐位一致 ✅
包发布前做过严格对拍(README.md):
- 6-bit n-gram 的完整路径——哈希、取行、解码、序列边界分段——在 1536 个采样位置与 exllamav3 的
NGramEmbedding结果比对:24,576 个 row id、390 万个数值,零差异; - 4/5/6-bit 全部权重类(1580 万 trellis 块)与 exllamav3 重建逐位一致;
- 73K token 语料上的 next-token loss 与 3.05 bpw 包在噪声范围内(0.625 vs 0.621 @ 8K 窗口)。
七、关键文件清单(相对路径)
| 文件 | 说明 |
|---|---|
| ngram_embedding.safetensors | 39 GB 的 6-bit n-gram 表(本文主角) |
| config.json | ngram_size、ngram_vocab_size_base、ple_layer_ids 等 n-gram 配置 |
| quantization_config.json | EXL3 逐张量量化元数据 |
| model.safetensors.index.json | 权重张量索引(不含 n-gram 表) |
| model-00001-of-00009.safetensors | 9 个分片中的第一个(共约 68 GB) |
| generation_config.json | 默认采样参数(top_k=20, top_p=0.95) |
| qbench_prompts.md / qbench_prompts.json | 随包附带的质量基准测试提示集 |
| chat_template.jinja / tokenizer.json | 对话模板与分词器 |
| LICENSE | Qwen Community License 1.0 |
小结
Qwen3.8-Flash-Next-EXL3-4.05bpw 里那张 39 GB 的 ngram_embedding.safetensors 并非"冗余数据",而是模型架构的一部分:
- 51.2B 参数 = 2000 万行 × 2560 维,6-bit 存储后约为 39 GB;
- 它用哈希把最多 15 千万亿种 trigram 组合映射进一张容量固定的表,以短语级上下文增强模型表示,且只在第 2 层生效;
- 单节点部署时它驻留 SSD、只损失 1–3% 速度,多节点部署时按 128 分片按需分发,实现与 exllamav3 参考实现逐位一致。
理解了这张表,就理解了该模型包"108 GB 磁盘、~6B 激活参数、262K 上下文"背后的完整拼图。