oQ3e-mtp还是ngram-mtp?DeepSeek-V4.1-Flash-1017-oQ3e-ngram-mtp版本差异对比与选型清单
oQ3e-mtp还是ngram-mtp?DeepSeek-V4.1-Flash-1017-oQ3e-ngram-mtp版本差异对比与选型清单
本文讲清楚 DeepSeek-V4.1-Flash-1017-oQ3e-ngram-mtp 与 oQ3e-mtp 两个 MLX 量化版本的版本差异,并给出一份可直接照着选的选型清单。这是一个基于 oQ 混合精度量化的 DeepSeek-V4.1-Flash-1017 多模态 MoE 模型检查点(552B 主干 + 视觉编码器 + Engram N-gram 记忆表 + MTP 投机解码权重),总量约 428 GiB,分 65 个 safetensors 分片存放。
一句话结论:👉 两个版本的主干权重完全相同,唯一区别是 Engram(N-gram)表存 FP8 原精度还是压进量化位宽预算。 你的运行环境支持 Engram SSD offload 吗?支持,就选 ngram-mtp。
两个版本到底是什么关系?
先破除一个常见误解:它们不是两套模型,而是同一个量化产出的两种存储策略。
根据 README.md 的说明,ngram-mtp 版本中:
- N-gram(Engram)表保留原始 FP8 精度(E4M3 数值 + 每 32 通道一个 E8M0 缩放);
- 其余所有权重与 oQ3e-mtp 版本逐一相同;
- 在 Engram SSD offload 开启时,常驻内存占用两者一致。
也就是说,ngram-mtp 是"精度优先"版本:把最不适合压缩、也最占空间的那部分(约 196.6B 参数的 Engram 表)原样保留,靠运行时从 SSD 按需读取来换精度。
核心差异对比表
| 对比维度 | ngram-mtp(本仓库) | oQ3e-mtp |
|---|---|---|
| 语言主干(551.9B) | oQ3e 混合精度,约 230.9 GiB | 完全相同 |
| MTP 头(14.2B) | 完全相同,约 7.5 GiB | 完全相同 |
| 视觉编码器(0.49B) | 完全相同,约 0.9 GiB | 完全相同 |
| Engram 表(196.6B) | 保留 FP8 原精度,188.8 GiB | 压缩进量化位宽预算,体积更小 |
| 总 checkpoint 体积 | 428.2 GiB(65 分片) | 更小(Engram 被压缩) |
| 常驻内存(开启 SSD offload) | 相同 | 相同 |
| 适用场景 | 精度优先 + 支持 Engram offload | 内存/磁盘受限,Engram 需常驻内存 |
💡 记忆口诀:ngram = Engram 不压缩,mtp = 自带 MTP 投机解码权重(两个版本都带 MTP,名字里的 mtp 指的是包含 MTP 头,与 Engram 策略无关)。
Engram(N-gram)表为什么特殊?
Engram 是 DeepSeek-V4.1-Flash 的条件记忆机制:用 N-gram 匹配直接查表取向量,对长文本中的重复短语、固定表达召回效果很好。相关结构参数见 config.json:
- 挂载在第 1、14 层(
engram_layer_ids: [1, 14]) - 两张表合计约 7.68 亿条 embedding(每张约 3.84 亿行)
- 最大 N-gram 长度 4(
engram_max_ngram_size: 4),词表规模 1600 万 - 量化报告中标注其
precision: "source"、有效位宽 8.25 bpw,即维持源精度,quantization_report.json
这类"查表型"权重对低比特量化非常敏感,硬压容易让 N-gram 命中结果失真,所以 ngram-mtp 版本直接选择保留 FP8 原样存储。
MTP 投机解码配置一览
两个版本都包含 DSpark MTP 权重,关键参数见 config.json:
| 参数 | 值 | 含义 |
|---|---|---|
num_nextn_predict_layers |
3 | 3 层预测层 |
dspark_block_size |
5 | 每次推测 5 个 token |
dspark_markov_rank |
256 | 马尔可夫头秩 |
dspark_n_routed_experts |
128 | 推测专用专家数 |
MTP 头本体 14.225B 参数、约 8.05 GB 存储,在量化报告中按"源精度保留"策略处理(quantization_report.json 中 mtp 相关模块均为 preserved)。
量化质量:3.629 bpw 是怎么来的?
本版本使用 oQ(oMLX v0.7.1)混合精度量化,采用"按层敏感度分配比特 + 重要性矩阵 + 加权最小二乘重拟合缩放/偏置"的策略,目标位宽 3.5、硬上限 3.7(quantization_report.json)。位宽分布如下(摘自 README.md):
| 存储格式 | 占比 | 有效位宽 |
|---|---|---|
| Affine 3-bit(group 64) | 71.22% | 3.50 |
| Engram MXFP8(group 32) | 25.76% | 8.25 |
| MXFP4(group 32) | 1.78% | 4.25 |
| 4-bit / 6-bit / 8-bit / BF16 / FP32 等 | 约 1.2% | 4.5 ~ 32 |
- 不含 Engram 表:551.9B 主干有效 3.629 bits/weight(quantization_report.json)
- 含 Engram 表的完整 checkpoint:4.819 bits/weight,总存储 459.7 GB / 428.2 GiB
选型清单:照着勾选即可
✅ 选 ngram-mtp(本仓库)如果:
- [ ] 你的运行时(oMLX)支持 Engram SSD offload——这是前提
- [ ] 磁盘空间充足(checkpoint 需 428.2 GiB,另有临时/缓存开销)
- [ ] 你跑长文本、多轮重复上下文(N-gram 表精度红利最大)
- [ ] 在意代码/长上下文中的短语级精确召回
✅ 选 oQ3e-mtp 如果:
- [ ] 磁盘紧张,希望 checkpoint 明显更小
- [ ] 你的环境不支持 Engram offload,Engram 必须常驻内存
- [ ] 只需要中短上下文,N-gram 表精度损失可接受
⚠️ 两者都不要纠结的情况: 主干、视觉、MTP 权重完全一致——你切换版本时不用重新评估主干质量,只影响 Engram 表的查表精度与存储形态。
文件速查:仓库里有什么?
| 文件 | 作用 |
|---|---|
| config.json | 模型结构配置(Engram / MTP / MoE / 视觉参数都在 text_config) |
| quantization_report.json | 量化审计报告:位宽分配、逐层敏感度、保留模块清单 |
| model.safetensors.index.json | 权重索引,2282 张量到 65 个分片的映射 |
| model-00001-of-00065.safetensors 等 65 个分片 | 模型权重本体(分片 1、2 装 Engram 表,分片 3 起装视觉编码器) |
| tokenizer.json、tokenizer_config.json | 词表与分词配置(词表 129280) |
| README.md | 官方说明:量化方法、位宽分布、存储明细 |
| LICENSE | MIT 许可证(沿用源模型) |
📌 小技巧:想核对某个权重在哪个分片,直接在 model.safetensors.index.json 里搜权重名即可,例如 language_model.layers.14.engram.embed.weight 位于分片 1。
常见问题 FAQ
Q1:为什么平均位宽有 3.629 和 4.819 两个数字? 3.629 是剔除 Engram 表后主干的真实量化强度;4.819 是含 196.6B Engram 表(8.25 bpw)摊到全部 763.2B 参数后的整体值。对比版本时务必对齐口径。
Q2:ngram-mtp 会不会比 oQ3e-mtp 更慢? 主干计算完全一致,差异只在 Engram 表来源:SSD offload 下会有随机读盘开销,但换来查表精度不损失;如果 offload 未生效,两者行为趋同。
Q3:如何验证下载完整? 65 个 safetensors 分片 + 索引 + 配置 + 分词器,总存储 428.2 GiB。可对照 README.md 的 Storage Breakdown 表(主干 247.97 GB / Engram 202.76 GB / 视觉 0.97 GB / MTP 8.05 GB)核对量级。
Q4:名字里的 "1017" 是什么? 指源模型 DeepSeek-V4.1-Flash-1017 的发布批次标识,属于模型版本名的一部分,与量化无关。
总结
🎯 选型只取决于一件事:你的环境能不能把 Engram 表放 SSD 上按需读取。 能 → ngram-mtp(精度无损);不能或磁盘紧张 → oQ3e-mtp。两个版本共享同一套 oQ3e 混合精度主干,切换成本极低,可以放心按存储与 offload 能力二选一。