oQ3e-mtp还是ngram-mtp?DeepSeek-V4.1-Flash-1017-oQ3e-ngram-mtp版本差异对比与选型清单

原创2026-10-23 14:11:171,858 阅读
文章标签:人工智能大模型多模态模型量化本地部署模型推理服务

oQ3e-mtp还是ngram-mtp?DeepSeek-V4.1-Flash-1017-oQ3e-ngram-mtp版本差异对比与选型清单

本文讲清楚 DeepSeek-V4.1-Flash-1017-oQ3e-ngram-mtp 与 oQ3e-mtp 两个 MLX 量化版本的版本差异,并给出一份可直接照着选的选型清单。这是一个基于 oQ 混合精度量化的 DeepSeek-V4.1-Flash-1017 多模态 MoE 模型检查点(552B 主干 + 视觉编码器 + Engram N-gram 记忆表 + MTP 投机解码权重),总量约 428 GiB,分 65 个 safetensors 分片存放。

一句话结论:👉 两个版本的主干权重完全相同,唯一区别是 Engram(N-gram)表存 FP8 原精度还是压进量化位宽预算。 你的运行环境支持 Engram SSD offload 吗?支持,就选 ngram-mtp。

两个版本到底是什么关系?

先破除一个常见误解:它们不是两套模型,而是同一个量化产出的两种存储策略。

根据 README.md 的说明,ngram-mtp 版本中:

  • N-gram(Engram)表保留原始 FP8 精度(E4M3 数值 + 每 32 通道一个 E8M0 缩放);
  • 其余所有权重与 oQ3e-mtp 版本逐一相同;
  • 在 Engram SSD offload 开启时,常驻内存占用两者一致。

也就是说,ngram-mtp 是"精度优先"版本:把最不适合压缩、也最占空间的那部分(约 196.6B 参数的 Engram 表)原样保留,靠运行时从 SSD 按需读取来换精度。

核心差异对比表

对比维度 ngram-mtp(本仓库) oQ3e-mtp
语言主干(551.9B) oQ3e 混合精度,约 230.9 GiB 完全相同
MTP 头(14.2B) 完全相同,约 7.5 GiB 完全相同
视觉编码器(0.49B) 完全相同,约 0.9 GiB 完全相同
Engram 表(196.6B) 保留 FP8 原精度,188.8 GiB 压缩进量化位宽预算,体积更小
总 checkpoint 体积 428.2 GiB(65 分片) 更小(Engram 被压缩)
常驻内存(开启 SSD offload) 相同 相同
适用场景 精度优先 + 支持 Engram offload 内存/磁盘受限,Engram 需常驻内存

💡 记忆口诀:ngram = Engram 不压缩,mtp = 自带 MTP 投机解码权重(两个版本都带 MTP,名字里的 mtp 指的是包含 MTP 头,与 Engram 策略无关)。

Engram(N-gram)表为什么特殊?

Engram 是 DeepSeek-V4.1-Flash 的条件记忆机制:用 N-gram 匹配直接查表取向量,对长文本中的重复短语、固定表达召回效果很好。相关结构参数见 config.json:

  • 挂载在第 1、14 层(engram_layer_ids: [1, 14])
  • 两张表合计约 7.68 亿条 embedding(每张约 3.84 亿行)
  • 最大 N-gram 长度 4(engram_max_ngram_size: 4),词表规模 1600 万
  • 量化报告中标注其 precision: "source"、有效位宽 8.25 bpw,即维持源精度,quantization_report.json

这类"查表型"权重对低比特量化非常敏感,硬压容易让 N-gram 命中结果失真,所以 ngram-mtp 版本直接选择保留 FP8 原样存储。

MTP 投机解码配置一览

两个版本都包含 DSpark MTP 权重,关键参数见 config.json:

参数 值 含义
num_nextn_predict_layers 3 3 层预测层
dspark_block_size 5 每次推测 5 个 token
dspark_markov_rank 256 马尔可夫头秩
dspark_n_routed_experts 128 推测专用专家数

MTP 头本体 14.225B 参数、约 8.05 GB 存储,在量化报告中按"源精度保留"策略处理(quantization_report.json 中 mtp 相关模块均为 preserved)。

量化质量:3.629 bpw 是怎么来的?

本版本使用 oQ(oMLX v0.7.1)混合精度量化,采用"按层敏感度分配比特 + 重要性矩阵 + 加权最小二乘重拟合缩放/偏置"的策略,目标位宽 3.5、硬上限 3.7(quantization_report.json)。位宽分布如下(摘自 README.md):

存储格式 占比 有效位宽
Affine 3-bit(group 64) 71.22% 3.50
Engram MXFP8(group 32) 25.76% 8.25
MXFP4(group 32) 1.78% 4.25
4-bit / 6-bit / 8-bit / BF16 / FP32 等 约 1.2% 4.5 ~ 32
  • 不含 Engram 表:551.9B 主干有效 3.629 bits/weight(quantization_report.json)
  • 含 Engram 表的完整 checkpoint:4.819 bits/weight,总存储 459.7 GB / 428.2 GiB

选型清单:照着勾选即可

✅ 选 ngram-mtp(本仓库)如果:

  • [ ] 你的运行时(oMLX)支持 Engram SSD offload——这是前提
  • [ ] 磁盘空间充足(checkpoint 需 428.2 GiB,另有临时/缓存开销)
  • [ ] 你跑长文本、多轮重复上下文(N-gram 表精度红利最大)
  • [ ] 在意代码/长上下文中的短语级精确召回

✅ 选 oQ3e-mtp 如果:

  • [ ] 磁盘紧张,希望 checkpoint 明显更小
  • [ ] 你的环境不支持 Engram offload,Engram 必须常驻内存
  • [ ] 只需要中短上下文,N-gram 表精度损失可接受

⚠️ 两者都不要纠结的情况: 主干、视觉、MTP 权重完全一致——你切换版本时不用重新评估主干质量,只影响 Engram 表的查表精度与存储形态。

文件速查:仓库里有什么?

文件 作用
config.json 模型结构配置(Engram / MTP / MoE / 视觉参数都在 text_config)
quantization_report.json 量化审计报告:位宽分配、逐层敏感度、保留模块清单
model.safetensors.index.json 权重索引,2282 张量到 65 个分片的映射
model-00001-of-00065.safetensors 等 65 个分片 模型权重本体(分片 1、2 装 Engram 表,分片 3 起装视觉编码器)
tokenizer.json、tokenizer_config.json 词表与分词配置(词表 129280)
README.md 官方说明:量化方法、位宽分布、存储明细
LICENSE MIT 许可证(沿用源模型)

📌 小技巧:想核对某个权重在哪个分片,直接在 model.safetensors.index.json 里搜权重名即可,例如 language_model.layers.14.engram.embed.weight 位于分片 1。

常见问题 FAQ

Q1:为什么平均位宽有 3.629 和 4.819 两个数字? 3.629 是剔除 Engram 表后主干的真实量化强度;4.819 是含 196.6B Engram 表(8.25 bpw)摊到全部 763.2B 参数后的整体值。对比版本时务必对齐口径。

Q2:ngram-mtp 会不会比 oQ3e-mtp 更慢? 主干计算完全一致,差异只在 Engram 表来源:SSD offload 下会有随机读盘开销,但换来查表精度不损失;如果 offload 未生效,两者行为趋同。

Q3:如何验证下载完整? 65 个 safetensors 分片 + 索引 + 配置 + 分词器,总存储 428.2 GiB。可对照 README.md 的 Storage Breakdown 表(主干 247.97 GB / Engram 202.76 GB / 视觉 0.97 GB / MTP 8.05 GB)核对量级。

Q4:名字里的 "1017" 是什么? 指源模型 DeepSeek-V4.1-Flash-1017 的发布批次标识,属于模型版本名的一部分,与量化无关。

总结

🎯 选型只取决于一件事:你的环境能不能把 Engram 表放 SSD 上按需读取。 能 → ngram-mtp(精度无损);不能或磁盘紧张 → oQ3e-mtp。两个版本共享同一套 oQ3e 混合精度主干,切换成本极低,可以放心按存储与 offload 能力二选一。

登录后查看全文
DeepSeek-V4.1-Flash-1017-oQ3e-ngram-mtp