什么是NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash?一文读懂360M参数投机解码草稿模型

原创2026-10-24 14:31:071,869 阅读

什么是NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash?一文读懂360M参数投机解码草稿模型

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash 是英伟达发布的 360M 参数投机解码草稿模型(DFlash Draft Model),以 GGUF 格式(BF16,单文件约 737 MB)发布,专用于搭配目标模型 Nemotron-3.5-Bolt-E4B 在 llama.cpp 中本地推理。它本身不直接生成回答,而是每次解码步骤"抢先"提出最多 7 个候选 token,再由目标模型一次性校验,从而在不改变输出分布的前提下显著降低延迟、提升生成速度。本文带你快速读懂它的定位、原理、部署方式和实测数据。

一分钟理解:草稿模型是干什么的?

大模型生成文本时是"逐 token 串行输出"的,GPU 算力经常被等待时间浪费。投机解码(Speculative Decoding) 的思路是:让一个超小模型先"打草稿",大模型再一次性"批改"——只要草稿正确,一步就能产出多个 token,推理速度自然变快。

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash 就是这个"草稿员":

  • 参数极小:仅 360,480,000 个参数,5 层 Qwen3 风格解码器,显存开销可忽略;
  • 无损加速:最终输出完全由目标模型产生,草稿模型不影响输出分布,属于纯无损推理加速;
  • 共享词表:它不包含 token embeddings 和输出头,运行时直接复用目标模型的,因此文件只有约 700 MB。

💡 通俗比喻:草稿模型是"速写",目标模型是"精修"。速写得再快,最终交付的也是精修稿,质量不打折。

模型核心参数速览

项目 内容
模型角色 DFlash 投机解码草稿模型(GGUF 版,BF16)
参数量 360M(360,480,000)
文件大小 736,812,096 字节(约 736.81 MB)
配套目标模型 Nemotron-3.5-Bolt-E4B-4GB(GGUF)
推理引擎 llama.cpp(b11808 版本)
最大上下文 131,072 tokens(llama.cpp 中用 -c 设置)
注意力窗口 草稿模型滑动窗口关注最近 1,024 tokens
每步草稿长度 最多 7 个候选 token(8-token 块,含上一已验证 token)
测试硬件 NVIDIA RTX 5090
推荐系统 Linux
许可证 OpenMDW License 1.1(另附 Apache 2.0,来自 Gemma 4 E4B IT)

本仓库的核心文件:

DFlash 投机解码的工作流程

每个解码步骤中,流程如下:

  1. 草稿模型接收上一个已验证的 token,以及目标模型 5 个层中捕获的隐藏状态(hidden states);
  2. 在单次非因果前向传播中,一次性提出 8-token 块的接下来 7 个 token;
  3. 目标模型用一次前向传播校验全部候选 token,接受最长的有效前缀;
  4. 一步即可产出多个 token,平均每个步骤生成的 token 数称为接受长度(Acceptance Length, AL),理论上限为 8。

值得注意的是,草稿模型同时使用"开启思考"和"关闭思考"两类对话数据训练,因此无论 llama-server 默认的 --reasoning auto 开启推理,还是关闭推理,都能获得不错的加速效果。

最快上手:llama.cpp 启动命令

本模型不能独立运行,必须与目标模型的 GGUF 文件一起加载。使用 llama.cpp 的 llama-server,通过 -m 加载目标模型、-md 加载草稿模型:

llama-server \
  -m NVIDIA-Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf \
  -md NVIDIA-Nemotron-3.5-Bolt-E4B-DFlash-BF16.gguf \
  --spec-type draft-dflash \
  --spec-draft-n-max 7 \
  -ngl 99 \
  -fa on \
  --jinja \
  --port 8000

关键参数说明:

参数 作用
-m 加载目标模型(Nemotron-3.5-Bolt-E4B 的 GGUF 版本)
-md 加载 DFlash 草稿模型(即本仓库文件)
--spec-type draft-dflash 启用 DFlash 类型的投机解码
--spec-draft-n-max 7 草稿模型每步最多提出 7 个 token
-ngl 99 全部层卸载到 GPU
-fa on 开启 Flash Attention

启动后,应用端像访问普通 llama-server 接口一样查询即可,无需任何额外改动。

实测数据:接受长度有多高?

官方在单张 NVIDIA RTX 5090 上(目标模型开启思考、输出 4096 tokens、并发 1)测得草稿长度 7 时的接受长度。接受长度越高,加速潜力越大:

MT-Bench 各分类接受长度

分类 贪心解码 (t=0) 采样 (t=1)
写作 writing 2.98 2.92
角色扮演 roleplay 2.79 2.57
推理 reasoning 3.88 3.52
数学 math 5.87 5.67
编程 coding 4.62 4.17
信息抽取 extraction 4.89 4.60
科学工程 stem 3.30 3.06
人文学科 humanities 2.72 2.52
总体平均 3.88 3.63

SPEED-Bench(定性子集)总体平均:贪心解码 3.61,采样 3.42,其中编程(4.34~4.65)和多语言(4.16~4.37)表现最突出。

📌 可以直观理解为:平均每一步约能"白赚" 3 个 token,数学与编程类任务收益最大(每步接近 6 个 token)。

训练数据与评估方式

  • 训练数据:约 370 万条多语言文本样本,提示词覆盖数学、代码、STEM 与对话场景,回答由目标模型合成生成(含"开启思考"带推理轨迹和"关闭思考"两类混合),训练基于 NVIDIA Model Optimizer 0.48.0 完成;
  • 评估基准:SPEED-Bench(880 条提示,11 个任务类别,多语言覆盖 23 种语言)与 MT-Bench(80 条双轮问题,8 个类别),以接受长度作为草稿质量核心指标。

适用场景与注意事项

适合谁用? 在工作站级 GPU(如 RTX 5090)上用 llama.cpp 本地运行 Nemotron-3.5-Bolt-E4B,从事推理、聊天、工具调用和 Agent 工作流的开发者——它专门服务于低延迟本地推理。

几点提醒:

  • 加速效果取决于服务配置和目标模型的量化程度,实际收益需自行验证;
  • 草稿模型不改变目标模型的输出分布,但目标模型本身仍可能存在不准确或偏差输出,生产部署前建议做应用层测试与安全防护;
  • 该文件仅约 700 MB,下载和部署成本很低,值得先试。

总结

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash 是一个"小而美"的投机解码草稿模型:360M 参数、BF16 单文件、零额外词表开销,通过 DFlash 块式草稿机制让 Nemotron-3.5-Bolt-E4B 在本地工作站上获得近 3 倍/步的 token 产出,且完全无损。如果你正在用 llama.cpp 本地部署 Nemotron-3.5-Bolt-E4B 并希望显著降低延迟,下载本模型并用 -md 参数挂载,就是最快见效的加速方案。

登录后查看全文
NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash