什么是NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash?一文读懂360M参数投机解码草稿模型
什么是NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash?一文读懂360M参数投机解码草稿模型
NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash 是英伟达发布的 360M 参数投机解码草稿模型(DFlash Draft Model),以 GGUF 格式(BF16,单文件约 737 MB)发布,专用于搭配目标模型 Nemotron-3.5-Bolt-E4B 在 llama.cpp 中本地推理。它本身不直接生成回答,而是每次解码步骤"抢先"提出最多 7 个候选 token,再由目标模型一次性校验,从而在不改变输出分布的前提下显著降低延迟、提升生成速度。本文带你快速读懂它的定位、原理、部署方式和实测数据。
一分钟理解:草稿模型是干什么的?
大模型生成文本时是"逐 token 串行输出"的,GPU 算力经常被等待时间浪费。投机解码(Speculative Decoding) 的思路是:让一个超小模型先"打草稿",大模型再一次性"批改"——只要草稿正确,一步就能产出多个 token,推理速度自然变快。
NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash 就是这个"草稿员":
- 参数极小:仅 360,480,000 个参数,5 层 Qwen3 风格解码器,显存开销可忽略;
- 无损加速:最终输出完全由目标模型产生,草稿模型不影响输出分布,属于纯无损推理加速;
- 共享词表:它不包含 token embeddings 和输出头,运行时直接复用目标模型的,因此文件只有约 700 MB。
💡 通俗比喻:草稿模型是"速写",目标模型是"精修"。速写得再快,最终交付的也是精修稿,质量不打折。
模型核心参数速览
| 项目 | 内容 |
|---|---|
| 模型角色 | DFlash 投机解码草稿模型(GGUF 版,BF16) |
| 参数量 | 360M(360,480,000) |
| 文件大小 | 736,812,096 字节(约 736.81 MB) |
| 配套目标模型 | Nemotron-3.5-Bolt-E4B-4GB(GGUF) |
| 推理引擎 | llama.cpp(b11808 版本) |
| 最大上下文 | 131,072 tokens(llama.cpp 中用 -c 设置) |
| 注意力窗口 | 草稿模型滑动窗口关注最近 1,024 tokens |
| 每步草稿长度 | 最多 7 个候选 token(8-token 块,含上一已验证 token) |
| 测试硬件 | NVIDIA RTX 5090 |
| 推荐系统 | Linux |
| 许可证 | OpenMDW License 1.1(另附 Apache 2.0,来自 Gemma 4 E4B IT) |
本仓库的核心文件:
- 模型权重:Nemotron-3.5-Bolt-E4B-DFlash-BF16.gguf
- 模型卡与完整说明:README.md
DFlash 投机解码的工作流程
每个解码步骤中,流程如下:
- 草稿模型接收上一个已验证的 token,以及目标模型 5 个层中捕获的隐藏状态(hidden states);
- 在单次非因果前向传播中,一次性提出 8-token 块的接下来 7 个 token;
- 目标模型用一次前向传播校验全部候选 token,接受最长的有效前缀;
- 一步即可产出多个 token,平均每个步骤生成的 token 数称为接受长度(Acceptance Length, AL),理论上限为 8。
值得注意的是,草稿模型同时使用"开启思考"和"关闭思考"两类对话数据训练,因此无论 llama-server 默认的 --reasoning auto 开启推理,还是关闭推理,都能获得不错的加速效果。
最快上手:llama.cpp 启动命令
本模型不能独立运行,必须与目标模型的 GGUF 文件一起加载。使用 llama.cpp 的 llama-server,通过 -m 加载目标模型、-md 加载草稿模型:
llama-server \
-m NVIDIA-Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf \
-md NVIDIA-Nemotron-3.5-Bolt-E4B-DFlash-BF16.gguf \
--spec-type draft-dflash \
--spec-draft-n-max 7 \
-ngl 99 \
-fa on \
--jinja \
--port 8000
关键参数说明:
| 参数 | 作用 |
|---|---|
-m |
加载目标模型(Nemotron-3.5-Bolt-E4B 的 GGUF 版本) |
-md |
加载 DFlash 草稿模型(即本仓库文件) |
--spec-type draft-dflash |
启用 DFlash 类型的投机解码 |
--spec-draft-n-max 7 |
草稿模型每步最多提出 7 个 token |
-ngl 99 |
全部层卸载到 GPU |
-fa on |
开启 Flash Attention |
启动后,应用端像访问普通 llama-server 接口一样查询即可,无需任何额外改动。
实测数据:接受长度有多高?
官方在单张 NVIDIA RTX 5090 上(目标模型开启思考、输出 4096 tokens、并发 1)测得草稿长度 7 时的接受长度。接受长度越高,加速潜力越大:
MT-Bench 各分类接受长度
| 分类 | 贪心解码 (t=0) | 采样 (t=1) |
|---|---|---|
| 写作 writing | 2.98 | 2.92 |
| 角色扮演 roleplay | 2.79 | 2.57 |
| 推理 reasoning | 3.88 | 3.52 |
| 数学 math | 5.87 | 5.67 |
| 编程 coding | 4.62 | 4.17 |
| 信息抽取 extraction | 4.89 | 4.60 |
| 科学工程 stem | 3.30 | 3.06 |
| 人文学科 humanities | 2.72 | 2.52 |
| 总体平均 | 3.88 | 3.63 |
SPEED-Bench(定性子集)总体平均:贪心解码 3.61,采样 3.42,其中编程(4.34~4.65)和多语言(4.16~4.37)表现最突出。
📌 可以直观理解为:平均每一步约能"白赚" 3 个 token,数学与编程类任务收益最大(每步接近 6 个 token)。
训练数据与评估方式
- 训练数据:约 370 万条多语言文本样本,提示词覆盖数学、代码、STEM 与对话场景,回答由目标模型合成生成(含"开启思考"带推理轨迹和"关闭思考"两类混合),训练基于 NVIDIA Model Optimizer 0.48.0 完成;
- 评估基准:SPEED-Bench(880 条提示,11 个任务类别,多语言覆盖 23 种语言)与 MT-Bench(80 条双轮问题,8 个类别),以接受长度作为草稿质量核心指标。
适用场景与注意事项
适合谁用? 在工作站级 GPU(如 RTX 5090)上用 llama.cpp 本地运行 Nemotron-3.5-Bolt-E4B,从事推理、聊天、工具调用和 Agent 工作流的开发者——它专门服务于低延迟本地推理。
几点提醒:
- 加速效果取决于服务配置和目标模型的量化程度,实际收益需自行验证;
- 草稿模型不改变目标模型的输出分布,但目标模型本身仍可能存在不准确或偏差输出,生产部署前建议做应用层测试与安全防护;
- 该文件仅约 700 MB,下载和部署成本很低,值得先试。
总结
NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash 是一个"小而美"的投机解码草稿模型:360M 参数、BF16 单文件、零额外词表开销,通过 DFlash 块式草稿机制让 Nemotron-3.5-Bolt-E4B 在本地工作站上获得近 3 倍/步的 token 产出,且完全无损。如果你正在用 llama.cpp 本地部署 Nemotron-3.5-Bolt-E4B 并希望显著降低延迟,下载本模型并用 -md 参数挂载,就是最快见效的加速方案。