跨硬件对决:Qwen3.8-27B-NVFP4-DGX-SPARK 在 DGX Spark vs B200 上 48.2 vs 463.5 tok/s 的完整对比分析
跨硬件对决:Qwen3.8-27B-NVFP4-DGX-SPARK 在 DGX Spark vs B200 上 48.2 vs 463.5 tok/s 的完整对比分析
Qwen3.8-27B-NVFP4-DGX-SPARK 是 27B 大模型 Qwen3.8-27B 的「无损加速分发」:权重与 nvidia/Qwen3.8-27B-NVFP4 逐位一致,附带一套经过完整基准调优的 MTP 投机解码(speculative decoding)配置。同一套权重,在 DGX Spark(GB10)上单流解码从 12.5 提升到 48.2 tok/s(3.9×),在数据中心 B200 上则冲到 463.5 tok/s。本文拆解两组数字的来历与实战要点。
项目速览:30 秒看懂这个 NVFP4 加速仓库
- ✅ 无损:模型权重 21.9 GB,与上游逐位相同(sha256sums.txt 可校验);只改「草稿头」,64 层主干与验证头一律不动,温度 0 下输出逐 token 一致
- ⚡ NVFP4 混合量化(ModelOpt):MLP → NVFP4,线性注意力 → FP8,lm_head → NVFP4
- 🚀 提速来源:MTP 投机解码 + 更便宜的 drafter(64k 高频词表 + Marlin NVFP4 草稿头)
- 🔧 即插即用:vLLM ≥ 0.31.0,Blackwell(sm_120/121)已验证
| 快速对比 | DGX Spark(GB10) | NVIDIA B200 |
|---|---|---|
| 无 MTP 基线 | 12.5 tok/s | 128.6 tok/s |
| 原生 MTP | 37.4~37.5 tok/s | 444.0 tok/s |
| 本项目配方 | 48.2 tok/s(3.9×) | 463.5 tok/s |
| 最优投机步数 k | 8 | 7 |
同一套权重,为什么 B200 快近 10 倍?
两台机器跑的是完全相同的权重,差距来自硬件本身:
- DGX Spark(GB10):LPDDR5X 统一内存,实测有效带宽约 253~260 GB/s。单流解码是典型的「带宽受限」场景——每生成一个 token 都要搬动 17.6 GB 权重,单个目标步被锁死在约 74.6 ms
- B200:HBM 高带宽 + 澎湃算力,解码速度不再被内存带宽卡脖子,上限天然更高
所以 Spark 上的优化目标是「榨干每一 GB/s」,而 B200 的数据则证明:这套配方不止适用于边缘设备,在数据中心硬件上同样有效。
DGX Spark 篇:12.5 tok/s 如何推到 48.2
原生 MTP 的天花板:为什么停在 37 tok/s
打开原生 MTP 投机解码(k=6/7)能拿到约 37 tok/s,但继续加大 k 反而不涨——原因在于:
原生 drafter 每一步起草都要读取完整 248k 词表的 lm_head(约 3.4 GB)。在带宽受限的机器上,起草次数越多,读掉的字节越多,接受率的收益被起草成本吃掉。
三项优化:起草步读取成本降 8×
本项目的配方把每步起草的读取量从约 3.4 GB 压到约 0.42 GB(8×),解锁 k=8:
- 64k 高频草稿词表:用混合同种/英文/代码/数学语料做频率截断,草稿头只在约 6.4 万个高频 token 里打草稿,平均接受长度 τ 仅下降约 1.8%
- Marlin NVFP4 草稿头(W4A16):lm_head GEMV 时延从 13791 µs 降到 757 µs
- NVFP4 量化的 MTP 层:进一步压缩起草路径的内存占用
补丁实现见 scripts/real_draft.py,NVFP4 线性层内核在 scripts/nvfp4_ops.py;走 vllm serve 部署时,scripts/spark_mtp_draft.py 作为 vLLM 插件把补丁注入 EngineCore 子进程。
最终成绩与分类别表现
| 配置 | tok/s | τ(平均接受长度) | 加速比 |
|---|---|---|---|
| 无 MTP(基线) | 12.5 | — | 1.0× |
| 原生 MTP k=7 | 37.4 | 5.20 | 3.0× |
| 配方 k=8 | 48.2 | 5.29 | 3.9× |
分类别看(k=8):code 52.9 / math 56.9 / chat 44.4 / tool 45.2 tok/s——代码与数学这类确定性输出接受率更高,速度自然更快。
B200 篇:463.5 tok/s 与 4 个实测编码任务
同一套权重、同一套 drafter 配方(B200 上 k=7 最优):
| 配置(24 prompts × 1024 tokens,单流) | B200 成绩 |
|---|---|
| 无 MTP | 128.6 tok/s |
| 原生 MTP k=7 | 444.0 tok/s |
| 本项目配方 k=7 | 463.5 tok/s |
四个编码任务的实时录像回放(模型先流式输出思考与代码,再实际执行生成的程序、全部测试通过):
| 任务 | Token 数 | TTFT | 解码速度 |
|---|---|---|---|
| 带 TTL 的分片 LRU 缓存 | 2594 | 0.07 s | 453 tok/s |
| 算术表达式求值器 | 1896 | 0.10 s | 496 tok/s |
| Dijkstra 最短路 | 396 | 0.09 s | 497 tok/s |
| 树状数组(Fenwick Tree) | 547 | 0.08 s | 508 tok/s |
一个耐人寻味的对比:B200 上起草本身就便宜,配方只多带来约 4%(444.0 → 463.5);而在 DGX Spark 上多带来约 28%(37.4 → 48.0)。这类优化的价值与硬件富余程度成反比——越带宽受限,越值钱。
实战参数建议:温度、k 值与内存设置
- 🎯 温度敏感:上文数字均为温度 0(贪婪验证,τ 上限)。生产环境若用温度 0.7,把
num_speculative_tokens降到 4~6 并重新压测 - 📏 k 值选择:Spark 推荐 k=8(32k 词表 + k=10 亦可,差异 ±1% 内);B200 推荐 k=7
- 🧮 加速比经验值:代码/数学 4~5×,开放式对话 3~4×
- ⚠️ 统一内存机器:
gpu_memory_utilization设为 0.60——0.85 会触发系统 OOM killer,0.60 实测零速度损失且 KV 缓存容量依然充足 - 🔬 逐位置接受率曲线、字节账本与 k 的边际分析,完整数据在 BENCH_REPORT.md
快速上手:三步部署 MTP 加速服务
第 1 步:获取仓库
git clone https://gitcode.com/hf_mirrors/autotrust/Qwen3.8-27B-NVFP4-DGX-SPARK
cd Qwen3.8-27B-NVFP4-DGX-SPARK
第 2 步:安装插件(仅当设置了 SPARK_DRAFT_VOCAB 才激活,同一环境仍可跑未打补丁的服务)
pip install -e plugin/
第 3 步:启动服务(vLLM ≥ 0.31.0,Blackwell 已验证)
export SPARK_DRAFT_HOME=$PWD \
SPARK_DRAFT_VOCAB=$PWD/artifacts/draft_vocab_64k.pt \
SPARK_DRAFT_HEAD_Q=marlin SPARK_DRAFT_MTP_Q=marlin
vllm serve $PWD \
--served-model-name qwen3.8-27b-nvfp4 \
--speculative-config '{"method":"mtp","num_speculative_tokens":8,"use_local_argmax_reduction":true}' \
--gpu-memory-utilization 0.60 \
--max-model-len 131072 --kv-cache-dtype fp8 \
--enable-auto-tool-choice --tool-call-parser qwen3_xml \
--reasoning-parser qwen3
离线批处理场景可跳过插件,在进程内直接调用 real_draft.install(...) 打补丁,详见 README.md 的 Quick start 部分。
🎬 真实演示录像:DGX Spark(dgx_spark_demo.mov,4 分 49 秒)与 B200(b200_demo.mp4)——模型流式输出推理与代码后,生成的程序被执行并检查输出,视频为实测 token 到达时间的实时回放,无加速。
仓库文件导读
| 文件 | 作用 |
|---|---|
| model-00001-of-00003.safetensors(共 3 分片) | 模型权重,与上游逐位一致 |
| hf_quant_config.json | ModelOpt NVFP4/FP8 混合量化配置 |
| config.json | 64 层混合注意力结构(线性注意力 + 每 4 层一次全注意力) |
| generation_config.json | 生成默认参数 |
| scripts/real_draft.py | drafter 核心补丁:词表截断 + Marlin NVFP4 重量化 |
| scripts/nvfp4_ops.py | Marlin/CUTLASS NVFP4 线性层(解码 GEMV 内核) |
| scripts/spark_mtp_draft.py | vLLM 通用插件(serve 部署路径) |
| plugin/pyproject.toml | pip install -e plugin/ 的入口点注册 |
| BENCH_REPORT.md | 完整基准报告:字节账本、GEMV 微基准、边际分析、踩坑记录 |
| sha256sums.txt | 权重校验和(与上游一致) |
选型指南:DGX Spark 还是 B200?
- 💻 个人/边缘部署(低电力、121 GB 统一内存、单卡搞定):DGX Spark + 本配方,48.2 tok/s 已足够流畅完成代码生成与数学任务
- 🏢 数据中心、吞吐优先:B200,463.5 tok/s + TTFT 低于 0.1 秒,适合生产级推理服务
- ⚖️ 质量顾虑:完全不必——这是无损加速,温度 0 下输出与未打补丁的原始模型逐 token 一致
一句话总结:48.2 tok/s 证明小带宽机器也能跑快 27B 大模型,463.5 tok/s 证明数据中心硬件不吃亏;而「无损」二字,让这两组数字可以直接放心用在生产里。