跨硬件对决:Qwen3.8-27B-NVFP4-DGX-SPARK 在 DGX Spark vs B200 上 48.2 vs 463.5 tok/s 的完整对比分析

原创2026-11-11 19:52:281,981 阅读
文章标签:人工智能大模型模型量化模型优化本地部署模型推理服务

跨硬件对决:Qwen3.8-27B-NVFP4-DGX-SPARK 在 DGX Spark vs B200 上 48.2 vs 463.5 tok/s 的完整对比分析

Qwen3.8-27B-NVFP4-DGX-SPARK 是 27B 大模型 Qwen3.8-27B 的「无损加速分发」:权重与 nvidia/Qwen3.8-27B-NVFP4 逐位一致,附带一套经过完整基准调优的 MTP 投机解码(speculative decoding)配置。同一套权重,在 DGX Spark(GB10)上单流解码从 12.5 提升到 48.2 tok/s(3.9×),在数据中心 B200 上则冲到 463.5 tok/s。本文拆解两组数字的来历与实战要点。

项目速览:30 秒看懂这个 NVFP4 加速仓库

  • ✅ 无损:模型权重 21.9 GB,与上游逐位相同(sha256sums.txt 可校验);只改「草稿头」,64 层主干与验证头一律不动,温度 0 下输出逐 token 一致
  • ⚡ NVFP4 混合量化(ModelOpt):MLP → NVFP4,线性注意力 → FP8,lm_head → NVFP4
  • 🚀 提速来源:MTP 投机解码 + 更便宜的 drafter(64k 高频词表 + Marlin NVFP4 草稿头)
  • 🔧 即插即用:vLLM ≥ 0.31.0,Blackwell(sm_120/121)已验证
快速对比 DGX Spark(GB10) NVIDIA B200
无 MTP 基线 12.5 tok/s 128.6 tok/s
原生 MTP 37.4~37.5 tok/s 444.0 tok/s
本项目配方 48.2 tok/s(3.9×) 463.5 tok/s
最优投机步数 k 8 7

同一套权重,为什么 B200 快近 10 倍?

两台机器跑的是完全相同的权重,差距来自硬件本身:

  • DGX Spark(GB10):LPDDR5X 统一内存,实测有效带宽约 253~260 GB/s。单流解码是典型的「带宽受限」场景——每生成一个 token 都要搬动 17.6 GB 权重,单个目标步被锁死在约 74.6 ms
  • B200:HBM 高带宽 + 澎湃算力,解码速度不再被内存带宽卡脖子,上限天然更高

所以 Spark 上的优化目标是「榨干每一 GB/s」,而 B200 的数据则证明:这套配方不止适用于边缘设备,在数据中心硬件上同样有效。

DGX Spark 篇:12.5 tok/s 如何推到 48.2

原生 MTP 的天花板:为什么停在 37 tok/s

打开原生 MTP 投机解码(k=6/7)能拿到约 37 tok/s,但继续加大 k 反而不涨——原因在于:

原生 drafter 每一步起草都要读取完整 248k 词表的 lm_head(约 3.4 GB)。在带宽受限的机器上,起草次数越多,读掉的字节越多,接受率的收益被起草成本吃掉。

三项优化:起草步读取成本降 8×

本项目的配方把每步起草的读取量从约 3.4 GB 压到约 0.42 GB(8×),解锁 k=8:

  1. 64k 高频草稿词表:用混合同种/英文/代码/数学语料做频率截断,草稿头只在约 6.4 万个高频 token 里打草稿,平均接受长度 τ 仅下降约 1.8%
  2. Marlin NVFP4 草稿头(W4A16):lm_head GEMV 时延从 13791 µs 降到 757 µs
  3. NVFP4 量化的 MTP 层:进一步压缩起草路径的内存占用

补丁实现见 scripts/real_draft.py,NVFP4 线性层内核在 scripts/nvfp4_ops.py;走 vllm serve 部署时,scripts/spark_mtp_draft.py 作为 vLLM 插件把补丁注入 EngineCore 子进程。

最终成绩与分类别表现

配置 tok/s τ(平均接受长度) 加速比
无 MTP(基线) 12.5 — 1.0×
原生 MTP k=7 37.4 5.20 3.0×
配方 k=8 48.2 5.29 3.9×

分类别看(k=8):code 52.9 / math 56.9 / chat 44.4 / tool 45.2 tok/s——代码与数学这类确定性输出接受率更高,速度自然更快。

B200 篇:463.5 tok/s 与 4 个实测编码任务

同一套权重、同一套 drafter 配方(B200 上 k=7 最优):

配置(24 prompts × 1024 tokens,单流) B200 成绩
无 MTP 128.6 tok/s
原生 MTP k=7 444.0 tok/s
本项目配方 k=7 463.5 tok/s

四个编码任务的实时录像回放(模型先流式输出思考与代码,再实际执行生成的程序、全部测试通过):

任务 Token 数 TTFT 解码速度
带 TTL 的分片 LRU 缓存 2594 0.07 s 453 tok/s
算术表达式求值器 1896 0.10 s 496 tok/s
Dijkstra 最短路 396 0.09 s 497 tok/s
树状数组(Fenwick Tree) 547 0.08 s 508 tok/s

一个耐人寻味的对比:B200 上起草本身就便宜,配方只多带来约 4%(444.0 → 463.5);而在 DGX Spark 上多带来约 28%(37.4 → 48.0)。这类优化的价值与硬件富余程度成反比——越带宽受限,越值钱。

实战参数建议:温度、k 值与内存设置

  • 🎯 温度敏感:上文数字均为温度 0(贪婪验证,τ 上限)。生产环境若用温度 0.7,把 num_speculative_tokens 降到 4~6 并重新压测
  • 📏 k 值选择:Spark 推荐 k=8(32k 词表 + k=10 亦可,差异 ±1% 内);B200 推荐 k=7
  • 🧮 加速比经验值:代码/数学 4~5×,开放式对话 3~4×
  • ⚠️ 统一内存机器:gpu_memory_utilization 设为 0.60——0.85 会触发系统 OOM killer,0.60 实测零速度损失且 KV 缓存容量依然充足
  • 🔬 逐位置接受率曲线、字节账本与 k 的边际分析,完整数据在 BENCH_REPORT.md

快速上手:三步部署 MTP 加速服务

第 1 步:获取仓库

git clone https://gitcode.com/hf_mirrors/autotrust/Qwen3.8-27B-NVFP4-DGX-SPARK
cd Qwen3.8-27B-NVFP4-DGX-SPARK

第 2 步:安装插件(仅当设置了 SPARK_DRAFT_VOCAB 才激活,同一环境仍可跑未打补丁的服务)

pip install -e plugin/

第 3 步:启动服务(vLLM ≥ 0.31.0,Blackwell 已验证)

export SPARK_DRAFT_HOME=$PWD \
       SPARK_DRAFT_VOCAB=$PWD/artifacts/draft_vocab_64k.pt \
       SPARK_DRAFT_HEAD_Q=marlin SPARK_DRAFT_MTP_Q=marlin

vllm serve $PWD \
  --served-model-name qwen3.8-27b-nvfp4 \
  --speculative-config '{"method":"mtp","num_speculative_tokens":8,"use_local_argmax_reduction":true}' \
  --gpu-memory-utilization 0.60 \
  --max-model-len 131072 --kv-cache-dtype fp8 \
  --enable-auto-tool-choice --tool-call-parser qwen3_xml \
  --reasoning-parser qwen3

离线批处理场景可跳过插件,在进程内直接调用 real_draft.install(...) 打补丁,详见 README.md 的 Quick start 部分。

🎬 真实演示录像:DGX Spark(dgx_spark_demo.mov,4 分 49 秒)与 B200(b200_demo.mp4)——模型流式输出推理与代码后,生成的程序被执行并检查输出,视频为实测 token 到达时间的实时回放,无加速。

仓库文件导读

文件 作用
model-00001-of-00003.safetensors(共 3 分片) 模型权重,与上游逐位一致
hf_quant_config.json ModelOpt NVFP4/FP8 混合量化配置
config.json 64 层混合注意力结构(线性注意力 + 每 4 层一次全注意力)
generation_config.json 生成默认参数
scripts/real_draft.py drafter 核心补丁:词表截断 + Marlin NVFP4 重量化
scripts/nvfp4_ops.py Marlin/CUTLASS NVFP4 线性层(解码 GEMV 内核)
scripts/spark_mtp_draft.py vLLM 通用插件(serve 部署路径)
plugin/pyproject.toml pip install -e plugin/ 的入口点注册
BENCH_REPORT.md 完整基准报告:字节账本、GEMV 微基准、边际分析、踩坑记录
sha256sums.txt 权重校验和(与上游一致)

选型指南:DGX Spark 还是 B200?

  • 💻 个人/边缘部署(低电力、121 GB 统一内存、单卡搞定):DGX Spark + 本配方,48.2 tok/s 已足够流畅完成代码生成与数学任务
  • 🏢 数据中心、吞吐优先:B200,463.5 tok/s + TTFT 低于 0.1 秒,适合生产级推理服务
  • ⚖️ 质量顾虑:完全不必——这是无损加速,温度 0 下输出与未打补丁的原始模型逐 token 一致

一句话总结:48.2 tok/s 证明小带宽机器也能跑快 27B 大模型,463.5 tok/s 证明数据中心硬件不吃亏;而「无损」二字,让这两组数字可以直接放心用在生产里。

登录后查看全文
Qwen3.8-27B-NVFP4-DGX-SPARK