生产级部署Qwen3.6-35B-A3B-NVFP4:vLLM/SGLang/KTransformers后端横向对比与OOM排障清单
生产级部署Qwen3.6-35B-A3B-NVFP4:vLLM/SGLang/KTransformers后端横向对比与OOM排障清单
Qwen3.6-35B-A3B-NVFP4 是 Unsloth 出品的 NVFP4 混合精度量化检查点:35B 总参数、仅 3B 激活的 MoE 多模态模型,单张 32GB 显存的 GPU 即可承载,原生支持 262K 长上下文。本文横向对比 vLLM、SGLang、KTransformers 三大推理后端的部署要点与性能差异,并给出一份可直接照做的 OOM(显存不足)排障清单,帮你快速完成生产级部署。
一、模型速览:为什么 NVFP4 版本值得生产环境首选
先看这份检查点的关键规格(来自 config.json):
| 维度 | 数值 | 说明 |
|---|---|---|
| 总参数量 | 35B | MoE 架构,每 token 仅激活约 3B |
| 专家数 | 256 | 每 token 激活 8 个路由专家 + 1 个共享专家 |
| 层数 | 40 | 线性注意力 + 全注意力混合布局 |
| 上下文 | 262,144 | 可通过 YaRN 扩展至约 1,010,000 tokens |
| 量化格式 | NVFP4 混合精度 | 专家权重 4-bit、注意力/LM Head 8-bit |
| KV Cache | 8-bit float | 显存占用比 BF16 减半 |
NVFP4 的精髓在于分精度策略:计算密集的 MoE 专家矩阵压到 4-bit(group size 16、float8_e4m3fn 缩放),对精度敏感的注意力投影与 lm_head 保留 8-bit,KV Cache 也采用 8-bit 方案。量化配置细节可查阅 config.json 中的 quantization_config 字段。
精度几乎无损:官方基准显示 NVFP4 版本在 MMLU-Pro(85.85)、GPQA(86.74)、AIME 2025(92.29)上与 BF16 原模型基本持平,而吞吐量比其他 NVFP4 量化版快 1.56 倍。
仓库核心文件一览:
- 权重分片:model-00001-of-00006.safetensors 至 model-00006-of-00006.safetensors,共 6 片
- 权重索引:model.safetensors.index.json
- 模型结构:config.json
- 采样默认值:generation_config.json(temperature=1.0、top_p=0.95、top_k=20)
- 词表与模板:tokenizer.json、chat_template.jinja
- 视觉/视频预处理:preprocessor_config.json、video_preprocessor_config.json
二、vLLM 部署:官方推荐路径
vLLM 是这份 NVFP4 检查点的首选后端,官方建议 vllm>=0.25.0。
1. 环境准备
uv venv unsloth-nvfp4-env --python 3.13
source unsloth-nvfp4-env/bin/activate
uv pip install "vllm>=0.25.0" "flashinfer-python>=0.6.13" "nvidia-cutlass-dsl>=4.5.2" \
--torch-backend=auto
2. 一键启动
vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4
服务就绪后在 http://localhost:8000/v1 提供 OpenAI 兼容 API。💡 稳妥做法是先加 --max-model-len 4096 验证服务能正常拉起,确认显存有余量后再逐步上调上下文长度。
3. MoE 后端选择:别踩 Marlin 的坑
这是本模型最容易忽略的性能开关。在 DGX Spark(sm_121a 架构)上必须设置:
export CUTE_DSL_ARCH=sm_121a
vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4 --moe-backend flashinfer_b12x
官方实测对比(35B-A3B):
| MoE 后端 | 解码速度 | 并发吞吐 |
|---|---|---|
| Marlin(默认自动选择) | 240.8 tok/s | 8,721 tok/s |
| cute-DSL + trtllm | 295.2 tok/s | 15,636 tok/s |
⚠️ Marlin 后端比 cute-DSL / CUTLASS / flashinfer_trtllm 慢约 2 倍,生产环境务必显式指定后端。
4. 开启 MTP 投机解码
该检查点自带 Multi-Token Prediction(MTP)模块,可充当自己的投机草稿模型:
vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4 \
--speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'
注意:MTP 会提升单请求解码速度,但会牺牲部分并发吞吐,并额外占用显存,高并发场景需实测权衡。
三、SGLang 部署:高并发服务的有力竞争者
SGLang(建议 sglang>=0.5.10)以 RadixAttention 前缀缓存见长,适合多轮对话、共享 System Prompt 的高并发场景。
uv pip install sglang[all]
1. 标准部署(8 卡张量并行)
python -m sglang.launch_server \
--model-path unsloth/Qwen3.6-35B-A3B-NVFP4 \
--port 8000 --tp-size 8 --mem-fraction-static 0.8 \
--context-length 262144 --reasoning-parser qwen3
2. 开启工具调用
给 Agent 场景追加一个参数即可:
--tool-call-parser qwen3_coder
3. MTP 投机解码
SGLang 使用 NEXTN 算法启用 MTP:
--speculative-algo NEXTN --speculative-num-steps 3 \
--speculative-eagle-topk 1 --speculative-num-draft-tokens 4
4. 长上下文(YaRN)
需要超过 262K 的超长上下文时,SGLang 通过环境变量 + JSON 覆盖开启 YaRN:
SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 python -m sglang.launch_server ... \
--json-model-override-args '{"text_config": {"rope_parameters": {"rope_type": "yarn", "factor": 4.0, "original_max_position_embeddings": 262144, ...}}}' \
--context-length 1010000
四、KTransformers 部署:低显存异构方案
KTransformers 走的是 CPU-GPU 异构路线:把专家权重放到内存/SSD,注意力与少量关键层留在 GPU。适合显存不足 32GB、但内存充裕(如 64GB+ RAM)的机器,是"能不能跑起来"的兜底方案,而非"跑得最快"的选择。部署流程可参考其官方 Qwen 系列部署文档,模型路径直接指向本仓库即可。
五、三大后端横向对比
| 对比项 | vLLM | SGLang | KTransformers |
|---|---|---|---|
| 定位 | 官方推荐 NVFP4 首选 | 高并发/长上下文服务 | CPU+GPU 异构低显存 |
| 最低门槛 | 32GB 显存单卡 | 32GB 显存起,多卡可 TP | 低显存 + 大内存 |
| NVFP4 性能 | ⭐ 最快(cute-DSL 后端) | 接近原生 BF16 版表现 | 以可运行为主 |
| MTP 投机解码 | ✅ --speculative-config |
✅ --speculative-algo NEXTN |
视版本而定 |
| 前缀缓存复用 | PagedAttention | RadixAttention(更强) | 一般 |
| 工具调用解析 | OpenAI API 通用 | ✅ qwen3_coder parser |
OpenAI API 通用 |
| 适用场景 | 通用生产、Agent 服务 | 多轮对话、批量 Agent | 消费级/边缘机器 |
选型一句话:显存 ≥32GB 选 vLLM(配 cute-DSL 后端);多轮共享前缀的高并发服务可试 SGLang;显存不够但内存大就上 KTransformers。
六、OOM 排障清单 🚑
模型默认上下文为 262,144 tokens,这是绝大多数 OOM 的根源。遇到 CUDA out of memory 时,按下面顺序排查:
1. 先降上下文窗口(命中率最高)
- vLLM:调低
--max-model-len - SGLang:调低
--context-length - 官方建议:压缩后至少保留 128K,否则会明显削弱思考能力
2. 用小窗口验证,再阶梯上调
首次部署先用 --max-model-len 4096 确认服务正常,再逐步升到 32K / 128K / 262K,定位显存临界点。
3. 检查是否叠加了显存大户
| 显存消耗源 | 处理建议 |
|---|---|
| MTP 投机解码 | 高并发时先关掉,单请求延迟敏感时再开 |
| YaRN 百万级上下文 | 仅在确需超长文本时启用(factor 按需设 2.0) |
| 长视频输入 | video_preprocessor_config.json 中 longest_edge 若设为 469,762,048(对应 224K 视频 token),单条请求即可打满显存,普通图文业务请保持默认 |
| 输出长度 | 普通请求设 32,768,复杂推理才开到 81,920 |
4. 框架级参数调优
- SGLang 的
--mem-fraction-static默认 0.8,显存紧张可降到 0.7(KV Cache 空间更小但权重加载更稳) - vLLM 确认没有意外启用
--enforce-eager之外的额外占用,且 MoE 后端不是 Marlin(慢但不直接导致 OOM,需先排除) - 多卡部署时确认 TP 切分生效(
nvidia-smi各卡显存分布)
5. 核对量化检查点完整性
若 OOM 发生在加载阶段而非推理阶段,多半是权重没按 NVFP4 加载(回退成 BF16 直接翻倍占显存)。确认:
- config.json 中
quantization_config.quant_method为compressed-tensors - 6 个分片 + model.safetensors.index.json 齐全
- 框架版本达标(vLLM ≥0.25.0 / SGLang ≥0.5.10),旧版本不识别 NVFP4 会静默回退
6. 最后手段
- 换官方
Qwen3.6-35B-A3B-NVFP4-Fast版本:速度再快 1.79 倍、精度略降,显存需求同步更友好 - 多卡 TP 分摊权重
七、生产参数速查表
| 场景 | 推荐采样参数 |
|---|---|
| 思考模式·通用任务 | temperature=1.0, top_p=0.95, top_k=20, presence_penalty=1.5 |
| 思考模式·精细编码 | temperature=0.6, top_p=0.95, top_k=20, presence_penalty=0.0 |
| 非思考模式·通用 | temperature=0.7, top_p=0.8, top_k=20, presence_penalty=1.5 |
其他要点:
- 模型默认进入思考模式;关闭思考通过请求体传
chat_template_kwargs: {"enable_thinking": False} - Agent 场景建议开启
preserve_thinking: True,保留历史推理轨迹,可减少重复推理、提升 KV Cache 利用率 - 模板行为可参考 chat_template.jinja
八、部署核对清单 ✅
- ✅ 环境:Python 3.13 + 框架版本达标
- ✅ 权重:6 片 safetensors 下载完整(model.safetensors.index.json 校验)
- ✅ 后端:vLLM 指定 cute-DSL 系 MoE 后端,避开 Marlin
- ✅ 上下文:从 4K 阶梯上调至 128K~262K
- ✅ 压测:用 128 并发复测吞吐,观察 KV Cache 命中率
- ✅ 监控:显存水位、P99 延迟、MTP 接受率
按这份清单走完,35B-A3B 的 NVFP4 检查点即可稳定运行在单卡 32GB 级别的生产环境中——用消费级显存,跑出旗舰 MoE 的吞吐。