NVIDIA-Nemotron-Labs-Teacher-STEM 快速部署教程:4×B200 上 vLLM 一键启动 1M 上下文推理服务
NVIDIA-Nemotron-Labs-Teacher-STEM 快速部署教程:4×B200 上 vLLM 一键启动 1M 上下文推理服务
NVIDIA-Nemotron-Labs-Teacher-STEM 是 NVIDIA Nemotron 3 Ultra 家族中一款专攻数学、代码、自然科学与人文的 STEM 通用推理大模型,总参数 550B、激活参数 55B,支持最高 1M token 上下文。本教程带你在 4×B200 单机上用 vLLM 一条 Docker 命令一键启动该模型的 OpenAI 兼容推理服务,并教你把上下文从默认 256K 扩展到 1M。
🧠 模型速览:它强在哪?
在动手部署前,先花 30 秒了解这个模型的"身材":
| 项目 | 规格 |
|---|---|
| 总参数 / 激活参数 | 550B / 55B(MoE 稀疏激活) |
| 架构 | LatentMoE:Mamba-2 + MoE + Attention 混合,带 MTP 多 token 预测 |
| 上下文长度 | 最高 1M tokens(部署默认 256K) |
| 量化格式 | NVFP4(面向 Blackwell 硬件最大化吞吐) |
| 最低硬件 | 4×B200 或 4×GB200 / 4×GB300 / 4×B300 / 8×H100 |
| 擅长任务 | 多步推理、竞赛数学与代码、科学知识问答、蒸馏教师 |
模型定义采用混合层结构:Mamba 层负责高效长序列状态管理、MoE 层提供专家容量、少量 Attention 层负责全局检索,每 4 层里嵌入一组注意力层。你可以在 config.json 中逐层看到 mamba / moe / attention 的排布,configuration_nemotron_h.py 则定义了 NemotronHConfig 配置类。
几个值得注意的配置(见 config.json):
n_routed_experts: 512:每层有 512 个路由专家;num_experts_per_tok: 22:每个 token 只激活 22 个专家,这就是"550B 总参数却只跑 55B 激活量"的原因;max_position_embeddings: 262144:默认位置上限 256K,1M 需要在部署端放开(见后文)。
它的模型主体实现在 modeling_nemotron_h.py,权重按 225 个分片存放,分片映射见 model.safetensors.index.json。
🖥️ 硬件准备:4×B200 单机够不够?
够,而且刚刚好。NVFP4 量化后的权重 + KV cache 在 4×B200 的显存里留有裕量,官方推荐配置如下(摘自 README.md):
- 单机:4× B200(本教程场景)
- 多机:≥4 张 GPU 的 GB200 / GB300 集群(用 Ray 组网)
💡 提示:如果你的机器不是 B200,也可以看 README.md 的 Inference 部分——模型同样测试过 H100 / H200 / B300 / GB200 / GB300。
🚀 三步部署:vLLM 一键启动
第 1 步:获取模型文件
git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Teacher-STEM
export MODEL_CKPT=~/NVIDIA-Nemotron-Labs-Teacher-STEM
完整部署说明都在仓库的 README.md Quick Start 章节,本教程只挑最常用的 vLLM 路线。
第 2 步:一条 Docker 命令启动 vLLM 服务
docker run -d --name nemotron-ultra-vllm \
--gpus all \
--ipc=host \
--network=host \
--shm-size=16g \
--ulimit memlock=-1 \
--ulimit stack=67108864 \
-v $MODEL_CKPT:/model:ro \
-e VLLM_WORKER_MULTIPROC_METHOD=spawn \
-e SAFETENSORS_FAST_GPU=1 \
-e NVIDIA_TF32_OVERRIDE=1 \
-e VLLM_LOGGING_LEVEL=INFO \
vllm/vllm-openai:v0.22.0 \
/model \
--host 0.0.0.0 \
--port 8000 \
--served-model-name nvidia/nemotron-3-ultra \
--trust-remote-code \
--tensor-parallel-size 4 \
--enable-expert-parallel \
--kv-cache-dtype fp8 \
--max-model-len 262144 \
--gpu-memory-utilization 0.90 \
--max-num-seqs 16 \
--max-num-batched-tokens 32768 \
--enable-chunked-prefill \
--enable-prefix-caching \
--reasoning-parser nemotron_v3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--mamba-ssm-cache-dtype float16 \
--mamba-backend flashinfer \
--enable-mamba-cache-stochastic-rounding \
--mamba-cache-philox-rounds 5 \
--speculative-config '{"method": "nemotron_h_mtp", "num_speculative_tokens": 5}' \
--model-loader-extra-config '{"enable_multithread_load": true, "num_threads": 96}'
推荐镜像为 vllm/vllm-openai:v0.22.0(见 README.md)。看着参数多,其实只有 5 类是核心:
| 参数 | 作用 |
|---|---|
--tensor-parallel-size 4 + --enable-expert-parallel |
4 卡张量并行 + 专家并行,MoE 模型标配 |
--kv-cache-dtype fp8 |
FP8 KV cache,省显存、支撑长上下文 |
--max-model-len 262144 |
上下文上限 256K(想开 1M 看第 4 步) |
--enable-chunked-prefill + --enable-prefix-caching |
分块预填 + 前缀缓存,长文本场景提速明显 |
--speculative-config ... |
开启 MTP 多 token 预测,一次猜 5 个 token,解码更快 |
模型自带的推理/工具调用解析能力由 --reasoning-parser nemotron_v3 和 --tool-call-parser qwen3_coder 两个参数启用;仓库内的 ultra_v3_reasoning_parser.py 就是配套的 ultra_v3 解析器,它继承 DeepSeek-R1 风格解析并正确处理"关闭思考"模式下的内容归属。
第 3 步:验证服务是否就绪
服务默认监听 8000 端口。先确认模型已加载:
curl http://localhost:8000/v1/models
再用任意 OpenAI 兼容客户端发第一句话(示例见 README.md):
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
response = client.chat.completions.create(
model="nvidia/nemotron-3-ultra",
messages=[{"role": "user", "content": "证明:素数有无穷多个,写出完整过程"}],
max_tokens=16000,
temperature=1.0,
top_p=0.95,
extra_body={"chat_template_kwargs": {"enable_thinking": True}}
)
print(response.choices.message.content)
采样参数 temperature=1.0 / top_p=0.95 与仓库 generation_config.json 中的默认值保持一致,可直接沿用。
第 4 步(可选):把上下文拉到 1M
上面命令默认 256K。如果你的任务需要读入百万 token 级超长文档,加一个环境变量并把上限改大即可(官方说明见 README.md):
-e VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 \
...
--max-model-len 1048576
⚠️ 注意:1M 上下文会显著占用 KV cache 显存,建议同时适当调低
--max-num-seqs。日常使用 256K 通常足够。
🎛️ 推理开关:enable_thinking 三档模式
这个模型的"思考"可以像空调一样分档调节,开关定义在 chat_template.jinja:
- 完整思考(默认):
"enable_thinking": true,先生成完整推理链再给答案,适合难题; - 直接回答:
"enable_thinking": false,跳过推理,快问快答(例如"日本首都是?"); - 中等思考:
"enable_thinking": true, "medium_effort": true,推理 token 大幅减少,官方推荐作为调优起点(示例见 README.md)。
如果把它接给编码 Agent(如 OpenCode),记得在 API 调用里加 extra_body={"chat_template_kwargs": {"force_nonempty_content": True}},保证内容字段不为空。
❓ 常见问题 FAQ
Q1:为什么不建议把 --max-model-len 直接写 1M?
默认 256K 是吞吐与显存的平衡点。只有确实需要超长输入时才放开 1M,否则会拉高每条请求的 KV cache 预分配,降低并发能力。
Q2:没有 vLLM 偏好,还能用什么后端?
可以。README 同时给出了 SGLang(lmsysorg/sglang:v0.5.13,见 README.md)和 TensorRT-LLM(见 README.md)两套 4×B200 配置,三者都暴露相同的 OpenAI 兼容端点,客户端代码零改动。
Q3:想要更高吞吐,还能调什么?
两个环境变量值得一试(见 README.md):VLLM_FLASHINFER_MOE_BACKEND=throughput(CUTLASS,吞吐优先)或 latency(TRTLLM-Gen,低延迟优先),再配合 VLLM_FLASHINFER_ALLREDUCE_BACKEND=trtllm。
Q4:多机怎么扩展?
官方推荐用 Ray 组多节点集群(head + worker),然后 vLLM 加 --pipeline-parallel-size 与 --distributed-executor-backend ray,完整模板见 README.md。
📌 总结
| 步骤 | 动作 | 耗时感受 |
|---|---|---|
| 1 | 克隆模型仓库并设置 MODEL_CKPT |
取决于下载速度 |
| 2 | 跑一条 vLLM Docker 命令 | 权重加载后自动监听 8000 |
| 3 | curl /v1/models + 一次 chat 请求验证 |
秒级 |
| 4 | 需要长文本时放开 1M 上下文 | 改两个参数即可 |
至此,NVIDIA-Nemotron-Labs-Teacher-STEM 推理服务已在 4×B200 上跑起来:vLLM 负责高性能推理、MTP 投机解码负责加速、enable_thinking 负责按需思考。后续想深入架构细节,可从 configuration_nemotron_h.py 与 modeling_nemotron_h.py 两个文件读起。