NVIDIA-Nemotron-Labs-Teacher-STEM 快速部署教程:4×B200 上 vLLM 一键启动 1M 上下文推理服务

原创2026-10-17 10:00:461,653 阅读

NVIDIA-Nemotron-Labs-Teacher-STEM 快速部署教程:4×B200 上 vLLM 一键启动 1M 上下文推理服务

NVIDIA-Nemotron-Labs-Teacher-STEM 是 NVIDIA Nemotron 3 Ultra 家族中一款专攻数学、代码、自然科学与人文的 STEM 通用推理大模型,总参数 550B、激活参数 55B,支持最高 1M token 上下文。本教程带你在 4×B200 单机上用 vLLM 一条 Docker 命令一键启动该模型的 OpenAI 兼容推理服务,并教你把上下文从默认 256K 扩展到 1M。

🧠 模型速览:它强在哪?

在动手部署前,先花 30 秒了解这个模型的"身材":

项目 规格
总参数 / 激活参数 550B / 55B(MoE 稀疏激活)
架构 LatentMoE:Mamba-2 + MoE + Attention 混合,带 MTP 多 token 预测
上下文长度 最高 1M tokens(部署默认 256K)
量化格式 NVFP4(面向 Blackwell 硬件最大化吞吐)
最低硬件 4×B200 或 4×GB200 / 4×GB300 / 4×B300 / 8×H100
擅长任务 多步推理、竞赛数学与代码、科学知识问答、蒸馏教师

模型定义采用混合层结构:Mamba 层负责高效长序列状态管理、MoE 层提供专家容量、少量 Attention 层负责全局检索,每 4 层里嵌入一组注意力层。你可以在 config.json 中逐层看到 mamba / moe / attention 的排布,configuration_nemotron_h.py 则定义了 NemotronHConfig 配置类。

几个值得注意的配置(见 config.json):

  • n_routed_experts: 512:每层有 512 个路由专家;
  • num_experts_per_tok: 22:每个 token 只激活 22 个专家,这就是"550B 总参数却只跑 55B 激活量"的原因;
  • max_position_embeddings: 262144:默认位置上限 256K,1M 需要在部署端放开(见后文)。

它的模型主体实现在 modeling_nemotron_h.py,权重按 225 个分片存放,分片映射见 model.safetensors.index.json。

🖥️ 硬件准备:4×B200 单机够不够?

够,而且刚刚好。NVFP4 量化后的权重 + KV cache 在 4×B200 的显存里留有裕量,官方推荐配置如下(摘自 README.md):

  • 单机:4× B200(本教程场景)
  • 多机:≥4 张 GPU 的 GB200 / GB300 集群(用 Ray 组网)

💡 提示:如果你的机器不是 B200,也可以看 README.md 的 Inference 部分——模型同样测试过 H100 / H200 / B300 / GB200 / GB300。

🚀 三步部署:vLLM 一键启动

第 1 步:获取模型文件

git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Teacher-STEM
export MODEL_CKPT=~/NVIDIA-Nemotron-Labs-Teacher-STEM

完整部署说明都在仓库的 README.md Quick Start 章节,本教程只挑最常用的 vLLM 路线。

第 2 步:一条 Docker 命令启动 vLLM 服务

docker run -d --name nemotron-ultra-vllm \
  --gpus all \
  --ipc=host \
  --network=host \
  --shm-size=16g \
  --ulimit memlock=-1 \
  --ulimit stack=67108864 \
  -v $MODEL_CKPT:/model:ro \
  -e VLLM_WORKER_MULTIPROC_METHOD=spawn \
  -e SAFETENSORS_FAST_GPU=1 \
  -e NVIDIA_TF32_OVERRIDE=1 \
  -e VLLM_LOGGING_LEVEL=INFO \
  vllm/vllm-openai:v0.22.0 \
  /model \
  --host 0.0.0.0 \
  --port 8000 \
  --served-model-name nvidia/nemotron-3-ultra \
  --trust-remote-code \
  --tensor-parallel-size 4 \
  --enable-expert-parallel \
  --kv-cache-dtype fp8 \
  --max-model-len 262144 \
  --gpu-memory-utilization 0.90 \
  --max-num-seqs 16 \
  --max-num-batched-tokens 32768 \
  --enable-chunked-prefill \
  --enable-prefix-caching \
  --reasoning-parser nemotron_v3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --mamba-ssm-cache-dtype float16 \
  --mamba-backend flashinfer \
  --enable-mamba-cache-stochastic-rounding \
  --mamba-cache-philox-rounds 5 \
  --speculative-config '{"method": "nemotron_h_mtp", "num_speculative_tokens": 5}' \
  --model-loader-extra-config '{"enable_multithread_load": true, "num_threads": 96}'

推荐镜像为 vllm/vllm-openai:v0.22.0(见 README.md)。看着参数多,其实只有 5 类是核心:

参数 作用
--tensor-parallel-size 4 + --enable-expert-parallel 4 卡张量并行 + 专家并行,MoE 模型标配
--kv-cache-dtype fp8 FP8 KV cache,省显存、支撑长上下文
--max-model-len 262144 上下文上限 256K(想开 1M 看第 4 步)
--enable-chunked-prefill + --enable-prefix-caching 分块预填 + 前缀缓存,长文本场景提速明显
--speculative-config ... 开启 MTP 多 token 预测,一次猜 5 个 token,解码更快

模型自带的推理/工具调用解析能力由 --reasoning-parser nemotron_v3 和 --tool-call-parser qwen3_coder 两个参数启用;仓库内的 ultra_v3_reasoning_parser.py 就是配套的 ultra_v3 解析器,它继承 DeepSeek-R1 风格解析并正确处理"关闭思考"模式下的内容归属。

第 3 步:验证服务是否就绪

服务默认监听 8000 端口。先确认模型已加载:

curl http://localhost:8000/v1/models

再用任意 OpenAI 兼容客户端发第一句话(示例见 README.md):

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")

response = client.chat.completions.create(
    model="nvidia/nemotron-3-ultra",
    messages=[{"role": "user", "content": "证明:素数有无穷多个,写出完整过程"}],
    max_tokens=16000,
    temperature=1.0,
    top_p=0.95,
    extra_body={"chat_template_kwargs": {"enable_thinking": True}}
)
print(response.choices.message.content)

采样参数 temperature=1.0 / top_p=0.95 与仓库 generation_config.json 中的默认值保持一致,可直接沿用。

第 4 步(可选):把上下文拉到 1M

上面命令默认 256K。如果你的任务需要读入百万 token 级超长文档,加一个环境变量并把上限改大即可(官方说明见 README.md):

-e VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 \
  ...
  --max-model-len 1048576

⚠️ 注意:1M 上下文会显著占用 KV cache 显存,建议同时适当调低 --max-num-seqs。日常使用 256K 通常足够。

🎛️ 推理开关:enable_thinking 三档模式

这个模型的"思考"可以像空调一样分档调节,开关定义在 chat_template.jinja:

  • 完整思考(默认):"enable_thinking": true,先生成完整推理链再给答案,适合难题;
  • 直接回答:"enable_thinking": false,跳过推理,快问快答(例如"日本首都是?");
  • 中等思考:"enable_thinking": true, "medium_effort": true,推理 token 大幅减少,官方推荐作为调优起点(示例见 README.md)。

如果把它接给编码 Agent(如 OpenCode),记得在 API 调用里加 extra_body={"chat_template_kwargs": {"force_nonempty_content": True}},保证内容字段不为空。

❓ 常见问题 FAQ

Q1:为什么不建议把 --max-model-len 直接写 1M? 默认 256K 是吞吐与显存的平衡点。只有确实需要超长输入时才放开 1M,否则会拉高每条请求的 KV cache 预分配,降低并发能力。

Q2:没有 vLLM 偏好,还能用什么后端? 可以。README 同时给出了 SGLang(lmsysorg/sglang:v0.5.13,见 README.md)和 TensorRT-LLM(见 README.md)两套 4×B200 配置,三者都暴露相同的 OpenAI 兼容端点,客户端代码零改动。

Q3:想要更高吞吐,还能调什么? 两个环境变量值得一试(见 README.md):VLLM_FLASHINFER_MOE_BACKEND=throughput(CUTLASS,吞吐优先)或 latency(TRTLLM-Gen,低延迟优先),再配合 VLLM_FLASHINFER_ALLREDUCE_BACKEND=trtllm。

Q4:多机怎么扩展? 官方推荐用 Ray 组多节点集群(head + worker),然后 vLLM 加 --pipeline-parallel-size 与 --distributed-executor-backend ray,完整模板见 README.md。

📌 总结

步骤 动作 耗时感受
1 克隆模型仓库并设置 MODEL_CKPT 取决于下载速度
2 跑一条 vLLM Docker 命令 权重加载后自动监听 8000
3 curl /v1/models + 一次 chat 请求验证 秒级
4 需要长文本时放开 1M 上下文 改两个参数即可

至此,NVIDIA-Nemotron-Labs-Teacher-STEM 推理服务已在 4×B200 上跑起来:vLLM 负责高性能推理、MTP 投机解码负责加速、enable_thinking 负责按需思考。后续想深入架构细节,可从 configuration_nemotron_h.py 与 modeling_nemotron_h.py 两个文件读起。

登录后查看全文
NVIDIA-Nemotron-Labs-Teacher-STEM