NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4快速上手:10分钟用OpenAI API跑通第一个多模态对话
NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4快速上手:10分钟用OpenAI API跑通第一个多模态对话
本文将带你快速跑通 NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 —— NVIDIA Nemotron 3.5 Super 多模态大模型的 NVFP4 量化版本。它支持文本、图像、视频输入,天然兼容 OpenAI API,单卡 H200 即可部署。跟着下面的步骤,10分钟内跑通你的第一个多模态对话!
💡 模型核心亮点:
- 120B 总参数 / 12B 激活参数:Mamba-2 + MoE(混合专家)+ 注意力层混合架构,推理算力开销低
- NVFP4 量化:显存占用大幅下降,配合量化感知蒸馏,精度几乎无损
- 最高 1M token 上下文:轻松处理超长文档
- 可配置推理模式:一句话开关"深度思考",还能调节思考力度
需要什么硬件?部署方案速览
开始动手前,先确认硬件。官方支持的部署组合如下:
| 硬件 | 推理引擎 | 支持输入 | 备注 |
|---|---|---|---|
| 1× DGX Spark | vLLM / SGLang | 文本、图像 | 建议使用 LiLiCorr 投机解码 |
| 1× H200 | vLLM | 文本、图像、视频 | 单卡即可 |
| 2× H100 | vLLM / SGLang | 文本、图像、视频 | 张量并行 |
| 1× GB200 | vLLM / SGLang / TensorRT-LLM | 文本、图像、视频 | 最高性能 |
下文所有示例均使用端口
8000、模型名nemotron-3.5-super-vl,以 2× H100 的 vLLM 方案为例。
第一步:用 vLLM 启动模型服务(最快配置方法)
模型权重无需提前下载,vllm serve 会自动拉取(若模型需要鉴权,先在 shell 中设置 HF_TOKEN)。
export MODEL=nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4
vllm serve $MODEL \
--served-model-name nemotron-3.5-super-vl \
--tensor-parallel-size 2 \
--max-num-seqs 128 \
--trust-remote-code \
--gpu-memory-utilization 0.89 \
--max-num-batched-tokens 16384 \
--block-size 64 \
--prefix-match-unit 64 \
--compilation_config.max_cudagraph_capture_size 256 \
--mamba-backend flashinfer \
--mamba-ssm-cache-dtype float16 \
--enable-mamba-cache-stochastic-rounding \
--mamba-cache-philox-rounds 5 \
--enable-mamba-shared-prefix-checkpoint \
--mamba-cache-mode align \
--speculative-config.method mtp \
--speculative-config.num_speculative_tokens 3 \
--video-pruning-rate 0.5 \
--media-io-kwargs '{"video": {"fps": 2, "num_frames": 256}}' \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--reasoning-parser nemotron_v3
⏳ 等待模型加载与内核编译完成(首次启动较慢),然后验证端点:
curl --fail http://localhost:8000/v1/models
看到 nemotron-3.5-super-vl 即表示服务就绪 ✅。关键参数说明:
| 参数 | 作用 |
|---|---|
--served-model-name |
API 请求中使用的模型名 |
--tensor-parallel-size |
张量并行的 GPU 数,单卡 H200 改为 1 |
--trust-remote-code |
模型自带自定义加载代码,必须加 |
--speculative-config.method mtp |
启用模型内置 MTP 投机解码,加快生成速度 |
--reasoning-parser nemotron_v3 |
自动解析回复中的"思考内容" |
第二步:OpenAI API 发出第一个文本对话
只需安装官方 OpenAI Python 客户端,无需任何新 SDK:
pip install openai
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
response = client.chat.completions.create(
model="nemotron-3.5-super-vl",
messages=[{"role": "user", "content": "Explain why binary search takes logarithmic time."}],
temperature=1.0,
top_p=0.95,
max_tokens=16384,
extra_body={"chat_template_kwargs": {"enable_thinking": True}},
)
print(response.choices[0].message.content)
能打印出模型回复,你的第一个多模态对话服务就跑通了!🎉
💡 推理模式三档(通过 chat_template_kwargs 控制):
enable_thinking: True:深度思考模式(默认开启)enable_thinking: False:不思考,直接回答{"enable_thinking": True, "medium_effort": True}:中等思考力度,回复更短、速度更快
第三步:跑通第一个图像多模态对话
同一个客户端即可,只需把 content 改为"文本 + 图片"的列表。图片以 base64 数据 URL 形式发送:
import base64
from pathlib import Path
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
image_bytes = Path("image.png").read_bytes()
image_url = "data:image/png;base64," + base64.b64encode(image_bytes).decode()
response = client.chat.completions.create(
model="nemotron-3.5-super-vl",
messages=[{"role": "user", "content": [
{"type": "text", "text": "Describe the image and any visible text."},
{"type": "image_url", "image_url": {"url": image_url}},
]}],
temperature=0.6, # 视觉任务官方推荐 0.6
top_p=0.95,
max_tokens=16384,
)
print(response.choices[0].message.content)
采样建议:文本任务
temperature=1.0(generation_config.json 的默认值),视觉任务temperature=0.6,top_p均为0.95。
进阶玩法:视频理解与工具调用
视频理解
每个请求可包含 1 张图片 + 1 个视频。视频建议 MP4 格式、2 分钟以内,服务端默认以 2 FPS 采样至多 256 帧(1080p 视频建议 1 FPS、至多 128 帧):
video_bytes = Path("video.mp4").read_bytes()
video_url = "data:video/mp4;base64," + base64.b64encode(video_bytes).decode()
# 将 {"type": "video_url", "video_url": {"url": video_url}} 加入 content 列表即可
工具调用(Function Calling)
由于服务端已开启 --enable-auto-tool-choice --tool-call-parser qwen3_coder,模型自动支持 OpenAI 标准工具调用:在请求中传入 tools 函数定义,当返回 tool_calls 时本地执行,再把结果以 role: "tool" 消息回传,模型即可给出最终回答。完整示例见 README.md 的 "API Client" 章节。
常用配置文件与参数速查
| 文件 | 说明 |
|---|---|
| config.json | 模型架构配置:Mamba-2 / MoE / 注意力层交错排布,每层 512 个路由专家,最大上下文 1,048,576 |
| hf_quant_config.json | NVFP4 量化配置:MoE 专家权重 4-bit(group_size 16),KV cache 为 FP8 |
| generation_config.json | 推荐采样参数:temperature 1.0、top_p 0.95 |
| chat_template.jinja | 对话模板,定义 enable_thinking、medium_effort 的解析方式 |
| modeling_nemotron_h_omni.py | Transformers 版模型实现(配合 --trust-remote-code 加载) |
| safety.md / privacy.md | 安全与隐私说明 |
⚠️ 常见坑位提醒:
- 回复被截断:若
finish_reason == "length",说明max_tokens太小——思考 token 与最终答案共享这一预算,调大即可。 - 首次启动慢:必须等模型加载 + 内核编译全部完成后才能发请求。
- 加载报错:务必加
--trust-remote-code,自定义类定义在 configuration_nemotron_h_omni.py 中。 - 单卡 H200:使用同一命令,把
--tensor-parallel-size改为1即可。
写在最后
- ✅ 10分钟即可用
vllm serve+ OpenAI 客户端在本机跑起 120B 多模态模型 - ✅ 文本 / 图像 / 视频三种输入,推理模式一句话开关
- ✅ NVFP4 量化 + MTP 原生投机解码,效率与性能兼得
更多部署配置(SGLang、TensorRT-LLM、NIM、Dynamo 等)与完整基准测试数据,详见 README.md 的 Quick Start Guide 章节。