NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4快速上手:10分钟用OpenAI API跑通第一个多模态对话

原创2026-10-20 11:01:381,977 阅读
文章标签:人工智能大模型多模态计算机视觉模型量化

NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4快速上手:10分钟用OpenAI API跑通第一个多模态对话

本文将带你快速跑通 NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 —— NVIDIA Nemotron 3.5 Super 多模态大模型的 NVFP4 量化版本。它支持文本、图像、视频输入,天然兼容 OpenAI API,单卡 H200 即可部署。跟着下面的步骤,10分钟内跑通你的第一个多模态对话!

💡 模型核心亮点:

  • 120B 总参数 / 12B 激活参数:Mamba-2 + MoE(混合专家)+ 注意力层混合架构,推理算力开销低
  • NVFP4 量化:显存占用大幅下降,配合量化感知蒸馏,精度几乎无损
  • 最高 1M token 上下文:轻松处理超长文档
  • 可配置推理模式:一句话开关"深度思考",还能调节思考力度

需要什么硬件?部署方案速览

开始动手前,先确认硬件。官方支持的部署组合如下:

硬件 推理引擎 支持输入 备注
1× DGX Spark vLLM / SGLang 文本、图像 建议使用 LiLiCorr 投机解码
1× H200 vLLM 文本、图像、视频 单卡即可
2× H100 vLLM / SGLang 文本、图像、视频 张量并行
1× GB200 vLLM / SGLang / TensorRT-LLM 文本、图像、视频 最高性能

下文所有示例均使用端口 8000、模型名 nemotron-3.5-super-vl,以 2× H100 的 vLLM 方案为例。

第一步:用 vLLM 启动模型服务(最快配置方法)

模型权重无需提前下载,vllm serve 会自动拉取(若模型需要鉴权,先在 shell 中设置 HF_TOKEN)。

export MODEL=nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4
vllm serve $MODEL \
  --served-model-name nemotron-3.5-super-vl \
  --tensor-parallel-size 2 \
  --max-num-seqs 128 \
  --trust-remote-code \
  --gpu-memory-utilization 0.89 \
  --max-num-batched-tokens 16384 \
  --block-size 64 \
  --prefix-match-unit 64 \
  --compilation_config.max_cudagraph_capture_size 256 \
  --mamba-backend flashinfer \
  --mamba-ssm-cache-dtype float16 \
  --enable-mamba-cache-stochastic-rounding \
  --mamba-cache-philox-rounds 5 \
  --enable-mamba-shared-prefix-checkpoint \
  --mamba-cache-mode align \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 3 \
  --video-pruning-rate 0.5 \
  --media-io-kwargs '{"video": {"fps": 2, "num_frames": 256}}' \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser nemotron_v3

⏳ 等待模型加载与内核编译完成(首次启动较慢),然后验证端点:

curl --fail http://localhost:8000/v1/models

看到 nemotron-3.5-super-vl 即表示服务就绪 ✅。关键参数说明:

参数 作用
--served-model-name API 请求中使用的模型名
--tensor-parallel-size 张量并行的 GPU 数,单卡 H200 改为 1
--trust-remote-code 模型自带自定义加载代码,必须加
--speculative-config.method mtp 启用模型内置 MTP 投机解码,加快生成速度
--reasoning-parser nemotron_v3 自动解析回复中的"思考内容"

第二步:OpenAI API 发出第一个文本对话

只需安装官方 OpenAI Python 客户端,无需任何新 SDK:

pip install openai
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")

response = client.chat.completions.create(
    model="nemotron-3.5-super-vl",
    messages=[{"role": "user", "content": "Explain why binary search takes logarithmic time."}],
    temperature=1.0,
    top_p=0.95,
    max_tokens=16384,
    extra_body={"chat_template_kwargs": {"enable_thinking": True}},
)
print(response.choices[0].message.content)

能打印出模型回复,你的第一个多模态对话服务就跑通了!🎉

💡 推理模式三档(通过 chat_template_kwargs 控制):

  • enable_thinking: True:深度思考模式(默认开启)
  • enable_thinking: False:不思考,直接回答
  • {"enable_thinking": True, "medium_effort": True}:中等思考力度,回复更短、速度更快

第三步:跑通第一个图像多模态对话

同一个客户端即可,只需把 content 改为"文本 + 图片"的列表。图片以 base64 数据 URL 形式发送:

import base64
from pathlib import Path
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")

image_bytes = Path("image.png").read_bytes()
image_url = "data:image/png;base64," + base64.b64encode(image_bytes).decode()

response = client.chat.completions.create(
    model="nemotron-3.5-super-vl",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Describe the image and any visible text."},
        {"type": "image_url", "image_url": {"url": image_url}},
    ]}],
    temperature=0.6,   # 视觉任务官方推荐 0.6
    top_p=0.95,
    max_tokens=16384,
)
print(response.choices[0].message.content)

采样建议:文本任务 temperature=1.0(generation_config.json 的默认值),视觉任务 temperature=0.6,top_p 均为 0.95。

进阶玩法:视频理解与工具调用

视频理解

每个请求可包含 1 张图片 + 1 个视频。视频建议 MP4 格式、2 分钟以内,服务端默认以 2 FPS 采样至多 256 帧(1080p 视频建议 1 FPS、至多 128 帧):

video_bytes = Path("video.mp4").read_bytes()
video_url = "data:video/mp4;base64," + base64.b64encode(video_bytes).decode()
# 将 {"type": "video_url", "video_url": {"url": video_url}} 加入 content 列表即可

工具调用(Function Calling)

由于服务端已开启 --enable-auto-tool-choice --tool-call-parser qwen3_coder,模型自动支持 OpenAI 标准工具调用:在请求中传入 tools 函数定义,当返回 tool_calls 时本地执行,再把结果以 role: "tool" 消息回传,模型即可给出最终回答。完整示例见 README.md 的 "API Client" 章节。

常用配置文件与参数速查

文件 说明
config.json 模型架构配置:Mamba-2 / MoE / 注意力层交错排布,每层 512 个路由专家,最大上下文 1,048,576
hf_quant_config.json NVFP4 量化配置:MoE 专家权重 4-bit(group_size 16),KV cache 为 FP8
generation_config.json 推荐采样参数:temperature 1.0、top_p 0.95
chat_template.jinja 对话模板,定义 enable_thinking、medium_effort 的解析方式
modeling_nemotron_h_omni.py Transformers 版模型实现(配合 --trust-remote-code 加载)
safety.md / privacy.md 安全与隐私说明

⚠️ 常见坑位提醒:

  1. 回复被截断:若 finish_reason == "length",说明 max_tokens 太小——思考 token 与最终答案共享这一预算,调大即可。
  2. 首次启动慢:必须等模型加载 + 内核编译全部完成后才能发请求。
  3. 加载报错:务必加 --trust-remote-code,自定义类定义在 configuration_nemotron_h_omni.py 中。
  4. 单卡 H200:使用同一命令,把 --tensor-parallel-size 改为 1 即可。

写在最后

  • ✅ 10分钟即可用 vllm serve + OpenAI 客户端在本机跑起 120B 多模态模型
  • ✅ 文本 / 图像 / 视频三种输入,推理模式一句话开关
  • ✅ NVFP4 量化 + MTP 原生投机解码,效率与性能兼得

更多部署配置(SGLang、TensorRT-LLM、NIM、Dynamo 等)与完整基准测试数据,详见 README.md 的 Quick Start Guide 章节。

登录后查看全文
NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4