NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4图像理解实战:文档、图表与OCR推理一次搞定
NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4图像理解实战:文档、图表与OCR推理一次搞定
NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 是英伟达开源的视觉语言多模态大模型的 NVFP4 量化版本,专为图像理解打造:文档问答(Document QA)、图表解读、OCR 文字识别与推理都能一次搞定。它拥有 120B 总参数(仅 12B 激活参数)、最长 1M token 上下文,配合 C-RADIO 视觉编码器直接"看懂"图片;NVFP4 四比特量化让显存占用大幅下降,而精度几乎无损。
一、模型核心参数一览表 📋
| 项目 | 说明 |
|---|---|
| 总参数 / 激活参数 | 120B / 12B(MoE 混合专家架构) |
| 架构 | Mamba-2–Transformer 混合 MoE + C-RADIO 视觉编码器 |
| 精度 | NVFP4 混合精度量化(权重 4 位,KV 缓存 FP8) |
| 上下文长度 | 最高 1M tokens |
| 输入 / 输出 | 文本、图片(jpeg/png)、视频(mp4,≤2 分钟)/ 文本 |
| 推荐采样(视觉任务) | temperature 0.6,top_p 0.95 |
| 部署硬件 | 1× H200、2× H100、1× GB200 或 1× DGX Spark |
| 许可证 | OpenMDW-1.1(可商用) |
架构细节可在 config.json 中查看:Mamba 层与 MoE 层交替堆叠,每层 512 个路由专家,max_position_embeddings 达 1048576,这也是它能一次吃下数百页文档页图的底气。
二、为什么选 NVFP4 量化:显存减半,精度几乎不掉 ⚡
很多新手担心"量化 = 掉智商"。官方用完全一致的评测配置对比了 BF16 原版与 NVFP4 版本,视觉理解相关基准如下:
| 基准测试(图像/文档方向) | BF16 原版 | NVFP4 量化版 |
|---|---|---|
| OCRBench v2(英文) | 68.12 | 68.34 |
| OCRBench v2(中文) | 59.15 | 59.03 |
| OCR-Reasoning | 65.08 | 65.09 |
| MMLongBench-Doc(长文档理解) | 62.82 | 62.82 |
| CharXiv reasoning(图表推理) | 80.82 | 79.88 |
| MathVision(视觉数学) | 78.16 | 77.79 |
| V*(细粒度视觉定位) | 85.60 | 85.95 |
可以看到:OCR 与文档类任务上量化版基本持平甚至略有反超,差距普遍在 1 分以内。完整的量化配方(哪些层用 NVFP4、哪些保留 BF16/FP8)记录在 hf_quant_config.json 中,视觉编码器、连接层和 Mamba 卷积均保留 BF16,这是精度不掉的关键。
三、三大实战场景:文档、图表、OCR 🔍
3.1 文档问答:PDF 页图直接丢进去
把文档页面转成图片后发给模型即可。得益于 1M 上下文,你可以一次性放入整份文档的所有页面图片,再提问"帮我总结第三章的结论"。建议同时附上页面原文,官方推荐"页图 + 文本"的混合输入方式。
3.2 图表推理:看图读出趋势和数字
CharXiv reasoning 约 80 分的成绩意味着它能完成真正的图表推理:不只读出坐标轴数值,还能回答"哪季度增速最快""两条曲线的交叉点在哪"这类需要比较与计算的问题。
3.3 OCR 识别 + 推理:不只是转录
传统 OCR 工具只负责"转文字",而它能在识别后继续推理——例如识别收据上的金额并算出合计,或提取论文截图中的公式并解释其含义(OCR-Reasoning 约 65 分,中英文 OCRBench v2 分别约 68 和 59)。
图片输入小贴士:支持 RGB 格式的 jpeg/png;图像处理按 16×16 patch 切分,单图在 1024~13312 个 patch 之间自适应,配置见 preprocessor_config.json。
四、快速部署教程:三步跑起本地推理服务 🚀
第 1 步:下载模型文件
git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4
第 2 步:用 vLLM 启动服务(以 2× H100 为例,完整参数见 README.md)
export MODEL=nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4
vllm serve $MODEL \
--served-model-name nemotron-3.5-super-vl \
--tensor-parallel-size 2 \
--trust-remote-code \
--gpu-memory-utilization 0.89 \
--reasoning-parser nemotron_v3
第 3 步:Python 发送图片请求(OpenAI 兼容接口)
import base64
from pathlib import Path
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
image_url = "data:image/png;base64," + base64.b64encode(
Path("page.png").read_bytes()).decode()
resp = client.chat.completions.create(
model="nemotron-3.5-super-vl",
messages=[{"role": "user", "content": [
{"type": "text", "text": "请总结这份文档的要点,并列出其中的表格数据。"},
{"type": "image_url", "image_url": {"url": image_url}},
]}],
temperature=0.6,
top_p=0.95,
)
print(resp.choices[0].message.content)
💡 除 vLLM 外,官方也提供 SGLang 与 TensorRT-LLM 的完整部署配置,均写在 README.md 中;1× DGX Spark 单机即可跑通文本+图像任务。
五、推理深度三档开关:控制"想多久" 🎛️
模型通过 enable_thinking 参数提供三档推理强度,图像理解任务建议开启以获得更准确的 OCR 与图表分析:
| 模式 | 参数写法 | 适用场景 |
|---|---|---|
| 关闭推理 | enable_thinking: False |
快速看图说话、简单描述 |
| 中等推理 | enable_thinking: True, medium_effort: True |
日常文档问答,省 token |
| 完整推理 | enable_thinking: True |
复杂图表推理、长文档分析 |
注意:推理 token 与最终答案共享 max_tokens 预算,长文档场景记得调大输出上限。模板逻辑见 chat_template.jinja,服务端解析对应 ultra_v3_reasoning_parser.py。
六、仓库关键文件导航 🗂️
| 文件 | 作用 |
|---|---|
| README.md | 部署命令、基准成绩、API 示例(首选阅读) |
| config.json | 模型架构配置(MoE、Mamba-2、视觉编码器) |
| hf_quant_config.json | NVFP4/FP8 混合精度量化细节 |
| generation_config.json | 默认采样参数(temperature 1.0 / top_p 0.95) |
| preprocessor_config.json | 图像/视频预处理参数 |
| modeling_radio.py | C-RADIO 视觉编码器实现 |
| modeling_nemotron_h_omni.py | 主模型(文本+视觉)实现 |
| processing_nemotron_h_omni.py / image_processing_nemotron_h_omni.py | 多模态处理器与图像处理器 |
| safety.md、bias.md、privacy.md、explainability.md | 安全、偏见、隐私与可解释性说明 |
七、新手常见问答 ❓
Q:没有 2 张 H100 能跑吗? 可以。1× H200、1× GB200 甚至 1× DGX Spark(消费级)都有官方配置,Spark 场景建议搭配 LiLiCorr 推测解码草稿模型加速。
Q:中文 OCR 效果如何? OCRBench v2 中文约 59 分,且后训练语料包含中英文 OCR 专项数据,可覆盖中英混排场景;正式使用建议用自家文档实测。
Q:能分析视频吗? 能。支持 mp4(最长 2 分钟),默认按 2 FPS 采样至多 256 帧;1080p 高清视频建议降为 1 FPS / 128 帧以控制显存。
Q:推理快吗? 模型自带原生 MTP(多 token 预测)头,vLLM/SGLang 部署时可启用推测解码,无需额外下载草稿模型即可显著提升生成速度。
总结:NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 把"文档理解 + 图表推理 + OCR"打包进了一个 NVFP4 量化模型,单卡 H200 即可部署,配合三档推理开关,是构建智能文档助手、票据识别、图表分析等应用的理想起点。