NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4图像理解实战:文档、图表与OCR推理一次搞定

原创2026-10-20 21:35:301,968 阅读
文章标签:人工智能大模型多模态计算机视觉模型量化

NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4图像理解实战:文档、图表与OCR推理一次搞定

NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 是英伟达开源的视觉语言多模态大模型的 NVFP4 量化版本,专为图像理解打造:文档问答(Document QA)、图表解读、OCR 文字识别与推理都能一次搞定。它拥有 120B 总参数(仅 12B 激活参数)、最长 1M token 上下文,配合 C-RADIO 视觉编码器直接"看懂"图片;NVFP4 四比特量化让显存占用大幅下降,而精度几乎无损。

一、模型核心参数一览表 📋

项目 说明
总参数 / 激活参数 120B / 12B(MoE 混合专家架构)
架构 Mamba-2–Transformer 混合 MoE + C-RADIO 视觉编码器
精度 NVFP4 混合精度量化(权重 4 位,KV 缓存 FP8)
上下文长度 最高 1M tokens
输入 / 输出 文本、图片(jpeg/png)、视频(mp4,≤2 分钟)/ 文本
推荐采样(视觉任务) temperature 0.6,top_p 0.95
部署硬件 1× H200、2× H100、1× GB200 或 1× DGX Spark
许可证 OpenMDW-1.1(可商用)

架构细节可在 config.json 中查看:Mamba 层与 MoE 层交替堆叠,每层 512 个路由专家,max_position_embeddings 达 1048576,这也是它能一次吃下数百页文档页图的底气。

二、为什么选 NVFP4 量化:显存减半,精度几乎不掉 ⚡

很多新手担心"量化 = 掉智商"。官方用完全一致的评测配置对比了 BF16 原版与 NVFP4 版本,视觉理解相关基准如下:

基准测试(图像/文档方向) BF16 原版 NVFP4 量化版
OCRBench v2(英文) 68.12 68.34
OCRBench v2(中文) 59.15 59.03
OCR-Reasoning 65.08 65.09
MMLongBench-Doc(长文档理解) 62.82 62.82
CharXiv reasoning(图表推理) 80.82 79.88
MathVision(视觉数学) 78.16 77.79
V*(细粒度视觉定位) 85.60 85.95

可以看到:OCR 与文档类任务上量化版基本持平甚至略有反超,差距普遍在 1 分以内。完整的量化配方(哪些层用 NVFP4、哪些保留 BF16/FP8)记录在 hf_quant_config.json 中,视觉编码器、连接层和 Mamba 卷积均保留 BF16,这是精度不掉的关键。

三、三大实战场景:文档、图表、OCR 🔍

3.1 文档问答:PDF 页图直接丢进去

把文档页面转成图片后发给模型即可。得益于 1M 上下文,你可以一次性放入整份文档的所有页面图片,再提问"帮我总结第三章的结论"。建议同时附上页面原文,官方推荐"页图 + 文本"的混合输入方式。

3.2 图表推理:看图读出趋势和数字

CharXiv reasoning 约 80 分的成绩意味着它能完成真正的图表推理:不只读出坐标轴数值,还能回答"哪季度增速最快""两条曲线的交叉点在哪"这类需要比较与计算的问题。

3.3 OCR 识别 + 推理:不只是转录

传统 OCR 工具只负责"转文字",而它能在识别后继续推理——例如识别收据上的金额并算出合计,或提取论文截图中的公式并解释其含义(OCR-Reasoning 约 65 分,中英文 OCRBench v2 分别约 68 和 59)。

图片输入小贴士:支持 RGB 格式的 jpeg/png;图像处理按 16×16 patch 切分,单图在 1024~13312 个 patch 之间自适应,配置见 preprocessor_config.json。

四、快速部署教程:三步跑起本地推理服务 🚀

第 1 步:下载模型文件

git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4

第 2 步:用 vLLM 启动服务(以 2× H100 为例,完整参数见 README.md)

export MODEL=nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4

vllm serve $MODEL \
  --served-model-name nemotron-3.5-super-vl \
  --tensor-parallel-size 2 \
  --trust-remote-code \
  --gpu-memory-utilization 0.89 \
  --reasoning-parser nemotron_v3

第 3 步:Python 发送图片请求(OpenAI 兼容接口)

import base64
from pathlib import Path
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
image_url = "data:image/png;base64," + base64.b64encode(
    Path("page.png").read_bytes()).decode()

resp = client.chat.completions.create(
    model="nemotron-3.5-super-vl",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "请总结这份文档的要点,并列出其中的表格数据。"},
        {"type": "image_url", "image_url": {"url": image_url}},
    ]}],
    temperature=0.6,
    top_p=0.95,
)
print(resp.choices[0].message.content)

💡 除 vLLM 外,官方也提供 SGLang 与 TensorRT-LLM 的完整部署配置,均写在 README.md 中;1× DGX Spark 单机即可跑通文本+图像任务。

五、推理深度三档开关:控制"想多久" 🎛️

模型通过 enable_thinking 参数提供三档推理强度,图像理解任务建议开启以获得更准确的 OCR 与图表分析:

模式 参数写法 适用场景
关闭推理 enable_thinking: False 快速看图说话、简单描述
中等推理 enable_thinking: True, medium_effort: True 日常文档问答,省 token
完整推理 enable_thinking: True 复杂图表推理、长文档分析

注意:推理 token 与最终答案共享 max_tokens 预算,长文档场景记得调大输出上限。模板逻辑见 chat_template.jinja,服务端解析对应 ultra_v3_reasoning_parser.py。

六、仓库关键文件导航 🗂️

文件 作用
README.md 部署命令、基准成绩、API 示例(首选阅读)
config.json 模型架构配置(MoE、Mamba-2、视觉编码器)
hf_quant_config.json NVFP4/FP8 混合精度量化细节
generation_config.json 默认采样参数(temperature 1.0 / top_p 0.95)
preprocessor_config.json 图像/视频预处理参数
modeling_radio.py C-RADIO 视觉编码器实现
modeling_nemotron_h_omni.py 主模型(文本+视觉)实现
processing_nemotron_h_omni.py / image_processing_nemotron_h_omni.py 多模态处理器与图像处理器
safety.md、bias.md、privacy.md、explainability.md 安全、偏见、隐私与可解释性说明

七、新手常见问答 ❓

Q:没有 2 张 H100 能跑吗? 可以。1× H200、1× GB200 甚至 1× DGX Spark(消费级)都有官方配置,Spark 场景建议搭配 LiLiCorr 推测解码草稿模型加速。

Q:中文 OCR 效果如何? OCRBench v2 中文约 59 分,且后训练语料包含中英文 OCR 专项数据,可覆盖中英混排场景;正式使用建议用自家文档实测。

Q:能分析视频吗? 能。支持 mp4(最长 2 分钟),默认按 2 FPS 采样至多 256 帧;1080p 高清视频建议降为 1 FPS / 128 帧以控制显存。

Q:推理快吗? 模型自带原生 MTP(多 token 预测)头,vLLM/SGLang 部署时可启用推测解码,无需额外下载草稿模型即可显著提升生成速度。


总结:NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 把"文档理解 + 图表推理 + OCR"打包进了一个 NVFP4 量化模型,单卡 H200 即可部署,配合三档推理开关,是构建智能文档助手、票据识别、图表分析等应用的理想起点。

登录后查看全文
NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4