NVIDIA Nemotron 3.5 Super VL 基准测试全解析:SWE-bench、LiveCodeBench 与多模态成绩一文看懂

原创2026-10-19 19:03:161,935 阅读
文章标签:人工智能大模型基础模型多模态计算机视觉NLP

NVIDIA Nemotron 3.5 Super VL 基准测试全解析:SWE-bench、LiveCodeBench 与多模态成绩一文看懂

如果你正在评估 NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16(下文简称 Nemotron 3.5 Super VL),这篇文章会用大白话把官方公布的基准测试成绩拆开讲清楚:SWE-bench 系列到底考什么、LiveCodeBench v6 的 88.22 分意味着什么、多模态能力强在哪、又有哪些明显短板。全部数据均出自项目 README.md 的官方评测表。

一、30 秒速览:Nemotron 3.5 Super VL 是什么

📌 它不是普通的语言模型,而是一台多模态推理引擎:

核心规格 说明
总参数 120B(每 token 仅激活 12B,MoE 稀疏架构,推理成本远低于同规模稠密模型)
架构 Mamba-2 + Transformer + MoE 混合骨干,配 C-RADIO 视觉编码器
上下文 最高 1M token
输入/输出 文本、图像、视频 → 文本
精度 BF16 全精度权重,适合定制、领域适配与评测基线
参考部署 4× H100 或 2× GB200

💡 BF16 版本的价值:官方另有 NVFP4 量化版用于极致部署,而这份全精度权重是给"想动权重"的人准备的——继续训练、量化、领域适配,都以它为基准。

三层混合结构并非猜测:在 config.json 中可清楚看到 layers_block_type 以 "mamba / moe / attention" 周期排布,每 7 层才插一层 attention;config.json 还显示每层 512 个路由专家、每个 token 激活 22 个。

二、SWE-bench 系列:修 Bug 能力有多能打?

SWE-bench 系列是智能体软件工程(Agentic Coding)的黄金标尺:给模型一个真实 GitHub 仓库和一个 Issue,让它自己读代码、定位问题、写补丁,再通过单元测试判定成败。它考的不是"会不会写代码",而是能不能像工程师一样完成一个完整任务。

SWE-bench 基准 Nemotron 3.5 Super 最强对比模型 解读
SWE-bench Verified 71.10 GLM-5.3-Flash 79.10 第一梯队,距榜首约 8 分
SWE-bench Multilingual 67.72 GLM-5.3-Flash 78.30 多语言仓库修复是相对弱项
SWE-bench Pro 51.78 GLM-5.3-Flash 59.70 难度更高的进阶题

🎯 怎么看这组数据:

  • 71.10 分意味着:100 个真实 GitHub Issue 中,它能独立修好约 71 个,已站在开源模型第一梯队(Qwen3.5-122B-A10B 为 71.9,Nemotron 3 Ultra 为 73.9)。
  • 短板在多语言代码库:Multilingual 子集 67.72 分落后榜首约 10 分,如果你的项目以非英文语言代码为主,需重点实测。
  • 训练侧的底气:官方 README 披露了 67B token 的软件工程中训数据(仓库、Issue-PR 对、commit diff、CI 日志、智能体轨迹),且针对 SWE-bench 做了去污染处理。

官方还在 README 中提供了 SWE-bench Pro 与 Terminal-Bench 的完整 Agent 框架(harness)对比图,可对照 README.md 查看(仓库中 harness_comparisons.png 为占位文件,请以官方源为准)。

三、LiveCodeBench v6 88.22 分:算法竞赛级编程实力

LiveCodeBench 只收录竞赛发布之后的新题,专门防"背题"。88.22 分是什么概念?

编码基准 Nemotron 3.5 Super Qwen3.5-122B DeepSeek-V4-Flash Nemotron 3 Ultra
LiveCodeBench v6 88.22 76.7 94.6 89.2
SciCode(子任务) 47.13 39.8 49.3 42.0
AA-LCR v1.1 68.62 75.1 79.7 75.2

🧠 一句话点评:

  • LiveCodeBench 88.22:仅次于 DeepSeek-V4-Flash(94.6)与 Qwen3.8-Flash-Next(94.1),大幅甩开同量级的 Qwen3.5-122B(76.7),算法题是它的长板。
  • SciCode 47.13(科研代码,按子任务计分)超越 Nemotron 3 Ultra 的 42.0,与榜首基本打平,说明它处理"科学计算型代码"同样可靠。
  • AA-LCR 68.62 相对靠后(榜首 79.5+),这是更复杂的长链条编码推理,是主要差距点。

四、终端、Agent 与"不胡说"能力

代码之外,这代模型的智能体能力和知识可靠性同样值得看:

基准 考什么 Nemotron 3.5 Super 榜首(GLM-5.3-Flash)
Terminal-Bench 2.1 在真实终端里完成运维/构建任务 60.67 82.70
GraphWalks 长链图/搜索推理 89.71 88.40 ✅
APEX shortlist 专业级综合任务 88.36 91.80
IFBench 指令遵循 70.86 82.90
BrowseComp 深度搜索/浏览 78 89.0

⚠️ 亮点与短板并存:

  • GraphWalks 89.71 是全场最高分,长链搜索与图推理是隐藏王牌;BrowseComp 78 也领先 Qwen3.5(58.1)与 Nemotron 3 Ultra(67.85)。
  • Terminal-Bench 2.1 的 60.67 是短板:落后榜首 22 分,说明"纯模型裸跑终端任务"与完整 Agent 框架(如 GLM 的 Droid harness)之间有差距。

更值得关注的是幻觉指标 AA-Omniscience——它同时测"知道多少"(accuracy)和"多爱胡说"(hallucination rate):

指标 Nemotron 3.5 Super Qwen3.5-122B DeepSeek-V4-Flash
准确率 26.20 26.2 45.0
幻觉率 30.0 ✅ 84.5 95.9
综合指数 +4.03 ✅ −36.1 −7.8

💬 结论:在"知道自己不知道、该拒绝就拒绝"这件事上,Nemotron 3.5 Super 是全场唯一综合指数为正的对比对象之一,做事实类问答、客服、知识库场景时很加分。

五、多模态成绩详解:图文视频表现如何

Nemotron 3.5 Super VL 的 VL 即 Vision-Language:C-RADIO 视觉编码器 + 视觉-语言连接器,把图像/视频帧转成语言骨干能理解的表示。官方数据如下:

多模态基准 考察点 Nemotron 3.5 Super 最佳对比
V* 细粒度视觉定位 85.60 93.0(Qwen3.8-Flash-Next)
CharXiv reasoning 图表理解与推理 80.82 85.8
MathVision 视觉数学推理 78.16 87.5
OCRBench v2(英文) 文字识别 68.12 68.3
OCR-Reasoning OCR + 推理 65.08 67.1
MMLongBench-Doc 长文档理解 62.82 67.9
OCRBench v2(中文) 中文 OCR 59.15 68.3 ⚠️
Video-MME v2 视频理解 32.85 45.1
BabyVision 视觉推理 29.60 46.8

📊 多模态三句话总结:

  • ✅ 强:图表推理(80.82)、英文 OCR(68.12)、长文档理解(62.82)稳定在第一梯队边缘,"看图 + 推理"组合拳扎实。
  • ⚠️ 弱:中文 OCR 59.15 是最大洼地,比中文榜首低近 10 分;做中文票据/文书识别需谨慎。
  • ⚠️ 弱:视频理解 32.85 尚处追赶期,视频能力更多作为辅助输入而非主打卖点。

🎬 视频输入侧的默认行为可在 config.json 中找到线索:video_pruning_rate 默认 0.7,即抽帧后会剪掉 70% 的冗余视觉 token 以控制 1M 上下文开销。

六、推理参数与部署配置怎么读

理解分数前,先理解它是在什么配置下测出来的(官方统一用 NeMo Gym 评测框架):

配置项 推荐值 作用
文本采样 temperature 1.0, top_p 0.95 见 generation_config.json
视觉采样 temperature 0.6, top_p 0.95 更保守,利于读图准确
推理模式 enable_thinking: True/False,另有 medium 档 控制思考预算:off / medium / on
投机解码 原生 MTP,3~5 个草稿 token 无需额外下载 drafter 模型即可加速
硬件 4× H100 或 2× GB200 vLLM / SGLang 双引擎

部署命令(4× H100、支持 1M 上下文)见 README.md:

vllm serve $MODEL \
  --tensor-parallel-size 4 \
  --trust-remote-code \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser nemotron_v3 \
  --speculative_config.method mtp \
  --speculative_config.num_speculative_tokens 5

💡 对新手最实用的三个开关:① enable_thinking 关闭思考可显著降低延迟(适合分类/抽取类任务);② num_speculative_tokens 控制 MTP 草稿长度,加速生成;③ 工具调用已内置解析器,直接接 OpenAI 兼容 API 即可。

七、获取与快速上手

仓库只读,权重通过 Git LFS 分发(63 个 safetensors 分片,约对应 120B 参数的 BF16 存储)。获取方式:

git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16.git

⚠️ 注意:120B 级 BF16 权重需要数百 GB 存储,务必确认 Git LFS 已拉取完整(单个分片文件若只有 100 多字节,就是只拉到了 LFS 指针)。模型卡完整说明见 README.md,安全与可解释性细则见 safety.md 与 explainability.md。

八、总结:谁应该选它?

🏆 适合你,如果:

  • 要一个代码/Agent 能力强(SWE-bench Verified 71.10、LiveCodeBench 88.22)的多模态底座;
  • 重视低幻觉的问答与检索场景(AA-Omniscience 指数全场领先);
  • 需要 1M 上下文 + 原生 MTP 加速做长文档/长视频分析;
  • 打算动权重:继续预训练、领域微调或自研量化,BF16 全精度就是为此存在。

🚧 需要实测验证:多语言代码库修复、终端任务裸跑、中文 OCR、长视频理解——这几项是数据面上的已知短板,建议在正式选型前用你自己的业务数据跑一轮验证。

一句话结论:Nemotron 3.5 Super VL 是一个"编码与可靠性优先、多模态均衡"的 120B 级开源模型,在 SWE-bench 与 LiveCodeBench 上稳居第一梯队,幻觉控制是隐藏王牌,而中文 OCR 与视频理解是明确的追赶区。

登录后查看全文
NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16