NVIDIA Nemotron 3.5 Super VL 基准测试全解析:SWE-bench、LiveCodeBench 与多模态成绩一文看懂
NVIDIA Nemotron 3.5 Super VL 基准测试全解析:SWE-bench、LiveCodeBench 与多模态成绩一文看懂
如果你正在评估 NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16(下文简称 Nemotron 3.5 Super VL),这篇文章会用大白话把官方公布的基准测试成绩拆开讲清楚:SWE-bench 系列到底考什么、LiveCodeBench v6 的 88.22 分意味着什么、多模态能力强在哪、又有哪些明显短板。全部数据均出自项目 README.md 的官方评测表。
一、30 秒速览:Nemotron 3.5 Super VL 是什么
📌 它不是普通的语言模型,而是一台多模态推理引擎:
| 核心规格 | 说明 |
|---|---|
| 总参数 | 120B(每 token 仅激活 12B,MoE 稀疏架构,推理成本远低于同规模稠密模型) |
| 架构 | Mamba-2 + Transformer + MoE 混合骨干,配 C-RADIO 视觉编码器 |
| 上下文 | 最高 1M token |
| 输入/输出 | 文本、图像、视频 → 文本 |
| 精度 | BF16 全精度权重,适合定制、领域适配与评测基线 |
| 参考部署 | 4× H100 或 2× GB200 |
💡 BF16 版本的价值:官方另有 NVFP4 量化版用于极致部署,而这份全精度权重是给"想动权重"的人准备的——继续训练、量化、领域适配,都以它为基准。
三层混合结构并非猜测:在 config.json 中可清楚看到 layers_block_type 以 "mamba / moe / attention" 周期排布,每 7 层才插一层 attention;config.json 还显示每层 512 个路由专家、每个 token 激活 22 个。
二、SWE-bench 系列:修 Bug 能力有多能打?
SWE-bench 系列是智能体软件工程(Agentic Coding)的黄金标尺:给模型一个真实 GitHub 仓库和一个 Issue,让它自己读代码、定位问题、写补丁,再通过单元测试判定成败。它考的不是"会不会写代码",而是能不能像工程师一样完成一个完整任务。
| SWE-bench 基准 | Nemotron 3.5 Super | 最强对比模型 | 解读 |
|---|---|---|---|
| SWE-bench Verified | 71.10 | GLM-5.3-Flash 79.10 | 第一梯队,距榜首约 8 分 |
| SWE-bench Multilingual | 67.72 | GLM-5.3-Flash 78.30 | 多语言仓库修复是相对弱项 |
| SWE-bench Pro | 51.78 | GLM-5.3-Flash 59.70 | 难度更高的进阶题 |
🎯 怎么看这组数据:
- 71.10 分意味着:100 个真实 GitHub Issue 中,它能独立修好约 71 个,已站在开源模型第一梯队(Qwen3.5-122B-A10B 为 71.9,Nemotron 3 Ultra 为 73.9)。
- 短板在多语言代码库:Multilingual 子集 67.72 分落后榜首约 10 分,如果你的项目以非英文语言代码为主,需重点实测。
- 训练侧的底气:官方 README 披露了 67B token 的软件工程中训数据(仓库、Issue-PR 对、commit diff、CI 日志、智能体轨迹),且针对 SWE-bench 做了去污染处理。
官方还在 README 中提供了 SWE-bench Pro 与 Terminal-Bench 的完整 Agent 框架(harness)对比图,可对照 README.md 查看(仓库中 harness_comparisons.png 为占位文件,请以官方源为准)。
三、LiveCodeBench v6 88.22 分:算法竞赛级编程实力
LiveCodeBench 只收录竞赛发布之后的新题,专门防"背题"。88.22 分是什么概念?
| 编码基准 | Nemotron 3.5 Super | Qwen3.5-122B | DeepSeek-V4-Flash | Nemotron 3 Ultra |
|---|---|---|---|---|
| LiveCodeBench v6 | 88.22 | 76.7 | 94.6 | 89.2 |
| SciCode(子任务) | 47.13 | 39.8 | 49.3 | 42.0 |
| AA-LCR v1.1 | 68.62 | 75.1 | 79.7 | 75.2 |
🧠 一句话点评:
- LiveCodeBench 88.22:仅次于 DeepSeek-V4-Flash(94.6)与 Qwen3.8-Flash-Next(94.1),大幅甩开同量级的 Qwen3.5-122B(76.7),算法题是它的长板。
- SciCode 47.13(科研代码,按子任务计分)超越 Nemotron 3 Ultra 的 42.0,与榜首基本打平,说明它处理"科学计算型代码"同样可靠。
- AA-LCR 68.62 相对靠后(榜首 79.5+),这是更复杂的长链条编码推理,是主要差距点。
四、终端、Agent 与"不胡说"能力
代码之外,这代模型的智能体能力和知识可靠性同样值得看:
| 基准 | 考什么 | Nemotron 3.5 Super | 榜首(GLM-5.3-Flash) |
|---|---|---|---|
| Terminal-Bench 2.1 | 在真实终端里完成运维/构建任务 | 60.67 | 82.70 |
| GraphWalks | 长链图/搜索推理 | 89.71 | 88.40 ✅ |
| APEX shortlist | 专业级综合任务 | 88.36 | 91.80 |
| IFBench | 指令遵循 | 70.86 | 82.90 |
| BrowseComp | 深度搜索/浏览 | 78 | 89.0 |
⚠️ 亮点与短板并存:
- GraphWalks 89.71 是全场最高分,长链搜索与图推理是隐藏王牌;BrowseComp 78 也领先 Qwen3.5(58.1)与 Nemotron 3 Ultra(67.85)。
- Terminal-Bench 2.1 的 60.67 是短板:落后榜首 22 分,说明"纯模型裸跑终端任务"与完整 Agent 框架(如 GLM 的 Droid harness)之间有差距。
更值得关注的是幻觉指标 AA-Omniscience——它同时测"知道多少"(accuracy)和"多爱胡说"(hallucination rate):
| 指标 | Nemotron 3.5 Super | Qwen3.5-122B | DeepSeek-V4-Flash |
|---|---|---|---|
| 准确率 | 26.20 | 26.2 | 45.0 |
| 幻觉率 | 30.0 ✅ | 84.5 | 95.9 |
| 综合指数 | +4.03 ✅ | −36.1 | −7.8 |
💬 结论:在"知道自己不知道、该拒绝就拒绝"这件事上,Nemotron 3.5 Super 是全场唯一综合指数为正的对比对象之一,做事实类问答、客服、知识库场景时很加分。
五、多模态成绩详解:图文视频表现如何
Nemotron 3.5 Super VL 的 VL 即 Vision-Language:C-RADIO 视觉编码器 + 视觉-语言连接器,把图像/视频帧转成语言骨干能理解的表示。官方数据如下:
| 多模态基准 | 考察点 | Nemotron 3.5 Super | 最佳对比 |
|---|---|---|---|
| V* | 细粒度视觉定位 | 85.60 | 93.0(Qwen3.8-Flash-Next) |
| CharXiv reasoning | 图表理解与推理 | 80.82 | 85.8 |
| MathVision | 视觉数学推理 | 78.16 | 87.5 |
| OCRBench v2(英文) | 文字识别 | 68.12 | 68.3 |
| OCR-Reasoning | OCR + 推理 | 65.08 | 67.1 |
| MMLongBench-Doc | 长文档理解 | 62.82 | 67.9 |
| OCRBench v2(中文) | 中文 OCR | 59.15 | 68.3 ⚠️ |
| Video-MME v2 | 视频理解 | 32.85 | 45.1 |
| BabyVision | 视觉推理 | 29.60 | 46.8 |
📊 多模态三句话总结:
- ✅ 强:图表推理(80.82)、英文 OCR(68.12)、长文档理解(62.82)稳定在第一梯队边缘,"看图 + 推理"组合拳扎实。
- ⚠️ 弱:中文 OCR 59.15 是最大洼地,比中文榜首低近 10 分;做中文票据/文书识别需谨慎。
- ⚠️ 弱:视频理解 32.85 尚处追赶期,视频能力更多作为辅助输入而非主打卖点。
🎬 视频输入侧的默认行为可在 config.json 中找到线索:video_pruning_rate 默认 0.7,即抽帧后会剪掉 70% 的冗余视觉 token 以控制 1M 上下文开销。
六、推理参数与部署配置怎么读
理解分数前,先理解它是在什么配置下测出来的(官方统一用 NeMo Gym 评测框架):
| 配置项 | 推荐值 | 作用 |
|---|---|---|
| 文本采样 | temperature 1.0, top_p 0.95 | 见 generation_config.json |
| 视觉采样 | temperature 0.6, top_p 0.95 | 更保守,利于读图准确 |
| 推理模式 | enable_thinking: True/False,另有 medium 档 |
控制思考预算:off / medium / on |
| 投机解码 | 原生 MTP,3~5 个草稿 token | 无需额外下载 drafter 模型即可加速 |
| 硬件 | 4× H100 或 2× GB200 | vLLM / SGLang 双引擎 |
部署命令(4× H100、支持 1M 上下文)见 README.md:
vllm serve $MODEL \
--tensor-parallel-size 4 \
--trust-remote-code \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--reasoning-parser nemotron_v3 \
--speculative_config.method mtp \
--speculative_config.num_speculative_tokens 5
💡 对新手最实用的三个开关:①
enable_thinking关闭思考可显著降低延迟(适合分类/抽取类任务);②num_speculative_tokens控制 MTP 草稿长度,加速生成;③ 工具调用已内置解析器,直接接 OpenAI 兼容 API 即可。
七、获取与快速上手
仓库只读,权重通过 Git LFS 分发(63 个 safetensors 分片,约对应 120B 参数的 BF16 存储)。获取方式:
git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16.git
⚠️ 注意:120B 级 BF16 权重需要数百 GB 存储,务必确认 Git LFS 已拉取完整(单个分片文件若只有 100 多字节,就是只拉到了 LFS 指针)。模型卡完整说明见 README.md,安全与可解释性细则见 safety.md 与 explainability.md。
八、总结:谁应该选它?
🏆 适合你,如果:
- 要一个代码/Agent 能力强(SWE-bench Verified 71.10、LiveCodeBench 88.22)的多模态底座;
- 重视低幻觉的问答与检索场景(AA-Omniscience 指数全场领先);
- 需要 1M 上下文 + 原生 MTP 加速做长文档/长视频分析;
- 打算动权重:继续预训练、领域微调或自研量化,BF16 全精度就是为此存在。
🚧 需要实测验证:多语言代码库修复、终端任务裸跑、中文 OCR、长视频理解——这几项是数据面上的已知短板,建议在正式选型前用你自己的业务数据跑一轮验证。
一句话结论:Nemotron 3.5 Super VL 是一个"编码与可靠性优先、多模态均衡"的 120B 级开源模型,在 SWE-bench 与 LiveCodeBench 上稳居第一梯队,幻觉控制是隐藏王牌,而中文 OCR 与视频理解是明确的追赶区。