Nex-N2-Mini-NVFP4性能基准深度解读:4-bit量化后BrowseComp 74.1、SWE-Bench 74.4意味着什么
Nex-N2-Mini-NVFP4性能基准深度解读:4-bit量化后BrowseComp 74.1、SWE-Bench 74.4意味着什么
Nex-N2-Mini-NVFP4 是 Agentic 智能体模型 Nex-N2-mini 的 NVFP4 4-bit 量化版本,用 24.8 GB 的体积即可单卡部署,同时保留 BrowseComp 74.1、SWE-Bench Verified 74.4 等旗舰级基准表现。本文将带你读懂这两个数字背后的含义:它强在哪、量化掉了什么、以及如何在一张 80 GB 显卡上跑起来。
一、一分钟看懂 Nex-N2-Mini-NVFP4 是什么
Nex-N2-Mini-NVFP4 基于 README.md 中的说明,可以概括为三句话:
- 底座模型:Nex-N2-mini——一个具备 Agentic Thinking(智能体思维)能力的 Agent 模型,采用
Qwen3_5MoeForConditionalGeneration混合注意力 MoE 架构,40 层、256 个专家(每 token 激活 8 个)+ 1 个共享专家,支持 262,144 的上下文长度; - 量化方式:MoE 专家权重压到 NVFP4(W4A4),注意力与输出投影压到 FP8(W8A8),完整量化配方见 recipe.yaml;
- 核心收益:检查点从 70.2 GB 缩小到 24.8 GB(约 2.8 倍),最少 GPU 数从 2× H100 降到 1×。
| 对比项 | BF16 底座 | NVFP4 量化版 |
|---|---|---|
| 权重量化 | BF16 | NVFP4 + FP8 混合精度 |
| 检查点体积 | 70.2 GB | 24.8 GB |
| 最少 GPU | 2× H100 | 1× 80 GB 卡 |
| 架构 | Qwen3_5MoeForConditionalGeneration |
保持不变 |
📌 一句话:模型没变笨多少,但装进了一张卡。
二、BrowseComp 74.1:一个"会深度上网"的 35B 小模型意味着什么
BrowseComp 是衡量模型 深度网络浏览与信息检索能力 的 Agent 基准:给定一个模糊目标,模型需要像研究员一样多轮搜索、交叉验证、阅读网页,最后给出准确答案。它考的不是"知道什么",而是"会不会找"。
在 README.md 公布的对比表中,Nex-N2-mini 拿到 74.1:
| 基准:BrowseComp | Nex-N2-mini | Nex-N2-Pro | GPT-5.5 | Opus 4.7 | GLM-5.1 | DeepSeek-V4-Pro |
|---|---|---|---|---|---|---|
| 得分 | 74.1 | 83.7 | 84.4 | 79.8 | 79.3 | 83.4 |
这个数字的意义在于:
- 远超自身体量的"搜索商":Nex-N2-mini 基于 35B-A3B 级别的 MoE 底座,却在深度检索任务上逼近甚至局部反超参数量大得多的旗舰模型(如 79.8 的 Opus 4.7 只差 5.7 分),说明 Agentic Thinking 闭环——需求理解、任务规划、环境反馈、持续迭代——对"长程浏览"任务非常有效;
- 与自家 Pro 版的差距清晰:相比 83.7 的 Nex-N2-Pro,mini 落后约 9.6 分,符合"小一号"的定位,但在预算有限时性价比突出;
- 实际体感:74.1 意味着它可以承担"深度资料调研、竞品情报、长文档溯源"这类需要多轮工具调用的真实办公场景,而不是只会单轮问答。
三、SWE-Bench Verified 74.4:4-bit 智能体的"真实工程力"
SWE-Bench Verified 是业界公认的 真实软件工程能力基准:题目来自 GitHub 仓库的真实 Issue,模型要在完整代码库中定位问题、修改代码并通过测试,最接近工程师的日常。
| 基准:SWE-Bench Verified | Nex-N2-mini | Nex-N2-Pro | GPT-5.5 | Opus 4.7 | Kimi-K2.6 | DeepSeek-V4-Pro |
|---|---|---|---|---|---|---|
| 得分 | 74.4 | 80.8 | 82.9 | 87.6 | 80.2 | 80.6 |
结合其他工程类基准一起看更有参考性(数据同样来自 README.md):
| 工程/Agent 类基准 | Nex-N2-mini | Nex-N2-Pro |
|---|---|---|
| SWE-Bench Verified | 74.4 | 80.8 |
| SWE-Bench Pro | 50.2 | 58.8 |
| Terminal-Bench 2.1 | 60.7 | 75.3 |
| Toolathlon | 33.3 | 51.9 |
解读:
- 74.4 是一个"能打生产"的分数:在同代开源智能体模型中处于第一梯队,处理"改 bug + 写补丁 + 跑测试"这类任务时,它不是演示品,而是可以进入工作流的工具;
- 短板同样透明:更难、更开放的 SWE-Bench Pro(50.2)和 Terminal-Bench 2.1(60.7)上,mini 与 Pro 的差距被拉大,说明复杂多步骤工程任务的天花板仍取决于模型规模;
- 推理与指令遵循是加分项:GPQA Diamond 82.6、IFEval 89.1,意味着它的"科学推理 + 严格遵循指令"能力足以支撑 Agent 场景下的工具调用与格式约束。
四、为什么 4-bit 量化后还能保住这些分数
⚠️ 先说一个关键事实:上述分数是 BF16 底座模型的官方发布结果,仓库方明确说明并未在 NVFP4 检查点上重新评测,4-bit 后训练量化通常会带来小幅性能损耗,实际分数可能略低。但"损耗可控"的信心来自它的 混合精度策略(完整配置见 recipe.yaml):
| 精度档位 | 覆盖范围 | 作用 |
|---|---|---|
| NVFP4(W4A4) | 第 0–31 层的 MoE 专家(参数大头) | 大幅压缩体积 |
| FP8(W8A8) | 注意力 Q/K/V/O、线性注意力投影、LM Head、最后 8 层(32–39)的 MoE | 保护对量化最敏感的部分 |
| BF16 保留 | 视觉塔、MoE 路由 gate、嵌入层、所有 RMSNorm | 避免"伤筋动骨" |
🔍 这套"该压的压到 4-bit、该守的守到 8-bit/16-bit"的做法,正是 Agentic 模型(依赖精确的工具调用格式与路由决策)在极限压缩下仍能保持基准分数的核心原因。量化产物以 compressed-tensors 格式存储,权重分布可查 model.safetensors.index.json。
五、单卡部署指南:24.8 GB 与一张 80 GB 显卡
硬件要求:24.8 GB 的权重在单张 80 GB 卡上部署后,仍有充足空间留给长上下文 KV Cache。若要吃到 NVFP4 的完整推理加速,需要 NVIDIA Blackwell 架构(B200、GB200、RTX PRO 6000 Blackwell 等,自带 FP4 张量核心);旧架构也能通过 vLLM 的反量化路径运行,拿到显存收益但吞吐不提升。
部署命令(需较新版本的 vLLM,完整说明见 README.md):
vllm serve /models/Nex-N2-Mini-NVFP4 \
--served-model-name nex-n2 \
--trust-remote-code --language-model-only \
--tensor-parallel-size 1 \
--max-model-len 131072 \
--gpu-memory-utilization 0.60 \
--enable-chunked-prefill
几个实用参数提示:
--language-model-only:跳过未量化的视觉塔,以纯文本 LLM 方式服务;--max-model-len 131072:保守上限,检查点本身支持 262,144;- 追加
--reasoning-parser qwen3 --tool-call-parser qwen3_coder,可自动分离推理链并解析出标准tool_calls; - 官方推荐采样参数:
temperature 0.7/top_p 0.95/top_k 40(与 generation_config.json 一致),对话模板见 chat_template.jinja。
启动后即可通过 OpenAI 兼容 API(/v1/chat/completions)直接接入现有应用。
六、总结:这组数字到底在告诉你什么
| 维度 | 结论 |
|---|---|
| 能力 | BrowseComp 74.1 + SWE-Bench Verified 74.4,35B 级模型进入旗舰 Agent 的射程范围 |
| 部署 | 4-bit 量化把门槛从"双卡 H100"降到"单卡 80 GB",Blackwell 上还有原生 FP4 加速 |
| 代价 | 预期 4-bit 带来的小幅精度损耗(官方未公布量化后复测值) |
| 适合谁 | 想自托管 Agentic 能力(深度检索、代码修复、工具调用)的团队与开发者 |
💡 简而言之:Nex-N2-Mini-NVFP4 用约 1/3 的显存,换来了一个"能上网查资料、能修真实 Issue"的自托管智能体——如果你的场景是单卡部署 + Agent 工作流,这组基准分数值得认真研究。