4B 参数打赢 9B:NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 基准测试全解读(SWE-bench 61.8、IFBench 79 数据拆解)

原创2026-10-19 23:11:141,765 阅读
文章标签:人工智能大模型基础模型

4B 参数打赢 9B:NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 基准测试全解读(SWE-bench 61.8、IFBench 79 数据拆解)

NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16(简称 Dory1.0-4B)是 NVIDIA 推出的 4B 参数"循环 LLM":在 4 loops 推理档位下,SWE-bench Verified 拿到 61.8 分、IFBench 指令遵循拿到 79 分,用最小的模型体积打出了 9B 甚至更大模型才有的编码与指令遵循能力。本文带你完整拆解它的基准数据,看懂"小模型如何靠架构赢参数"。

📌 模型速览:4B 参数,256K 上下文

规格 说明
总参数 4B
架构 Looped(隐式循环)normalized-GPT,滑动窗口注意力(SWA)与全注意力层交替排列
精度 BF16(另有 MXFP8、NVFP4、GGUF Q5_K_M 量化版)
上下文长度 最高 256K tokens
核心卖点 弹性推理算力:改一个参数即可在"更快"与"更准"之间切换
许可 OpenMDW-1.1,可商用

详细规格可直接查看仓库中的 README.md。

🧠 核心秘密:循环(Looping)架构

Dory1.0-4B 最大的特点不是"参数少",而是 同一个共享层块会被重复执行多次。它的层栈分为三段:输入块(8 层)→ 循环块(20 层)→ 输出块(8 层),其中循环块会按 n_recurrent_loops 指定的次数反复运行——多出来的算力不靠更多参数,而是"在隐空间里多算几遍"。

在 config.json 中可以看到关键配置:

  • n_input_layers: 16 / n_recurrent_layers: 40 / n_output_layers: 16(含 MLP 层计数)
  • n_recurrent_loops: 2(默认 2 次循环)
  • max_position_embeddings: 262144(256K 上下文)
  • sliding_window: 1024(滑动窗口注意力窗口大小)

为什么这很关键? 两个好处:

  1. 弹性算力:1 loop 算力最省,4 loop 精度最高,同一个 checkpoint 无需重新训练即可切换;
  2. 省 KV Cache:Dory 支持 last-loop KV 缓存,无论循环多少次,KV cache 占用都保持 1 loop 的水平,长上下文和高并发部署更友好。

📊 基准测试总表:4 loops 档位的硬实力

以下数据来自 README.md 中 NVIDIA 在统一评测框架(NeMo Gym / NeMo Evaluator SDK)下测得的结果(† 为官方报告值):

任务 Dory 1 loop Dory 2 loops Dory 4 loops Qwen3.5-4B Qwen3.5-9B Gemma 4 26B-A4B
SWE-bench Verified 50.3 59.5 61.8 54.7 61.0 57.40
IFBench 74.29 77.94 79.0 53.83 59.0 77.89
GPQA Diamond 69.19 72.41 72.16 77.71 80.93 80.43
SciCode 27.3 34.94 35.11 25.82 28.21 40.32
Terminal-Bench 2.1 12.5 18.1 22.2 15 24 35
τ³-bench (Banking) 11.6 12.89 14.69 5.03 7.22 13.66
AA-LCR(长上下文) 63 71 73 64.7 68.4 64.6
GDPval-AA-V2 (Elo) 815 946 967 424 546 751.6

关键数据点拆解

  • SWE-bench Verified 61.8 vs 61.0:4B 的 Dory 在真实仓库修 Bug 任务上,超过了参数量 2.25 倍的 Qwen3.5-9B,也大幅领先 26B 的 Gemma 4(57.4)。这是"4B 打赢 9B"最直接的证据;
  • IFBench 79 vs 59:指令遵循基准上领先 Qwen3.5-9B 整整 20 分,说明多轮循环对"精确执行复杂指令"帮助极大——循环本质上给了模型更多"内部核对"的机会;
  • GPQA Diamond 72.16:面对 80.93 的 9B 对手,科学推理仍是差距所在,说明循环架构在"编码 + 指令遵循 + 智能体"这类可迭代任务上收益最大;
  • AA-LCR 73:长上下文表现也随循环次数提升,且领先所有对比模型。

NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 循环次数与 AA v4.3.2 综合分对比图

上图展示了 Dory1.0-4B 在不同循环次数(k=1/2/4)下的综合分:k=1 时 13.8 分已超 Qwen3.5-9B(12.53);k=2 时 17.7 分反超 26B 的 Gemma 4 26B-A4B(16.35);k=4 时达到 18.4,逼近 35B 的 Qwen3.6-35B-A3B(20.15)。注意:图中 AA v4.3.2 分数为 NVIDIA 内部估计值,可能与官方 Artificial Analysis 分数有偏差。

⚡ 隐藏的福利:循环越多,输出 token 越少

多数模型"多想"= 输出更多 token(更贵、更慢)。Dory 走的是另一条路:多出来的算力花在每个 token 的"隐空间思考"上,输出反而更短。

Dory1.0-4B 循环带来的输出 token 减少柱状图

上图以 1 loop 为基准(1.00x):在 Terminal-Bench 2.1 上,4 loops 时每次尝试的输出 token 只有基准的 0.50x;GDPval-AA-V2 上更是低至 0.40x;SWE-bench Verified 为 0.74x。精度上去了,token 账单还下来了——对按 token 计费的推理服务来说,这是实打实的成本优势。

💡 怎么选循环次数?官方建议

来自 README.md 的快速决策指南:

档位 适用场景 SWE-bench Verified IFBench
1 loop 极致低延迟、算力最省 50.3 74.29
2 loops(推荐起步) 精度与算力的平衡点,大部分提升来自第 2 圈 59.5 77.94
4 loops 精度优先,尤其是 SWE-bench、Terminal-Bench 等智能体任务 61.8 79.0

采样参数建议 Temperature 1.0、Top_P 0.95,见 generation_config.json。

📁 仓库文件指引

总结

Dory1.0-4B 证明了小模型的另一条路:不堆参数,堆"每 token 的算力"。4B 体量 + 可切换循环次数,让它在 SWE-bench(61.8)和 IFBench(79)上击败 9B 甚至 26B 模型,同时输出更短、KV cache 更省。如果你的场景是编码智能体、指令遵循或本地部署,这是 2026 年最值得试验的小模型之一。

登录后查看全文
NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16