4B 参数打赢 9B:NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 基准测试全解读(SWE-bench 61.8、IFBench 79 数据拆解)
4B 参数打赢 9B:NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 基准测试全解读(SWE-bench 61.8、IFBench 79 数据拆解)
NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16(简称 Dory1.0-4B)是 NVIDIA 推出的 4B 参数"循环 LLM":在 4 loops 推理档位下,SWE-bench Verified 拿到 61.8 分、IFBench 指令遵循拿到 79 分,用最小的模型体积打出了 9B 甚至更大模型才有的编码与指令遵循能力。本文带你完整拆解它的基准数据,看懂"小模型如何靠架构赢参数"。
📌 模型速览:4B 参数,256K 上下文
| 规格 | 说明 |
|---|---|
| 总参数 | 4B |
| 架构 | Looped(隐式循环)normalized-GPT,滑动窗口注意力(SWA)与全注意力层交替排列 |
| 精度 | BF16(另有 MXFP8、NVFP4、GGUF Q5_K_M 量化版) |
| 上下文长度 | 最高 256K tokens |
| 核心卖点 | 弹性推理算力:改一个参数即可在"更快"与"更准"之间切换 |
| 许可 | OpenMDW-1.1,可商用 |
详细规格可直接查看仓库中的 README.md。
🧠 核心秘密:循环(Looping)架构
Dory1.0-4B 最大的特点不是"参数少",而是 同一个共享层块会被重复执行多次。它的层栈分为三段:输入块(8 层)→ 循环块(20 层)→ 输出块(8 层),其中循环块会按 n_recurrent_loops 指定的次数反复运行——多出来的算力不靠更多参数,而是"在隐空间里多算几遍"。
在 config.json 中可以看到关键配置:
n_input_layers: 16/n_recurrent_layers: 40/n_output_layers: 16(含 MLP 层计数)n_recurrent_loops: 2(默认 2 次循环)max_position_embeddings: 262144(256K 上下文)sliding_window: 1024(滑动窗口注意力窗口大小)
为什么这很关键? 两个好处:
- 弹性算力:1 loop 算力最省,4 loop 精度最高,同一个 checkpoint 无需重新训练即可切换;
- 省 KV Cache:Dory 支持 last-loop KV 缓存,无论循环多少次,KV cache 占用都保持 1 loop 的水平,长上下文和高并发部署更友好。
📊 基准测试总表:4 loops 档位的硬实力
以下数据来自 README.md 中 NVIDIA 在统一评测框架(NeMo Gym / NeMo Evaluator SDK)下测得的结果(† 为官方报告值):
| 任务 | Dory 1 loop | Dory 2 loops | Dory 4 loops | Qwen3.5-4B | Qwen3.5-9B | Gemma 4 26B-A4B |
|---|---|---|---|---|---|---|
| SWE-bench Verified | 50.3 | 59.5 | 61.8 | 54.7 | 61.0 | 57.40 |
| IFBench | 74.29 | 77.94 | 79.0 | 53.83 | 59.0 | 77.89 |
| GPQA Diamond | 69.19 | 72.41 | 72.16 | 77.71 | 80.93 | 80.43 |
| SciCode | 27.3 | 34.94 | 35.11 | 25.82 | 28.21 | 40.32 |
| Terminal-Bench 2.1 | 12.5 | 18.1 | 22.2 | 15 | 24 | 35 |
| τ³-bench (Banking) | 11.6 | 12.89 | 14.69 | 5.03 | 7.22 | 13.66 |
| AA-LCR(长上下文) | 63 | 71 | 73 | 64.7 | 68.4 | 64.6 |
| GDPval-AA-V2 (Elo) | 815 | 946 | 967 | 424 | 546 | 751.6 |
关键数据点拆解
- SWE-bench Verified 61.8 vs 61.0:4B 的 Dory 在真实仓库修 Bug 任务上,超过了参数量 2.25 倍的 Qwen3.5-9B,也大幅领先 26B 的 Gemma 4(57.4)。这是"4B 打赢 9B"最直接的证据;
- IFBench 79 vs 59:指令遵循基准上领先 Qwen3.5-9B 整整 20 分,说明多轮循环对"精确执行复杂指令"帮助极大——循环本质上给了模型更多"内部核对"的机会;
- GPQA Diamond 72.16:面对 80.93 的 9B 对手,科学推理仍是差距所在,说明循环架构在"编码 + 指令遵循 + 智能体"这类可迭代任务上收益最大;
- AA-LCR 73:长上下文表现也随循环次数提升,且领先所有对比模型。
上图展示了 Dory1.0-4B 在不同循环次数(k=1/2/4)下的综合分:k=1 时 13.8 分已超 Qwen3.5-9B(12.53);k=2 时 17.7 分反超 26B 的 Gemma 4 26B-A4B(16.35);k=4 时达到 18.4,逼近 35B 的 Qwen3.6-35B-A3B(20.15)。注意:图中 AA v4.3.2 分数为 NVIDIA 内部估计值,可能与官方 Artificial Analysis 分数有偏差。
⚡ 隐藏的福利:循环越多,输出 token 越少
多数模型"多想"= 输出更多 token(更贵、更慢)。Dory 走的是另一条路:多出来的算力花在每个 token 的"隐空间思考"上,输出反而更短。
上图以 1 loop 为基准(1.00x):在 Terminal-Bench 2.1 上,4 loops 时每次尝试的输出 token 只有基准的 0.50x;GDPval-AA-V2 上更是低至 0.40x;SWE-bench Verified 为 0.74x。精度上去了,token 账单还下来了——对按 token 计费的推理服务来说,这是实打实的成本优势。
💡 怎么选循环次数?官方建议
来自 README.md 的快速决策指南:
| 档位 | 适用场景 | SWE-bench Verified | IFBench |
|---|---|---|---|
| 1 loop | 极致低延迟、算力最省 | 50.3 | 74.29 |
| 2 loops(推荐起步) | 精度与算力的平衡点,大部分提升来自第 2 圈 | 59.5 | 77.94 |
| 4 loops | 精度优先,尤其是 SWE-bench、Terminal-Bench 等智能体任务 | 61.8 | 79.0 |
采样参数建议 Temperature 1.0、Top_P 0.95,见 generation_config.json。
📁 仓库文件指引
- README.md:完整基准表、vLLM / llama.cpp 部署步骤、训练方法
- config.json:循环层数、256K 上下文、滑窗大小等架构参数
- generation_config.json:推荐采样参数(temperature 1.0、top_p 0.95)
- chat_template.jinja:聊天模板(支持工具调用)
- model.safetensors:BF16 权重文件
总结
Dory1.0-4B 证明了小模型的另一条路:不堆参数,堆"每 token 的算力"。4B 体量 + 可切换循环次数,让它在 SWE-bench(61.8)和 IFBench(79)上击败 9B 甚至 26B 模型,同时输出更短、KV cache 更省。如果你的场景是编码智能体、指令遵循或本地部署,这是 2026 年最值得试验的小模型之一。

