NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF训练管线全解析:从6T tokens的NVFP4预训练到GRPO多环境强化学习
NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF训练管线全解析:从6T tokens的NVFP4预训练到GRPO多环境强化学习
本文带你完整看懂 NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF 的训练管线:这款 4B 的循环(Looped)大语言模型如何在 6T tokens 上完成预训练(前约 4.5T tokens 采用 NVFP4 4-bit 低精度原生训练),又如何通过 SFT + GRPO 多环境强化学习,练出一个 1~4 个循环次数自由切换、算力与精度弹性可调的小模型。🧠
一眼看懂 Dory1.0-4B:循环架构的 4B 模型
Dory1.0-4B 的核心创新是"循环"(looping):把一层共享的 20 层 Recurrent 模块反复套用,每个 token 花更多算力"在隐空间里思考",从而用 4B 的体量换取接近更大模型的能力,且无需重新训练,只改变循环次数(dory.num_loops)就能在 1~4 loops 之间调节精度与算力。
| 项目 | 参数 |
|---|---|
| 总参数量 | 4B |
| 架构 | Looped normalized-GPT,交错滑窗注意力(SWA)与全注意力层 |
| 精度格式 | Q5_K_M(本仓库 GGUF 导出) |
| 上下文长度 | 最长 256K tokens |
| 语言 | 英文 |
| 许可证 | OpenMDW-1.1(可商用) |
💡 普通用户关心的一句话:loops 越多越聪明,但生成 token 反而越少,这是后文的重点。
Stage 1:6T tokens 预训练——前 4.5T 用 NVFP4 原生低精度训练
预训练是本管线中最"硬核"的一环(详见 README.md):
- 总量 6T tokens:前约 4.5T tokens 使用 NVFP4(NVIDIA 4-bit 浮点格式)原生训练,剩余约 1.5T 用 BF16 收尾;
- 数据来源:爬取 + 合成数据,覆盖代码(43 种编程语言)、数学、科学与通用知识,时间跨度 2013 年至 2025 年底;
- 上下文扩展:再用 300B tokens 把上下文从基础长度扩展到 256K;
- 训练框架:Megatron-LM。
为什么要"原生 NVFP4 预训练"?常规做法是先用 BF16 训练再量化压缩,量化会带来精度损失;Dory 直接从预训练初期就在 4-bit 精度下学习,权重"天生"就是低精度友好的——量化后几乎不掉点,这正是它能轻松导出 Q5_K_M / MXFP8 / NVFP4 多种格式的底气。⚡
Stage 2:监督微调(SFT)夯实基础
预训练后,模型在 NVIDIA 内部精选的 SFT 数据集上进一步微调。这一阶段的合成数据管线值得新手借鉴:
- 从精选题目集出发,用强教师模型蒸馏出逐步推理轨迹、候选解与 best-of-n 筛选结果;
- 用编译器、数值校验、语言识别等自动化工具验证答案正确性;
- 统一过滤管线:剔除结构异常样本(如有工具调用却缺工具定义)、过滤病态重复的推理轨迹,并做敏感内容审计。
Stage 3:GRPO 多环境强化学习——异步架构解耦训练与推理
第三阶段采用 GRPO(Group Relative Policy Optimization,组相对策略优化) 做多环境强化学习,覆盖 7 类环境(详见 README.md):
- 数学、代码、科学推理
- 指令遵循(instruction following)
- 多步工具调用(multi-step tool use)
- 多轮对话
- 结构化输出
工程上采用异步 RL 架构,把"推理(采样)"与"训练(更新)"两个环节解耦,两者并行流水执行,大幅提升了大规模 RL 的吞吐效率;配套工具为 NeMo RL 与 NeMo Gym。
训练管线成色如何?看基准测试与 token 效率
同一个 checkpoint,只改循环次数,成绩就在水准线间跳级——这是 Dory 管线最直观的成果:
| 任务 | 1 loop | 2 loops | 4 loops |
|---|---|---|---|
| SWE-bench Verified | 50.3 | 59.5 | 61.8 |
| SciCode | 27.3 | 34.9 | 35.1 |
| GPQA Diamond | 69.2 | 72.4 | 72.2 |
| IFBench | 74.3 | 77.9 | 79.0 |
| AA-LCR(长上下文) | 63 | 71 | 73 |
上图是 AA v4.3.2 综合分(内部估算口径)随循环次数的变化:1 loop 时 13.8 分,2 loops 跳到 17.7 分(超过 Gemma4-26B-A4B 的 16.35 与 Qwen3.5-9B 的 12.53),4 loops 达 18.4 分——4B 小模型逼近 26B~35B 级模型。
更妙的是 token 效率:循环次数越高,解决同样任务所需的输出 token 越少(思考发生在隐空间里,而不是更长的回复中):
以 GDPval-AA-V2 为例,4 loops 的每次尝试输出量仅为 1 loop 的 0.40x;Terminal-Bench 2.1 也降到 0.50x。对按 token 计费的 API 用户来说,这是实打实的成本节约。✅
如何选择循环次数?
- 追求单 token 最低算力 →
1 loop - 精度/算力平衡(官方推荐默认)→
2 loops - 精度优先(尤其 SWE-bench、Terminal-Bench 这类 agentic 任务)→
4 loops
本地跑起来:GGUF 文件与关键参数
本仓库提供的量化模型文件为 NVIDIA-Nemotron-Labs-Dory1.0-4B-Q5_K_M.gguf,配合支持 Dory 的 llama.cpp 即可本地部署。启动服务时最关键的两个参数(完整示例见 README.md):
--override-kv "dory.num_loops=int:2,dory.recurrent_kv_cache_mode=str:per_loop"
dory.num_loops=int:1/2/3/4:设置循环次数;dory.recurrent_kv_cache_mode=str:last_loop:若显存紧张,改用 last-loop KV 缓存,可让任意循环次数下的 KV 缓存开销与 1 loop 持平。
采样推荐 Temperature 1.0 / Top-P 0.95,服务端可用 --reasoning on 开启推理模式。
写在最后
Dory1.0-4B 展示的是一条完整且有野心的训练管线:NVFP4 原生低精度预训练(6T tokens)→ 高质量 SFT → GRPO 多环境异步强化学习,再叠加循环架构的弹性推理,让 4B 模型在精度和 token 成本上同时向大模型发起冲击。如果你想深入细节,建议从 README.md 的 Training Methodology 与 Benchmarks 两节读起。

