NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF训练管线全解析:从6T tokens的NVFP4预训练到GRPO多环境强化学习

原创2026-10-21 23:51:242,191 阅读
文章标签:大模型本地部署人工智能

NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF训练管线全解析:从6T tokens的NVFP4预训练到GRPO多环境强化学习

本文带你完整看懂 NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF 的训练管线:这款 4B 的循环(Looped)大语言模型如何在 6T tokens 上完成预训练(前约 4.5T tokens 采用 NVFP4 4-bit 低精度原生训练),又如何通过 SFT + GRPO 多环境强化学习,练出一个 1~4 个循环次数自由切换、算力与精度弹性可调的小模型。🧠

一眼看懂 Dory1.0-4B:循环架构的 4B 模型

Dory1.0-4B 的核心创新是"循环"(looping):把一层共享的 20 层 Recurrent 模块反复套用,每个 token 花更多算力"在隐空间里思考",从而用 4B 的体量换取接近更大模型的能力,且无需重新训练,只改变循环次数(dory.num_loops)就能在 1~4 loops 之间调节精度与算力。

项目 参数
总参数量 4B
架构 Looped normalized-GPT,交错滑窗注意力(SWA)与全注意力层
精度格式 Q5_K_M(本仓库 GGUF 导出)
上下文长度 最长 256K tokens
语言 英文
许可证 OpenMDW-1.1(可商用)

💡 普通用户关心的一句话:loops 越多越聪明,但生成 token 反而越少,这是后文的重点。

Stage 1:6T tokens 预训练——前 4.5T 用 NVFP4 原生低精度训练

预训练是本管线中最"硬核"的一环(详见 README.md):

  • 总量 6T tokens:前约 4.5T tokens 使用 NVFP4(NVIDIA 4-bit 浮点格式)原生训练,剩余约 1.5T 用 BF16 收尾;
  • 数据来源:爬取 + 合成数据,覆盖代码(43 种编程语言)、数学、科学与通用知识,时间跨度 2013 年至 2025 年底;
  • 上下文扩展:再用 300B tokens 把上下文从基础长度扩展到 256K;
  • 训练框架:Megatron-LM。

为什么要"原生 NVFP4 预训练"?常规做法是先用 BF16 训练再量化压缩,量化会带来精度损失;Dory 直接从预训练初期就在 4-bit 精度下学习,权重"天生"就是低精度友好的——量化后几乎不掉点,这正是它能轻松导出 Q5_K_M / MXFP8 / NVFP4 多种格式的底气。⚡

Stage 2:监督微调(SFT)夯实基础

预训练后,模型在 NVIDIA 内部精选的 SFT 数据集上进一步微调。这一阶段的合成数据管线值得新手借鉴:

  1. 从精选题目集出发,用强教师模型蒸馏出逐步推理轨迹、候选解与 best-of-n 筛选结果;
  2. 用编译器、数值校验、语言识别等自动化工具验证答案正确性;
  3. 统一过滤管线:剔除结构异常样本(如有工具调用却缺工具定义)、过滤病态重复的推理轨迹,并做敏感内容审计。

Stage 3:GRPO 多环境强化学习——异步架构解耦训练与推理

第三阶段采用 GRPO(Group Relative Policy Optimization,组相对策略优化) 做多环境强化学习,覆盖 7 类环境(详见 README.md):

  • 数学、代码、科学推理
  • 指令遵循(instruction following)
  • 多步工具调用(multi-step tool use)
  • 多轮对话
  • 结构化输出

工程上采用异步 RL 架构,把"推理(采样)"与"训练(更新)"两个环节解耦,两者并行流水执行,大幅提升了大规模 RL 的吞吐效率;配套工具为 NeMo RL 与 NeMo Gym。

训练管线成色如何?看基准测试与 token 效率

同一个 checkpoint,只改循环次数,成绩就在水准线间跳级——这是 Dory 管线最直观的成果:

任务 1 loop 2 loops 4 loops
SWE-bench Verified 50.3 59.5 61.8
SciCode 27.3 34.9 35.1
GPQA Diamond 69.2 72.4 72.2
IFBench 74.3 77.9 79.0
AA-LCR(长上下文) 63 71 73

Dory1.0-4B循环次数与基准评分对比图:NVFP4预训练加GRPO强化学习让4B模型4循环时逼近30B级模型

上图是 AA v4.3.2 综合分(内部估算口径)随循环次数的变化:1 loop 时 13.8 分,2 loops 跳到 17.7 分(超过 Gemma4-26B-A4B 的 16.35 与 Qwen3.5-9B 的 12.53),4 loops 达 18.4 分——4B 小模型逼近 26B~35B 级模型。

更妙的是 token 效率:循环次数越高,解决同样任务所需的输出 token 越少(思考发生在隐空间里,而不是更长的回复中):

Dory1.0-4B循环次数与输出token减少比例图:多循环强化学习模型在SWE-bench等任务上用更少tokens解题

以 GDPval-AA-V2 为例,4 loops 的每次尝试输出量仅为 1 loop 的 0.40x;Terminal-Bench 2.1 也降到 0.50x。对按 token 计费的 API 用户来说,这是实打实的成本节约。✅

如何选择循环次数?

  • 追求单 token 最低算力 → 1 loop
  • 精度/算力平衡(官方推荐默认)→ 2 loops
  • 精度优先(尤其 SWE-bench、Terminal-Bench 这类 agentic 任务)→ 4 loops

本地跑起来:GGUF 文件与关键参数

本仓库提供的量化模型文件为 NVIDIA-Nemotron-Labs-Dory1.0-4B-Q5_K_M.gguf,配合支持 Dory 的 llama.cpp 即可本地部署。启动服务时最关键的两个参数(完整示例见 README.md):

--override-kv "dory.num_loops=int:2,dory.recurrent_kv_cache_mode=str:per_loop"
  • dory.num_loops=int:1/2/3/4:设置循环次数;
  • dory.recurrent_kv_cache_mode=str:last_loop:若显存紧张,改用 last-loop KV 缓存,可让任意循环次数下的 KV 缓存开销与 1 loop 持平。

采样推荐 Temperature 1.0 / Top-P 0.95,服务端可用 --reasoning on 开启推理模式。

写在最后

Dory1.0-4B 展示的是一条完整且有野心的训练管线:NVFP4 原生低精度预训练(6T tokens)→ 高质量 SFT → GRPO 多环境异步强化学习,再叠加循环架构的弹性推理,让 4B 模型在精度和 token 成本上同时向大模型发起冲击。如果你想深入细节,建议从 README.md 的 Training Methodology 与 Benchmarks 两节读起。

登录后查看全文
NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF