NVIDIA Dory1.0-4B-NVFP4 是如何炼成的:6T Token 预训练、256K 上下文扩展与 GRPO 强化学习全流程拆解
NVIDIA Dory1.0-4B-NVFP4 是如何炼成的:6T Token 预训练、256K 上下文扩展与 GRPO 强化学习全流程拆解
NVIDIA Dory1.0-4B-NVFP4 是 NVIDIA 推出的 4B 参数循环(Looped)大语言模型,采用 NVFP4 4-bit 低精度原生训练,支持最高 256K token 长上下文。它历经 6T Token 预训练、300B Token 上下文扩展、SFT 监督微调,再到 GRPO 强化学习四个阶段,最终让一个小体积模型在推理与 Agent 任务上比肩数倍于自己的大模型。本文完整拆解它的技术路线。
1. 架构核心:4B 参数为何能打过 9B 模型?
Dory1.0-4B 采用了独特的 Looped(循环/潜在递归)normalized-GPT 架构。它的 72 层被分成三组:
- 输入块(I):16 层,负责读取输入
- 递归块(R):40 层共享参数,会被重复执行 1~4 次
- 输出块(O):16 层,负责生成结果
这种设计带来三个关键能力(可在 config.json 中直接验证:n_input_layers: 16、n_recurrent_layers: 40、n_recurrent_loops: 2):
| 特性 | 说明 |
|---|---|
| ⚡ 弹性推理算力 | 同一个 checkpoint,改循环次数即可在"算力 ↔ 精度"之间权衡,无需重训练、无需换模型 |
| 🪙 Token 效率 | 计算花在"潜在空间思考"上,完成任务需要的输出 token 更少 |
| 💾 显存友好 | 支持 last-loop KV 缓存,KV cache 占用与单层模型相同,不随循环次数增长 |
此外,模型交替使用 滑动窗口注意力(SWA,窗口 1024)与全注意力层:SWA 层负责局部细节、成本低,全注意力层负责全局信息,两者互补让 256K 长上下文的计算成本大幅降低。推荐采样参数为 Temperature 1.0、Top_P 0.95(见 generation_config.json)。
2. 第一阶段:6T Token 预训练与 NVFP4 原生低精度训练
预训练是整个"炼丹"过程中最烧钱的环节,Dory 在这里做了两件大事:
- 超大规模语料:共 6 万亿 token,覆盖网页、对话、文章、代码(43 种编程语言)、数学、科学、金融、法律等领域,数据时间跨度从 2013 年到 2025 年底,采集方式混合了自动化爬取、人工收集与合成数据。
- NVFP4 原生预训练:前约 4.5T token 直接用 NVIDIA 4-bit 浮点格式(NVFP4)训练,其余部分切换到 BF16。这不是事后量化,而是从预训练一开始就在 4-bit 下学习,因此权重分布天然适配低精度,量化损失极小。本仓库中的
model.safetensors正是 NVFP4(W4A16)权重,量化算法为W4A16_NVFP4、group size 16,仅embeddings与lm_head保持不量化(详见 hf_quant_config.json)。
预训练基于 Megatron-LM 框架完成。合成数据部分则由强教师模型蒸馏出逐步推理轨迹、候选解与已验证代码,并叠加编译器、数值检查等自动验证管线,保证数据质量。
3. 第二阶段:300B Token 上下文扩展,解锁 256K 长上下文
预训练完成后,NVIDIA 用 300B token 专门做上下文长度扩展(Context Extension),把窗口从短窗口一路扩到 256K token(max_position_embeddings: 262144)。
这个"长而不卡"的秘诀在于架构里的两个细节:
- SWA 层 RoPE theta = 10,000,聚焦局部 1024 窗口内的细节建模;
- 全注意力层 RoPE theta = 10,000,000(百万级),让位置编码在超长序列上仍然稳定可外推。
配合 16 个注意力头、4 个 KV 头(GQA)的稀疏注意力结构,Dory 在 256K 上下文下的 KV cache 与计算开销都远低于同长度的纯全注意力模型,这正是它敢在 vLLM 里直接 --max-model-len 262144 的底气。
4. 第三阶段:SFT + GRPO 强化学习,从"会说话"到"会干活"
预训练只给了模型"知识",真正让它变聪明的是后训练三步走:
Step 1 — 监督微调(SFT)
在 NVIDIA 精选的 SFT 数据集上对齐指令遵循格式,教会模型使用工具调用、思维链推理(模板内置 enable_thinking 开关,见 chat_template.jinja)等基础能力。
Step 2 — 多环境 GRPO 强化学习 模型接受了跨 7 类环境 的强化学习训练,算法为 GRPO(Group Relative Policy Optimization):
- 数学、代码、科学推理
- 指令遵循
- 多步工具调用
- 多轮对话
- 结构化输出
训练采用异步 RL 架构,将训练与推理解耦(训练用 NeMo RL、评测环境用 NeMo Gym),大幅提升并行效率。数据侧还做了三重质量过滤:结构检查丢弃畸形样本、滑动窗口重复 n-gram 检测剔除病态推理轨迹、正则过滤器移除不当倾向性内容。
Step 3 — 评测对齐
NVIDIA 在统一评测框架下反复校准采样与推理配置,最终固化出 Temperature 1.0 / Top_P 0.95 的推荐参数。
5. 基准测试:4B 小模型的越级表现
下图展示了 Dory1-4B 在 AA v4.3.2 综合估计分(内部一致框架测算)下随循环次数(k)提升的曲线,横向虚线是 Qwen3.5-4B(11.0)、Qwen3.5-9B(12.53)、Gemma4-26B-A4B(16.35)、Qwen3.6-35B-A3B(20.15)等对标模型:
从 README.md 的完整基准表看,几个亮点数据(4 loops):
| 任务类别 | 任务 | Dory1.0-4B | 同参数级 Qwen3.5-4B |
|---|---|---|---|
| 编码/Agent | SWE-bench Verified | 61.8 | 54.7 |
| 编码/Agent | Terminal-Bench 2.1 | 22.2 | 15 |
| 指令遵循 | IFBench | 79 | 53.83 |
| 长上下文 | AA-LCR | 73 | 64.7 |
| 推理 | GPQA Diamond | 72.16 | 77.71 |
可以看到:4B 体量的 Dory 在编码 Agent 与指令遵循上明显超过 Qwen3.5-4B,并接近甚至追平更大规模的 9B/26B 模型;在 GPQA 这类硬核科学推理上则与大模型仍有差距——小模型换算力换精度的路线,收益最明显的场景正是工具调用与 Agent 任务。
6. 弹性推理:多循环 = 少输词,实测 Token 减少最高 60%
Looping 最直观的好处是 Token 效率。下图对比了不同循环次数下,四个 Agent 基准每次尝试的平均输出 token 量(相对 k=1 的倍数):
官方推荐策略:
- 默认 2 loops:精度/算力平衡点,大部分收益来自第 2 次循环
- 1 loop:追求极致单 token 成本
- 4 loops:Agent 任务(SWE-bench、Terminal-Bench)下精度优先
同时若显存吃紧,把 recurrent_kv_cache_mode 设为 last_loop,KV cache 体积可恒定在单层规模,为更长上下文或更高并发留出空间。
7. 快速部署:一条命令跑起 256K 长上下文
以 vLLM 为例(需支持 Dory 的版本),核心命令如下:
vllm serve --model nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4 \
--hf-overrides '{"n_recurrent_loops": 2, "recurrent_kv_cache_mode": "per_loop"}' \
--max-model-len 262144 --enable-prefix-caching --async-scheduling \
--reasoning-parser nemotron_v3 --tool-call-parser qwen3_coder \
--enable-auto-tool-choice
llama.cpp 用户则可在 Apple Silicon 上构建 Dory 分支,加载 Q5_K_M 的 GGUF 权重(约 3.67GB),本地 8080 端口即可开箱聊天。实测在 DGX Spark 上,NVFP4 权重推理速度相比 BF16 基线可达 2.17×~2.44×。模型还同时提供 BF16、MXFP8、NVFP4、GGUF 四种格式供不同硬件选择。
8. 仓库文件速览与上手建议
| 文件 | 作用 |
|---|---|
| config.json | 架构超参:72 层(16+40+16)、SWA/全注意力层分布、NVFP4 量化配置 |
| generation_config.json | 推荐采样参数:temperature 1.0、top_p 0.95 |
| hf_quant_config.json | 量化算法 W4A16_NVFP4,group size 16 |
| chat_template.jinja | 对话模板:内置思考开关与工具调用格式 |
| tokenizer_config.json | 分词器配置,词表 131,072 |
| model.safetensors | NVFP4 权重文件 |
上手建议:首次使用从 2 loops + per_loop 缓存起步;显存紧张时切换 last_loop 模式;跑 Agent 任务再逐步加到 4 loops。Dory1.0-4B-NVFP4 在 OpenMDW-1.1 许可下允许商用,支持 Hopper/Blackwell 全系硬件——如果你想用最低的显存成本体验"会循环思考"的长上下文小模型,它值得放进你的模型清单。

