初识NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF：快速看懂NVIDIA 4B循环式（latent-recurrent）小模型的核心卖点
初识NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF：快速看懂NVIDIA 4B循环式（latent-recurrent）小模型的核心卖点
NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF 是 NVIDIA 官方发布的 Dory1.0-4B 循环式（latent-recurrent）小模型 的 GGUF 量化版本，采用 Q5_K_M 精度，面向 llama.cpp 本地部署。它只有 4B 参数，却凭借"共享层循环复用 + 交错滑动窗口注意力"的设计，在推理时通过调整循环次数（1~4 次） 来自由权衡精度与算力，适合在消费级硬件上跑通用推理、编码与 Agent 任务。
一分钟看懂 Dory1.0-4B 是什么 📌
在深入细节前，先通过 README.md 中的模型卡快速建立整体认知：
| 项目 | 说明 |
|---|---|
| 总参数量 | 4B |
| 架构 | 循环式（latent-recurrent）normalized-GPT，交错 SWA 与 full-attention 层 |
| 量化精度 | Q5_K_M（GGUF 格式，llama.cpp 可直接加载） |
| 上下文长度 | 最高 256K tokens |
| 支持语言 | 英语 |
| 定位 | 小体积通用推理（General-purpose reasoning on a small footprint） |
| 许可证 | OpenMDW-1.1（可免费用于商业/非商业场景） |
| 发布时间 | 2026 年 10 月 16 日 |
这个仓库本质上就是一个"开箱即用"的本地推理包：权重文件 NVIDIA-Nemotron-Labs-Dory1.0-4B-Q5_K_M.gguf（约 3.4 GB）加上完整的模型卡文档，下载即用，不需要下载整个模型家族。
核心架构：latent-recurrent 循环设计 🔁
传统 Transformer 模型把几十层网络"一次性"串起来；而 Dory 采用 looped（循环）架构：把共享的一组层反复应用多次，让计算量花在"每个 token 上的深度思考"，而不是"生成更多 token"上。
架构要点（来自官方模型卡）：
- 三段式层栈：输入块（Input）8 层 + 循环块（Recurrent）20 层 + 输出块（Output）8 层；
- 循环复用：20 层的 Recurrent 共享块在 Input 与 Output 之间被应用多次（推理时可设 1~4 次循环），且每次循环都会把输入重新注入；
- 混合注意力：循环块内交错使用滑动窗口注意力（SWA）和全注意力（full-attention）层，兼顾长上下文的效率与全局信息捕获；
- 训练背景：预训练 6T tokens（前 4.5T 使用 NVIDIA 的 NVFP4 4 位浮点格式原生预训练），再经过 300B tokens 的上下文扩展、SFT 与 GRPO 强化学习。
💡 可以把循环次数想象成"思考预算旋钮"：转得越多，模型花得越多、想得更深。
核心卖点一：弹性推理计算，一个权重四种档位 ⚡
这是 Dory 最独特的卖点——同一个 checkpoint 可以服务不同的推理算力预算：
- 1 loop：追求单 token 最低延迟，适合高吞吐、算力紧张的场景；
- 2 loop：官方推荐的默认起点，精度与算力平衡最好（大部分精度收益来自第 2 次循环）；
- 4 loop：精度优先，适合 SWE-bench、Terminal-Bench 这类 Agent 编码任务。
调整循环次数不需要重新训练、不需要换模型，只在 llama.cpp 启动参数里改一个配置即可。下面的基准图直观展示了这一点：Dory1.0-4B 随循环次数增加，综合分数从 13.8（1 loop）一路升到 18.4（4 loop），超过了参数量远大于它的 Gemma4-26B、Qwen3.5-9B，并逼近 Qwen3.6-35B-A3B。
核心卖点二：Token 效率，生成更少却能答得更准 ✂️
循环带来的额外计算不是"更慢地生成"，而是把算力投入到隐空间思考（latent space thinking）。效果是：同样的任务，循环次数越高，模型需要生成的 token 越少。
以 1 loop 为 1.00× 基准：在 Terminal-Bench 2.1 上，4 loop 时输出 token 只有 0.50×；GDPval-AA-V2 上更是降到 0.40×。翻译过来就是——答案更短、推理更省、端到端成本更低，这对按 token 计费或长对话场景是实打实的省钱。
核心卖点三：内存友好的 last-loop KV 缓存 🧠
普通循环模型每加一次循环就多存一份 KV cache，内存随循环数线性膨胀。Dory 支持 last-loop KV caching：每个循环注意力层只保留一份缓存，后一次循环覆盖前一次的条目，因此无论循环多少次，KV cache 占用都与 1 次循环相同，省下的显存可以留给更长的上下文或更多并发请求。
如何用 llama.cpp 本地运行 Dory 4B GGUF 🖥️
前置条件：一个支持 llama.cpp 的环境（Apple Silicon Mac 或 Linux + NVIDIA GPU）。Dory 需要 Dory 增强版 llama.cpp 源码构建，具体构建命令见 README.md 的 Quick Start 章节。整体流程只有 4 步：
- 获取权重：克隆本仓库即可拿到 GGUF 文件
git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF（文件约 3.4 GB，README 中提供了 SHA-256 校验值用于验证完整性）； - 构建 Dory 版 llama.cpp：按 README 中的 cmake 命令从 Dory 增强源码编译出
llama-server； - 启动本地服务：关键参数是
--override-kv "dory.num_loops=int:2,dory.recurrent_kv_cache_mode=str:per_loop"，其中dory.num_loops取值 1/2/3/4 就是"思考预算旋钮"； - 打开网页聊天：浏览器访问
http://127.0.0.1:8080即可对话，OpenAI 兼容 API 在http://127.0.0.1:8080/v1，可直接接入现有 OpenAI 客户端。
两个实用调优建议：
- 默认用 2 loops：精度/速度平衡最好；算力吃紧降到 1，追求精度提到 4；
- 想省显存？ 把 KV 缓存模式从
per_loop换成last_loop：--override-kv "dory.num_loops=int:2,dory.recurrent_kv_cache_mode=str:last_loop"循环再多也不占额外缓存内存； - 采样参数：官方推荐 Temperature 1.0、Top_P 0.95，可用
--reasoning on开启推理模式。
基准成绩速览：4B 小模型能打到什么水平 📊
以下是 README.md 中 NVIDIA 统一评测框架下的官方数据摘录（1 loop → 4 loop）：
| 任务 | Dory 1 loop | Dory 4 loop | 对比参照 |
|---|---|---|---|
| SWE-bench Verified（编码 Agent） | 50.3 | 61.8 | Qwen3.5-4B：54.7 |
| Terminal-Bench 2.1（终端 Agent） | 12.5 | 22.2 | Qwen3.5-9B：24 |
| GPQA Diamond（科研推理） | 69.19 | 72.16 | Qwen3.5-4B：77.71 |
| IFBench（指令遵循） | 74.29 | 79.00 | Qwen3.5-4B：53.83 |
| AA-LCR（长上下文） | 63 | 73 | Qwen3.5-9B：68.4 |
几个值得注意的点：
- 在 SWE-bench、GDPval-AA-V2、τ³-bench 等编码与 Agent 任务上，4 loop 的 Dory 已追平甚至反超 26B/35B 级模型；
- 指令遵循（IFBench）是它的长板，4 loop 下 79.0 远超同级 4B 竞品；
- 纯知识类任务（如 GPQA、AA-Omniscience）上仍弱于更大的 Qwen3.5-9B，选型时要心里有数。
⚠️ 注意：以上基准为 BF16 原始权重成绩，本仓库的 Q5_K_M 量化版在实际表现上会有轻微差异，属于正常的量化误差。
常见问题 FAQ ❓
Q1：Dory1.0-4B 和同参数量普通模型（如 4B 的 Qwen）比，优势在哪？ 核心是"弹性"。普通模型性能固定，Dory 通过循环次数在 1~4 之间切换，同一份权重覆盖从低功耗到高精度的多种预算，且多循环时输出 token 更少。
Q2：4B 模型跑 256K 上下文，显存够吗？
得益于 last-loop KV cache 机制，KV cache 不随循环数膨胀；量化版仅约 3.4 GB，搭配长上下文建议优先开启 last_loop 缓存模式。
Q3：可以商用吗？ 可以。模型遵循 OpenMDW-1.1 许可，官方明确支持商业与非商业用途。
总结：谁适合用 Dory1.0-4B GGUF ✅
- ✅ 想在个人电脑/工作站本地跑一个"越算越聪明"的小模型：2 loop 起步，4 loop 榨干精度；
- ✅ 对推理成本敏感：token 效率最高可省 60% 输出量，Agent 长任务尤其划算；
- ✅ 想体验 latent-recurrent 循环式新架构：这是目前少有的开源可本地部署的 looped LLM；
- ⏳ 纯事实问答为主、追求极致知识量：同参数级大模型仍更稳，Dory 的强项在推理与 Agent 任务。
一句话概括：Dory1.0-4B 用"循环深度"换"参数量"，4B 的体积给出了接近 26B~35B 的 Agent 能力，而且这份能力可以由你在推理时按需拨动。 结合 GGUF 格式与 llama.cpp 生态，它几乎是当前本地部署"小而能循环"模型的最省事选择。