NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF的KV缓存优化详解:last-loop缓存如何让内存零开销
NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF的KV缓存优化详解:last-loop缓存如何让内存零开销
NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF 是 NVIDIA 循环式(looped)大模型 Dory1.0-4B 的 Q5_K_M 量化 GGUF 版本,本仓库提供模型文件与完整说明(见 README.md)。它的最大特点是 last-loop KV 缓存:不管推理时跑几个 loop,KV cache 内存开销始终与单 loop 持平——这就是本文要详解的"内存零开销"机制。
1️⃣ 先搞清楚:Dory1.0-4B 为什么需要特殊缓存
Dory1.0-4B 是一个 Looped(latent-recurrent)normalized-GPT 架构的 4B 模型:层栈被分成 Input(8 层)、Recurrent(20 层共享块)和 Output(8 层)三组,其中共享的 Recurrent 块会在推理时重复执行 k 次(k 为 loop 数量,可选 1/2/3/4)。
这种"循环"设计带来两个核心能力:
- 弹性推理算力:同一个 checkpoint 通过改变 loop 次数即可在"速度↔精度"之间权衡,无需重新训练或换模型;
- Token 效率:更多算力花在潜空间"思考"上,而不是输出更长的文本,解决同样任务所需的生成 token 更少。
本仓库包含可直接被 llama.cpp 加载的模型文件 NVIDIA-Nemotron-Labs-Dory1.0-4B-Q5_K_M.gguf,支持最长 256K token 上下文,适合用小体积模型做通用推理。
2️⃣ 问题所在:per-loop 缓存让内存随 loop 数线性膨胀
标准循环推理有一个"隐藏成本":共享的是权重,不共享的是 KV cache。默认模式(per_loop)下,每一个 loop 都会为每层 recurrent attention 单独存一份 KV 缓存,于是:
| 模式 | loop=1 | loop=2 | loop=4 |
|---|---|---|---|
per_loop(每 loop 独立缓存) |
1× | 2× | 4× |
last_loop(仅保留末轮缓存) |
1× | 1× | 1× |
也就是说,loop 数翻 4 倍,KV 缓存内存也跟着翻 4 倍——对于 4B 模型来说并不夸张,但在长上下文或多并发场景下会明显挤压可用显存。
3️⃣ last-loop KV 缓存:零内存开销的实现思路
Dory 支持的 last-loop KV caching 思路非常简洁:
- 每个 recurrent attention 层只保留一份 KV 缓存;
- 每一轮 loop 计算出的 K/V 直接覆盖上一轮的条目;
- 推理结束时,缓存里只保留最后(final)一轮 loop 的 keys 和 values。
效果就是:无论 loop 数量是多少,KV 缓存占用都锁定在 1-loop 的大小,相对同等非循环模型没有任何额外 KV cache 开销。省下来的显存可以直接换成长上下文(--ctx-size)或更多并发请求。
⚡ 直观理解:per-loop 像给每一轮思考各开一间笔记房;last-loop 只有一间房,每轮把上一轮的内容擦掉重写——房子大小永远不变。
4️⃣ 一键开启:llama.cpp 中最小改动
llama.cpp 侧只需通过 --override-kv 改一个参数即可切换缓存模式。README 中默认示例(2 个 loop、推理开启)用的是 per-loop:
--override-kv "dory.num_loops=int:2,dory.recurrent_kv_cache_mode=str:per_loop"
把 per_loop 换成 last_loop,就把 KV 缓存占用压回 1-loop 水平:
--override-kv "dory.num_loops=int:2,dory.recurrent_kv_cache_mode=str:last_loop"
两个参数各司其职:
| 参数 | 作用 | 取值 |
|---|---|---|
dory.num_loops |
推理时 Recurrent 块重复次数,控制算力/精度 | 1 / 2 / 3 / 4 |
dory.recurrent_kv_cache_mode |
KV 缓存策略 | per_loop 或 last_loop |
📌 完整启动命令(含上下文大小、批处理、采样参数)见 README.md 的 Quick Start Guide 章节。注意:llama.cpp 需使用包含 Dory 支持的版本构建,README 中给出了 Apple Silicon 的完整构建步骤。
5️⃣ loop 数量怎么选:精度、算力与内存的三角权衡
既然 last-loop 缓存让"多 loop"几乎不再付出内存代价,loop 数的选择就回归到纯精度/算力权衡:
- 1 loop:最小化单 token 算力,追求极致吞吐;
- 2 loops:官方推荐的默认起点,绝大部分精度收益来自第 2 轮;
- 4 loops:精度优先,尤其适合 SWE-bench、Terminal-Bench 这类 agentic 任务。
下图是 Dory1.0-4B 的 AA v4.3.2 评分随 loop 数的变化,可以看到它在 k=2 时已越过 Gemma4-26B-A4B 水平,k=4 时逼近 20B+ 模型:
6️⃣ 额外红利:循环推理还帮你省生成 token
KV cache 的大小还会随生成 token 数增长,所以输出越短,运行时内存越省。循环推理恰好在这方面是"双管齐下":官方数据显示,随 loop 数增加,模型用更少的输出 token 就能解决同样的任务——Terminal-Bench 2.1 与 GDPval-AA-V2 在 k=4 时输出 token 仅约为 1-loop 的 50% 和 40%,SWE-bench Verified 也能省下约 1/4:
7️⃣ 小结:什么时候该用 last-loop?
| 你的场景 | 建议 |
|---|---|
| 显存紧张、需要长上下文或多并发 | ✅ 必用 last_loop,内存零开销 |
| 追求最高精度(2~4 loops) | ✅ last_loop + 高 loop,精度几乎不掉、内存不涨 |
| 严格对比每个中间 loop 的状态 | 才考虑 per_loop,并接受缓存随 loop 线性增长 |
一句话总结:Dory1.0-4B-GGUF 用 last-loop KV 缓存把"循环推理"最大的内存短板抹平——你可以放心地把 loop 开满换精度,而不必为 KV 缓存买单。想要完整参数与基准数据,阅读 README.md 即可。

