告别 KV Cache 内存焦虑:Dory1.0-4B 的 last_loop 缓存模式深度解析
告别 KV Cache 内存焦虑:Dory1.0-4B 的 last_loop 缓存模式深度解析
NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 是 NVIDIA 发布的 4B 参数循环(looped)大语言模型,其最大亮点之一 last_loop KV 缓存模式让 KV Cache 内存占用与循环次数完全无关——无论跑 1 圈还是 4 圈,显存占用始终等于"1 圈"大小,帮你彻底告别 KV Cache 内存焦虑。
1. 为什么 KV Cache 会让循环模型"显存爆炸"?
如果你用过 vLLM 或 llama.cpp,肯定被 KV Cache 的显存占用折磨过。先科普两个背景概念:
- KV Cache:模型每生成一个 token,注意力层都会把 Key/Value 向量缓存下来,避免重复计算。缓存大小随上下文长度线性增长,是长文本推理的显存大户。
- 循环(looped)架构:Dory1.0-4B 不是把 72 层网络一次性跑完,而是共享一块"循环层"反复执行多次。这样每个 token 可以花更多算力"深度思考",4B 的小模型也能逼近更大模型的效果。
问题就出在这里:传统循环推理会为每一次循环各存一份 KV Cache。循环 4 次,显存里就是 4 份缓存,循环次数越多、KV Cache 越大,长上下文 + 高并发场景下直接爆显存。
📌 上图是 Dory1.0-4B 不同循环次数下的综合能力对比(AA v4.3.2 估计分):1 圈 13.8 分、2 圈 17.7 分、4 圈 18.4 分,已反超 Gemma4-26B-A4B 等大得多的模型。循环次数值得加,而 last_loop 模式正好抹掉了加循环的"内存代价"。
2. last_loop 模式原理:只保留最后一圈的 KV Cache
Dory 的 KV Cache 由参数 recurrent_kv_cache_mode 控制,共两种模式:
| 模式 | 行为 | 内存占用 |
|---|---|---|
per_loop |
每个循环各存一份独立 KV Cache | 随循环次数线性增长(4 圈 = 4 倍) |
last_loop ⭐ |
只保留最后一圈的 KV Cache,每圈覆盖上一圈的条目 | 恒定,任意循环次数下都等于 1 圈的大小 |
原理一句话:循环块里各圈的 KV 本来就可以互相覆盖,last_loop 模式让新圈直接覆写旧圈的 Key/Value,缓存中最终只留下最后一圈的结果。于是模型获得了多圈循环带来的推理能力,却不用为它支付任何额外 KV Cache 开销——README.md 中官方描述为:"regardless of the inference loop count"(与推理循环次数无关)。
从 config.json 可以看到该架构的配置:n_recurrent_loops 默认 2,循环块含 40 层(n_recurrent_layers),另有 16 层输入块和 16 层输出块,最大上下文 262144(256K)token。
📌 上图进一步说明"循环"的价值:圈数从 1 加到 4,在 SWE-bench Verified 上单题输出 token 降至 0.77x,在 GDPval-AA-V2 上甚至降到 0.40x。更多圈 = 更短输出 = 更少的 KV Cache 增量,与 last_loop 的"恒定缓存"形成双重省内存效果。
3. 一键开启 last_loop 缓存:vLLM 与 llama.cpp 配置
vLLM 最快配置方法
vLLM 通过 --hf-overrides 传入参数,把 recurrent_kv_cache_mode 设为 "last_loop" 即可:
vllm serve --model nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 \
--hf-overrides '{"n_recurrent_loops": 2, "recurrent_kv_cache_mode": "last_loop"}' \
--max-model-len 262144 \
--enable-prefix-caching
对比默认命令("per_loop"),只改了一个参数值,但 KV Cache 上限从"2 倍"降回"1 倍",省下的容量可以分给更长的上下文或更多并发请求。
llama.cpp 本地部署配置
llama.cpp 端用 --override-kv 指定同样的两个参数:
--override-kv "dory.num_loops=int:2,dory.recurrent_kv_cache_mode=str:last_loop"
dory.num_loops 支持 1/2/3/4,建议从 2 圈起步;追求精度(如代码/Agent 任务)可加到 4 圈——在 last_loop 模式下,这个"加圈"动作不花一分钱显存。
4. 精度损失大吗?官方实验怎么说?
选缓存模式前大家最担心精度。官方给出的结论很友好:
"In our experiments, the accuracy with last-loop caching stays close to the per-loop mode with nearly unchanged output lengths."
——启用 last_loop 缓存后,精度与 per_loop 模式非常接近,输出长度也几乎不变。
翻译成人话:用不到 1% 的精度风险,换 50%(4 圈场景)的 KV Cache 显存节省,这笔账非常划算。
5. 新手选型建议清单 🎯
| 你的场景 | 推荐配置 | 理由 |
|---|---|---|
| 显存紧张 / 高并发服务 | last_loop + 2 圈 |
缓存恒定,精度损失极小 |
| 长上下文(256K)推理 | last_loop + 2~4 圈 |
省下的 KV Cache 容量全部让给上下文 |
| 本地 Apple Silicon / 低配机 | last_loop + 1~2 圈 |
缓存最小,配合 Q5_K_M 量化更省内存 |
| 极限精度优先 | per_loop + 4 圈 |
每圈独立缓存,理论上上限最高 |
6. 小结
- 核心关键词回顾:NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16、last_loop KV 缓存、循环推理(looped LLM)、
recurrent_kv_cache_mode - 最大收益:KV Cache 占用与循环次数解耦,4 圈推理也只要 1 圈的缓存
- 代价:精度几乎无损,输出长度基本不变
- 上手成本:只需改一个参数值,
"per_loop"→"last_loop"
想让 4B 小模型跑出大模型的思考深度,又不想为 KV Cache 扩容买单?last_loop 就是 Dory1.0-4B 给你的标准答案。

