告别 KV Cache 内存焦虑:Dory1.0-4B 的 last_loop 缓存模式深度解析

原创2026-10-19 13:03:461,904 阅读
文章标签:人工智能大模型基础模型

告别 KV Cache 内存焦虑:Dory1.0-4B 的 last_loop 缓存模式深度解析

NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 是 NVIDIA 发布的 4B 参数循环(looped)大语言模型,其最大亮点之一 last_loop KV 缓存模式让 KV Cache 内存占用与循环次数完全无关——无论跑 1 圈还是 4 圈,显存占用始终等于"1 圈"大小,帮你彻底告别 KV Cache 内存焦虑。

1. 为什么 KV Cache 会让循环模型"显存爆炸"?

如果你用过 vLLM 或 llama.cpp,肯定被 KV Cache 的显存占用折磨过。先科普两个背景概念:

  • KV Cache:模型每生成一个 token,注意力层都会把 Key/Value 向量缓存下来,避免重复计算。缓存大小随上下文长度线性增长,是长文本推理的显存大户。
  • 循环(looped)架构:Dory1.0-4B 不是把 72 层网络一次性跑完,而是共享一块"循环层"反复执行多次。这样每个 token 可以花更多算力"深度思考",4B 的小模型也能逼近更大模型的效果。

问题就出在这里:传统循环推理会为每一次循环各存一份 KV Cache。循环 4 次,显存里就是 4 份缓存,循环次数越多、KV Cache 越大,长上下文 + 高并发场景下直接爆显存。

Dory KV Cache 内存优化:last_loop 模式下缓存占用不随循环次数增长,与等效非循环模型相当

📌 上图是 Dory1.0-4B 不同循环次数下的综合能力对比(AA v4.3.2 估计分):1 圈 13.8 分、2 圈 17.7 分、4 圈 18.4 分,已反超 Gemma4-26B-A4B 等大得多的模型。循环次数值得加,而 last_loop 模式正好抹掉了加循环的"内存代价"。

2. last_loop 模式原理:只保留最后一圈的 KV Cache

Dory 的 KV Cache 由参数 recurrent_kv_cache_mode 控制,共两种模式:

模式 行为 内存占用
per_loop 每个循环各存一份独立 KV Cache 随循环次数线性增长(4 圈 = 4 倍)
last_loop ⭐ 只保留最后一圈的 KV Cache,每圈覆盖上一圈的条目 恒定,任意循环次数下都等于 1 圈的大小

原理一句话:循环块里各圈的 KV 本来就可以互相覆盖,last_loop 模式让新圈直接覆写旧圈的 Key/Value,缓存中最终只留下最后一圈的结果。于是模型获得了多圈循环带来的推理能力,却不用为它支付任何额外 KV Cache 开销——README.md 中官方描述为:"regardless of the inference loop count"(与推理循环次数无关)。

从 config.json 可以看到该架构的配置:n_recurrent_loops 默认 2,循环块含 40 层(n_recurrent_layers),另有 16 层输入块和 16 层输出块,最大上下文 262144(256K)token。

Dory1.0-4B 循环次数与输出 token 数量关系图:循环越多,完成相同任务所需生成 token 越少

📌 上图进一步说明"循环"的价值:圈数从 1 加到 4,在 SWE-bench Verified 上单题输出 token 降至 0.77x,在 GDPval-AA-V2 上甚至降到 0.40x。更多圈 = 更短输出 = 更少的 KV Cache 增量,与 last_loop 的"恒定缓存"形成双重省内存效果。

3. 一键开启 last_loop 缓存:vLLM 与 llama.cpp 配置

vLLM 最快配置方法

vLLM 通过 --hf-overrides 传入参数,把 recurrent_kv_cache_mode 设为 "last_loop" 即可:

vllm serve --model nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 \
    --hf-overrides '{"n_recurrent_loops": 2, "recurrent_kv_cache_mode": "last_loop"}' \
    --max-model-len 262144 \
    --enable-prefix-caching

对比默认命令("per_loop"),只改了一个参数值,但 KV Cache 上限从"2 倍"降回"1 倍",省下的容量可以分给更长的上下文或更多并发请求。

llama.cpp 本地部署配置

llama.cpp 端用 --override-kv 指定同样的两个参数:

--override-kv "dory.num_loops=int:2,dory.recurrent_kv_cache_mode=str:last_loop"

dory.num_loops 支持 1/2/3/4,建议从 2 圈起步;追求精度(如代码/Agent 任务)可加到 4 圈——在 last_loop 模式下,这个"加圈"动作不花一分钱显存。

4. 精度损失大吗?官方实验怎么说?

选缓存模式前大家最担心精度。官方给出的结论很友好:

"In our experiments, the accuracy with last-loop caching stays close to the per-loop mode with nearly unchanged output lengths."

——启用 last_loop 缓存后,精度与 per_loop 模式非常接近,输出长度也几乎不变。

翻译成人话:用不到 1% 的精度风险,换 50%(4 圈场景)的 KV Cache 显存节省,这笔账非常划算。

5. 新手选型建议清单 🎯

你的场景 推荐配置 理由
显存紧张 / 高并发服务 last_loop + 2 圈 缓存恒定,精度损失极小
长上下文(256K)推理 last_loop + 2~4 圈 省下的 KV Cache 容量全部让给上下文
本地 Apple Silicon / 低配机 last_loop + 1~2 圈 缓存最小,配合 Q5_K_M 量化更省内存
极限精度优先 per_loop + 4 圈 每圈独立缓存,理论上上限最高

6. 小结

  • 核心关键词回顾:NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16、last_loop KV 缓存、循环推理(looped LLM)、recurrent_kv_cache_mode
  • 最大收益:KV Cache 占用与循环次数解耦,4 圈推理也只要 1 圈的缓存
  • 代价:精度几乎无损,输出长度基本不变
  • 上手成本:只需改一个参数值,"per_loop" → "last_loop"

想让 4B 小模型跑出大模型的思考深度,又不想为 KV Cache 扩容买单?last_loop 就是 Dory1.0-4B 给你的标准答案。

登录后查看全文
NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16