NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF的KV缓存优化详解:last-loop缓存如何让内存零开销

原创2026-10-21 09:37:091,385 阅读
文章标签:大模型本地部署人工智能

NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF的KV缓存优化详解:last-loop缓存如何让内存零开销

NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF 是 NVIDIA 循环式(looped)大模型 Dory1.0-4B 的 Q5_K_M 量化 GGUF 版本,本仓库提供模型文件与完整说明(见 README.md)。它的最大特点是 last-loop KV 缓存:不管推理时跑几个 loop,KV cache 内存开销始终与单 loop 持平——这就是本文要详解的"内存零开销"机制。

1️⃣ 先搞清楚:Dory1.0-4B 为什么需要特殊缓存

Dory1.0-4B 是一个 Looped(latent-recurrent)normalized-GPT 架构的 4B 模型:层栈被分成 Input(8 层)、Recurrent(20 层共享块)和 Output(8 层)三组,其中共享的 Recurrent 块会在推理时重复执行 k 次(k 为 loop 数量,可选 1/2/3/4)。

这种"循环"设计带来两个核心能力:

  • 弹性推理算力:同一个 checkpoint 通过改变 loop 次数即可在"速度↔精度"之间权衡,无需重新训练或换模型;
  • Token 效率:更多算力花在潜空间"思考"上,而不是输出更长的文本,解决同样任务所需的生成 token 更少。

本仓库包含可直接被 llama.cpp 加载的模型文件 NVIDIA-Nemotron-Labs-Dory1.0-4B-Q5_K_M.gguf,支持最长 256K token 上下文,适合用小体积模型做通用推理。

2️⃣ 问题所在:per-loop 缓存让内存随 loop 数线性膨胀

标准循环推理有一个"隐藏成本":共享的是权重,不共享的是 KV cache。默认模式(per_loop)下,每一个 loop 都会为每层 recurrent attention 单独存一份 KV 缓存,于是:

模式 loop=1 loop=2 loop=4
per_loop(每 loop 独立缓存) 1× 2× 4×
last_loop(仅保留末轮缓存) 1× 1× 1×

也就是说,loop 数翻 4 倍,KV 缓存内存也跟着翻 4 倍——对于 4B 模型来说并不夸张,但在长上下文或多并发场景下会明显挤压可用显存。

3️⃣ last-loop KV 缓存:零内存开销的实现思路

Dory 支持的 last-loop KV caching 思路非常简洁:

  • 每个 recurrent attention 层只保留一份 KV 缓存;
  • 每一轮 loop 计算出的 K/V 直接覆盖上一轮的条目;
  • 推理结束时,缓存里只保留最后(final)一轮 loop 的 keys 和 values。

效果就是:无论 loop 数量是多少,KV 缓存占用都锁定在 1-loop 的大小,相对同等非循环模型没有任何额外 KV cache 开销。省下来的显存可以直接换成长上下文(--ctx-size)或更多并发请求。

⚡ 直观理解:per-loop 像给每一轮思考各开一间笔记房;last-loop 只有一间房,每轮把上一轮的内容擦掉重写——房子大小永远不变。

4️⃣ 一键开启:llama.cpp 中最小改动

llama.cpp 侧只需通过 --override-kv 改一个参数即可切换缓存模式。README 中默认示例(2 个 loop、推理开启)用的是 per-loop:

--override-kv "dory.num_loops=int:2,dory.recurrent_kv_cache_mode=str:per_loop"

把 per_loop 换成 last_loop,就把 KV 缓存占用压回 1-loop 水平:

--override-kv "dory.num_loops=int:2,dory.recurrent_kv_cache_mode=str:last_loop"

两个参数各司其职:

参数 作用 取值
dory.num_loops 推理时 Recurrent 块重复次数,控制算力/精度 1 / 2 / 3 / 4
dory.recurrent_kv_cache_mode KV 缓存策略 per_loop 或 last_loop

📌 完整启动命令(含上下文大小、批处理、采样参数)见 README.md 的 Quick Start Guide 章节。注意:llama.cpp 需使用包含 Dory 支持的版本构建,README 中给出了 Apple Silicon 的完整构建步骤。

5️⃣ loop 数量怎么选:精度、算力与内存的三角权衡

既然 last-loop 缓存让"多 loop"几乎不再付出内存代价,loop 数的选择就回归到纯精度/算力权衡:

  • 1 loop:最小化单 token 算力,追求极致吞吐;
  • 2 loops:官方推荐的默认起点,绝大部分精度收益来自第 2 轮;
  • 4 loops:精度优先,尤其适合 SWE-bench、Terminal-Bench 这类 agentic 任务。

下图是 Dory1.0-4B 的 AA v4.3.2 评分随 loop 数的变化,可以看到它在 k=2 时已越过 Gemma4-26B-A4B 水平,k=4 时逼近 20B+ 模型:

Dory1.0-4B 循环LLM不同loop数量下的AA评分对比:k=1/2/4 对应 13.8/17.7/18.4 分,last-loop KV缓存让高loop不增加KV内存

6️⃣ 额外红利:循环推理还帮你省生成 token

KV cache 的大小还会随生成 token 数增长,所以输出越短,运行时内存越省。循环推理恰好在这方面是"双管齐下":官方数据显示,随 loop 数增加,模型用更少的输出 token 就能解决同样的任务——Terminal-Bench 2.1 与 GDPval-AA-V2 在 k=4 时输出 token 仅约为 1-loop 的 50% 和 40%,SWE-bench Verified 也能省下约 1/4:

Dory1.0-4B循环推理输出token节省图:k=2/k=4时各基准任务生成token降至1-loop的0.40x到0.80x,配合last-loop KV缓存进一步降低内存占用

7️⃣ 小结:什么时候该用 last-loop?

你的场景 建议
显存紧张、需要长上下文或多并发 ✅ 必用 last_loop,内存零开销
追求最高精度(2~4 loops) ✅ last_loop + 高 loop,精度几乎不掉、内存不涨
严格对比每个中间 loop 的状态 才考虑 per_loop,并接受缓存随 loop 线性增长

一句话总结:Dory1.0-4B-GGUF 用 last-loop KV 缓存把"循环推理"最大的内存短板抹平——你可以放心地把 loop 开满换精度,而不必为 KV 缓存买单。想要完整参数与基准数据,阅读 README.md 即可。

登录后查看全文
NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF