gputaskman diff实战:大模型换上下文后,究竟是哪个内存桶在增长
gputaskman diff实战:大模型换上下文后,究竟是哪个内存桶在增长
gputaskman 是一个跨 Windows、Linux 和 WSL 的终端 GPU 任务管理器,能按进程显示 VRAM 占用、GPU 引擎负载,以及大模型的权重 / KV cache 分解。当任务管理器只告诉你“已用 15 GB”时,gputaskman diff 子命令会直接回答:换了上下文长度之后,到底是哪个内存桶(VRAM、Spill、Paged)在增长——对比两次 --json 快照即可,几分钟上手。
先看三个内存桶:VRAM、Spill、Paged 🎯
在开始 diff 之前,先弄清 gputaskman 里每个进程行展示的三列内存含义(见 README.md 的 “DWM, Spill, and Paged” 一节):
| 内存桶 | 含义 | 注意 |
|---|---|---|
| VRAM | 显卡显存(dedicated)占用 | 实测值,可求和 |
| Spill | GPU 可访问的系统内存(shared / in system RAM) | 不代表“被挤出显存”,可能是故意分配的 host 缓冲 |
| Paged | 非驻留提交的估算值 | 是 max(Total Committed - Local - Non Local, 0) 的估算,不是换页记录 |
换上下文长度(比如 llama-server 的 -c 参数)时,理论上增长的是 KV cache,它落在哪个桶里?diff 就是用来验证这件事的。
三步完整操作:diff 大模型上下文变化 🚀
# 1. 换上下文前,存一份 JSON 快照
gputaskman --json > before.json
# 2. 重启推理服务,把 -c 4096 改成 -c 32768,等它回答完一个请求
gputaskman --json > after.json
# 3. 对比两份快照(加 --json 可得到机器可读输出)
gputaskman diff before.json after.json
💡 两个小经验:
- after 快照要在模型回答完一个请求之后再取。CUDA / Vulkan 可能延迟分配,内存分配器还会缓存已释放的内存,收缩也可能滞后出现。
- 快照里 Windows PowerShell 5.1 的
>重定向是 UTF-16 编码,diff读取时会自动识别(见 diff.py 的load函数),两种 shell 都可以放心用。
读懂 diff 输出:谁涨了、涨了多少、只是估算吗 📊
diff 的输出分三部分,对应三层证据强度:
- DEVICE (measured):设备级实测计数器对比——dedicated used、shared used、attributed to processes、unattributed。
- PROCESSES 表格:每个有变化的进程一行,含
PID(PID 变化会显示2->22这种形式)、MATCH(配对方式)、BEFORE / AFTER / CHANGE 和SHARED +/-。 - 进程细节行:上下文长度与内存分段,例如:
context length 4096 -> 32768
kv 0.50 GB -> 4.00 GB +3.50 GB estimated
关键是理解这条规则:只有实测计数器参与加总对比;运行时报告的段(如 llama.cpp 的 buffer 日志)和估算值(由 GGUF 元数据推算的 KV cache)单独列出,绝不并入实测总计。一个官方实测例子很能说明问题:在 RTX 4080 SUPER 上,Vulkan 版 llama-server 加载 gemma-3-270m,把 -c 4096 改成 -c 32768 后,估算的 KV cache 增长 +504 MB,但服务器实测的 dedicated 内存只涨了 +83 MB——因为 Gemma 3 用滑动窗口注意力,估算值只是上界。diff 把这个差距明明白白展示出来,而不是替你藏起来。
图中的 inspector 面板展示 weights / KV cache / compute buffers 的分解——这正是 diff 里
segments数据的可视化版本。
进程怎么对上号?
换上下文通常意味着重启服务,PID 会变。diff 的配对规则(diff.py 的 match 函数,测试见 tests/test_diff.py)按顺序尝试:
- PID 相同(且
started_at启动时间相差不超过 2 秒,防止 PID 复用被误配); - 进程名 + 监听端口 都唯一匹配;
- 唯一进程名。
某个进程在某份快照里缺失时显示 not listed(表示没运行或 GPU 占用太小未被列出),而不是 0;变动小于 16 MB 的进程会从文本输出隐藏(--json 里仍保留),因为那通常是分配器和合成器的噪声,不是模型加载。另外两份快照的 GPU 会先做身份核对(PCI 地址 / 适配器 key / 仅名称),冲突时会直接报错拒绝比较。
顺便排查 Spill 桶:显存快满时看这里 ⚡
如果你的模型进程 VRAM 接近满载、推理变慢,值得按 Spill 列排序看一次 TUI(按 s 循环切换排序)。Spill 高 + 显存接近满,往往提示内存回退、推理变慢——但计数器本身不能证明为什么分配了它。
diff 里每行的 SHARED +/- 列对应的就是 Spill 桶(shared_bytes)的变化,可以确认增长到底发生在显存还是系统内存侧。
长会话实战:record + diff 组合拳 ⏱️
换上下文只是瞬间操作,而训练任务、夜间挂机服务器这类长会话可以用 record 持续采样:
# 每 5 秒追加一条 --json 快照,录满 5 分钟(Linux/WSL/macOS 示例)
gputaskman record -o session.jsonl --interval 5 --duration 300
# 取首尾两行做 diff
head -n 1 session.jsonl > first.json
tail -n 1 session.jsonl > last.json
gputaskman diff first.json last.json
# Windows 上用 Get-Content 代替 head/tail
Get-Content session.jsonl -TotalCount 1 | Set-Content first.json
Get-Content session.jsonl -Tail 1 | Set-Content last.json
gputaskman diff first.json last.json
每一行都是完整的 --json 快照,测量值、推断值和估算值的标签保持一致;文件只追加不覆盖,Ctrl+C 或进程被杀都能保住已写入的样本(实现见 record.py)。52 个进程的快照约 27 KB,长任务建议 --interval 5 以上控制体积。
小结:一张清单带走 ✅
| 场景 | 命令 |
|---|---|
| 存一份快照 | gputaskman --json > snap.json |
| 对比换上下文前后 | gputaskman diff before.json after.json |
| 机器可读对比 | 追加 --json |
| 长会话持续记录 | gputaskman record -o session.jsonl --interval 5 |
| 查看多张卡 | gputaskman --list-gpus 后加 --gpu N |
- 实测桶(VRAM/Spill/Paged)才进总计;
estimated/runtime-reported的段只是参考,别直接相加。 - 估算的 KV cache 是上界,滑动窗口注意力等架构会让实测远小于估算,这正是 diff 的价值。
- 快照里可能包含路径、命令行、模型名和本地端口,公开发布前记得审查脱敏。
源码索引:对比核心逻辑在 src/gputaskman/diff.py,diff / record 子命令入口在 src/gputaskman/cli.py,录制逻辑在 src/gputaskman/record.py,行为规则与实测案例详见 README.md 的 “Comparing snapshots” 与 “Recording a session” 两节。

