71.5x Token 节省可信吗?claude-code-memory-setup 基准测试协议与证据审计深度解析
71.5x Token 节省可信吗?claude-code-memory-setup 基准测试协议与证据审计深度解析
claude-code-memory-setup 是面向 Claude Code 的持久记忆方案:用 Obsidian 笔记本保存项目决策,用 Graphify 代码知识图谱替代重复读取源码,宣称每会话 Token 消耗最多降低 71.5 倍。这个数字可信吗?本文基于仓库自带的 benchmarks/README.md 证据审计(2026-10-07 完成),拆解 71.5x 与 499x 两个数字的来源、可复现边界,以及一套真正可重跑的六步成对基准测试协议。
一、结论先行:算术可复现,实测不可复现 📊
审计团队检查了全部已跟踪文件、完整 Git 历史和 issue #12,对三个关键数字的判定如下:
| 声明 | 最早的公开证据 | 现在能复现什么 |
|---|---|---|
| 每会话少用 71.5x Token | 2026-04-12 的初始 README(commit ad8e4ef) |
仅"声明存在于历史中",没有任何会话用量账本 |
| 读 ~40 个文件约 20,000 Token,查图谱只要 280 Token | 2026-04-12 的完整葡语指南(commit 884ee58) |
仅算术:20,000 ÷ 280 ≈ 71.43x,即约 98.6% 的上下文减少(在该假设下) |
| 每查询 499x(React + Supabase,126 个 TS 文件) | 同上 | 仅有声明和库存清单;无基线/图谱 Token 计数、无原始问题与答案、无 tokenizer、无原始记录 |
审计的最终判定(benchmarks/README.md 末段)一句话概括:
目前没有任何历史 Token 节省比率能从已发布的工件中复现。 算术插图可复现;经验性的查询与会话节省需要下文协议中的输入与采集。未进行任何付费运行,也不宣称替代性能数字。
二、数字溯源:71.5x 是"长"出来的吗?🔍
沿 Git 历史梳理时间线:
| 时间 | 事件 |
|---|---|
| 2026-04-12 | v0.1.0 初始指南发布,71.5x 与 499x 首次出现 |
| 2026-04-12(同日) | 英文翻译提交 09ddc0f,随后 a444d64 将其设为主 README |
| 2026-09-10 | v1.0.0:自动保存钩子、聊天导入脚本正式发布 |
| 2026-10-07 | 证据审计完成,检查对象为 main 的 a89c275 |
审计揭示了三个关键疑点:
- 数值高度接近,但推不出来。 71.5x 与 20,000 ÷ 280 = 71.4285… 非常接近,暗示存在关联——但历史记录并未证明这组推导关系。
- 精度不匹配。 输入 "~20,000" 和 "~280" 都是约数,约数除法得不到 71.5 这种额外精度的结果(原文:rounded inputs cannot justify the extra precision)。
- 两个场景不能混用。 40 文件的"插图"和 126 文件的"项目报告"是两个不同场景,审计明确要求不得合并计算。
此外,126 文件项目的库存数据(332 节点、258 边、124 社区、172 KB 的 graph.json、456 张 Obsidian 笔记、137 条导入聊天)全部是作者自报,背后的源码快照、图谱和对话记录均未发布。
三、测量边界:先分清三种"省 Token"的口径
审计把"省 Token"拆成三层,每层有严格定义(benchmarks/README.md#L26-L32):
1. Retrieval payload(检索载荷)
只统计返回给 agent 的确切文本(含文件名、包装器、截断),并使用命名、带版本号的 tokenizer 计数。注意:字节数、字符数、文件数都不是 Token;且这层永远只能叫"载荷对比",不能叫会话节省。
2. Query(查询级)
要回答一个固定问题所需的全部模型请求与工具步骤——包括重试、图谱检索和回退源码读取。输入输出分开报告,且必须比较同等完整度的正确答案:更短但答错的任务是失败,不是节省。
3. Session(会话级)
从干净启动到相同顺序任务清单完成并保存,累加所有请求的用量:指令、vault 读取、重发对话历史、图谱查询、源码编辑、重试、保存操作。绝不能从检索载荷比率推断会话总量。
另外两条硬规则:
- 图谱/vault 的构建与增量更新成本单独入账(AST 模式可省掉 LLM 生成调用,但读取其输出仍消耗模型上下文);
- Token 减少 ≠ 美元减少:缓存输入、模型单价、输出 Token 与订阅计费各不相同。
四、六步成对基准协议:如何真正重跑这个实验
协议核心是"成对双臂"设计:同一问题、同一模型,一组用纯源码导航(baseline),一组加图谱与 vault(memory),反复对比。完整六步(benchmarks/README.md#L36-L41):
- 钉死输入:选定公共 fixture 仓库并固定完整 commit SHA;发布文件包含/排除清单、快照哈希;固定 Python、Graphify、Claude Code 版本、模型标识、tokenizer、OS 和全部命令。
- 冻结任务集:运行任何一组之前先冻结
tasks.json,每条含 ID、逐字 prompt、验收标准、允许工具、步数上限与超时;任务需覆盖结构、行为与编辑三类,并包含一个必须回退源码的任务。 - 设置双臂:baseline 臂用普通搜索/读取工具,无图谱无 vault;memory 臂同源同工具加图谱与 vault;模型、prompt、限制保持一致。
- 重复与隔离:每个任务在新隔离会话中运行;成对重复至少 5 轮并交替双臂顺序;冷/热缓存分开跑;失败与超时不得静默剔除,成功率与失败运行用量单独报告。
- 用量账本:保存请求/响应日志与 provider 用量对象,每次模型请求归一化为一行 JSONL,含
scope(query/session)、pair、arm(baseline/memory)、request_id和恰好四个互不重叠的非负整数字段(见 benchmarks/summarize.py#L7):
{"scope":"query","pair":"p1","arm":"baseline","request_id":"b1",
"usage":{"input_uncached":100,"input_cache_read":20,
"input_cache_write":10,"output":10}}
关键原则:未知或缺失是"missing data",永远不能记 0;0 表示实测为零。
- 汇总与发布:用离线汇总器计算每对结果、中位数与区间,发布全部失败及用量;查询级与会话级分析永不加总。
五、summarize.py 与合成样例:只验证算术,不冒充结果 ✅
仓库附带一个纯离线脚本 benchmarks/summarize.py,它绝不调用任何模型,只验证配对完整性、基础计数与重复 ID,然后输出 baseline / memory 倍率和 100 × (1 − memory / baseline) 降幅;比值无法定义时为 null 而非报错。
配套合成样例 benchmarks/example.synthetic.jsonl 只有两行记录,算出 140 vs 70(2x、50% 降幅):
# 离线管道自检:虚构数字,不是项目基准结果
python3 benchmarks/summarize.py benchmarks/example.synthetic.jsonl
注意它的自我声明:该样例不调用 Graphify 或任何模型,不构成对本项目节省效果的任何证据——它的唯一用途是证明汇总管道算术正确。这是基准工程里值得学习的"诚实标注"。
六、常见误读清单:6 个容易踩的坑 ⚠️
- 第三方评分 ≠ Token 验证。 issue #12(2026-07-20 开启)报告了 82/100 分,但审计时该 issue 无任何评论,且 Hlido passport 上标注的评审日期是 2026-07-16——与审计请求中给出的 9 月 24 日不一致,评审原文页面在审计期间也无法访问。没有任何可访问来源提供 71.5x 或 499x 的复现数据,不要把这个分数当作任一比率的验证。
- "0 tokens"只指图谱生成。 报告称图谱生成 LLM 用量为 0(AST 模式),这排除了 agent 读取、查询与会话消耗,不等于整个流程免费。
- 载荷比率 ≠ 会话节省。 ~280 Token 的图谱查询输出是"检索上下文",不是整次会话的用量。
- 40 文件插图 ≠ 126 文件报告。 两个场景的数据混用会放大数字。
- Token 比率 ≠ 美元比率。 缓存命中、不同模型单价与订阅制会改变实际账单影响。
- "无公开证据" ≠ "声明为假"。 审计明确定位自身:这是 absence-of-public-evidence finding,不是证伪。
七、诚实的结论
- 能得出的:71.5x 大概率源自 20,000/280 ≈ 71.43 的检索载荷对比(算术层面);项目在 v1.0.0 后已主动给所有历史数字加上"作者自报、不可复现"的限定语(见 README.md#L3 与 README.md#L656-L662),并发布了可复现的测量协议——这在同类"省 Token"项目里相当少见。
- 不能得出的:在补齐公开 fixture、冻结任务集、成对重复与完整用量账本之前,71.5x/session 与 499x/query 都只是待验证声明。
- 对你的意义:如果你是想评估该方案是否值得部署,记忆持久化(Obsidian + /resume + /save + 自动保存钩子 scripts/session_autosave.py)的收益是确定的工程改进;而"省多少 Token"应等你自己的会话账本说话,协议已替你设计好。
八、相关文件导航 📁
| 文件 | 说明 |
|---|---|
| benchmarks/README.md | 证据审计全文:声明溯源、日期矛盾、测量边界、六步协议 |
| benchmarks/summarize.py | 离线用量汇总器(四字段 schema、配对校验) |
| benchmarks/example.synthetic.jsonl | 合成账本样例(仅验证算术) |
| README.md | 完整设置指南(Obsidian / 聊天导入 / Graphify / 钩子) |
| CHANGELOG.md | 版本时间线(0.1.0 → 1.0.0) |
| scripts/README.md | 聊天导入脚本说明 |
| scripts/claude_to_obsidian.py | 聊天 → vault 处理器 |
| scripts/sync_claude_obsidian.sh | 自动化同步脚本 |