71.5x Token 节省可信吗?claude-code-memory-setup 基准测试协议与证据审计深度解析

原创2026-10-16 22:12:551,427 阅读
文章标签:AI 应用Agent 记忆知识管理Prompt 模板教程

71.5x Token 节省可信吗?claude-code-memory-setup 基准测试协议与证据审计深度解析

claude-code-memory-setup 是面向 Claude Code 的持久记忆方案:用 Obsidian 笔记本保存项目决策,用 Graphify 代码知识图谱替代重复读取源码,宣称每会话 Token 消耗最多降低 71.5 倍。这个数字可信吗?本文基于仓库自带的 benchmarks/README.md 证据审计(2026-10-07 完成),拆解 71.5x 与 499x 两个数字的来源、可复现边界,以及一套真正可重跑的六步成对基准测试协议。

一、结论先行:算术可复现,实测不可复现 📊

审计团队检查了全部已跟踪文件、完整 Git 历史和 issue #12,对三个关键数字的判定如下:

声明 最早的公开证据 现在能复现什么
每会话少用 71.5x Token 2026-04-12 的初始 README(commit ad8e4ef) 仅"声明存在于历史中",没有任何会话用量账本
读 ~40 个文件约 20,000 Token,查图谱只要 280 Token 2026-04-12 的完整葡语指南(commit 884ee58) 仅算术:20,000 ÷ 280 ≈ 71.43x,即约 98.6% 的上下文减少(在该假设下)
每查询 499x(React + Supabase,126 个 TS 文件) 同上 仅有声明和库存清单;无基线/图谱 Token 计数、无原始问题与答案、无 tokenizer、无原始记录

审计的最终判定(benchmarks/README.md 末段)一句话概括:

目前没有任何历史 Token 节省比率能从已发布的工件中复现。 算术插图可复现;经验性的查询与会话节省需要下文协议中的输入与采集。未进行任何付费运行,也不宣称替代性能数字。

二、数字溯源:71.5x 是"长"出来的吗?🔍

沿 Git 历史梳理时间线:

时间 事件
2026-04-12 v0.1.0 初始指南发布,71.5x 与 499x 首次出现
2026-04-12(同日) 英文翻译提交 09ddc0f,随后 a444d64 将其设为主 README
2026-09-10 v1.0.0:自动保存钩子、聊天导入脚本正式发布
2026-10-07 证据审计完成,检查对象为 main 的 a89c275

审计揭示了三个关键疑点:

  1. 数值高度接近,但推不出来。 71.5x 与 20,000 ÷ 280 = 71.4285… 非常接近,暗示存在关联——但历史记录并未证明这组推导关系。
  2. 精度不匹配。 输入 "~20,000" 和 "~280" 都是约数,约数除法得不到 71.5 这种额外精度的结果(原文:rounded inputs cannot justify the extra precision)。
  3. 两个场景不能混用。 40 文件的"插图"和 126 文件的"项目报告"是两个不同场景,审计明确要求不得合并计算。

此外,126 文件项目的库存数据(332 节点、258 边、124 社区、172 KB 的 graph.json、456 张 Obsidian 笔记、137 条导入聊天)全部是作者自报,背后的源码快照、图谱和对话记录均未发布。

三、测量边界:先分清三种"省 Token"的口径

审计把"省 Token"拆成三层,每层有严格定义(benchmarks/README.md#L26-L32):

1. Retrieval payload(检索载荷)

只统计返回给 agent 的确切文本(含文件名、包装器、截断),并使用命名、带版本号的 tokenizer 计数。注意:字节数、字符数、文件数都不是 Token;且这层永远只能叫"载荷对比",不能叫会话节省。

2. Query(查询级)

要回答一个固定问题所需的全部模型请求与工具步骤——包括重试、图谱检索和回退源码读取。输入输出分开报告,且必须比较同等完整度的正确答案:更短但答错的任务是失败,不是节省。

3. Session(会话级)

从干净启动到相同顺序任务清单完成并保存,累加所有请求的用量:指令、vault 读取、重发对话历史、图谱查询、源码编辑、重试、保存操作。绝不能从检索载荷比率推断会话总量。

另外两条硬规则:

  • 图谱/vault 的构建与增量更新成本单独入账(AST 模式可省掉 LLM 生成调用,但读取其输出仍消耗模型上下文);
  • Token 减少 ≠ 美元减少:缓存输入、模型单价、输出 Token 与订阅计费各不相同。

四、六步成对基准协议:如何真正重跑这个实验

协议核心是"成对双臂"设计:同一问题、同一模型,一组用纯源码导航(baseline),一组加图谱与 vault(memory),反复对比。完整六步(benchmarks/README.md#L36-L41):

  1. 钉死输入:选定公共 fixture 仓库并固定完整 commit SHA;发布文件包含/排除清单、快照哈希;固定 Python、Graphify、Claude Code 版本、模型标识、tokenizer、OS 和全部命令。
  2. 冻结任务集:运行任何一组之前先冻结 tasks.json,每条含 ID、逐字 prompt、验收标准、允许工具、步数上限与超时;任务需覆盖结构、行为与编辑三类,并包含一个必须回退源码的任务。
  3. 设置双臂:baseline 臂用普通搜索/读取工具,无图谱无 vault;memory 臂同源同工具加图谱与 vault;模型、prompt、限制保持一致。
  4. 重复与隔离:每个任务在新隔离会话中运行;成对重复至少 5 轮并交替双臂顺序;冷/热缓存分开跑;失败与超时不得静默剔除,成功率与失败运行用量单独报告。
  5. 用量账本:保存请求/响应日志与 provider 用量对象,每次模型请求归一化为一行 JSONL,含 scope(query/session)、pair、arm(baseline/memory)、request_id 和恰好四个互不重叠的非负整数字段(见 benchmarks/summarize.py#L7):
{"scope":"query","pair":"p1","arm":"baseline","request_id":"b1",
 "usage":{"input_uncached":100,"input_cache_read":20,
          "input_cache_write":10,"output":10}}

关键原则:未知或缺失是"missing data",永远不能记 0;0 表示实测为零。

  1. 汇总与发布:用离线汇总器计算每对结果、中位数与区间,发布全部失败及用量;查询级与会话级分析永不加总。

五、summarize.py 与合成样例:只验证算术,不冒充结果 ✅

仓库附带一个纯离线脚本 benchmarks/summarize.py,它绝不调用任何模型,只验证配对完整性、基础计数与重复 ID,然后输出 baseline / memory 倍率和 100 × (1 − memory / baseline) 降幅;比值无法定义时为 null 而非报错。

配套合成样例 benchmarks/example.synthetic.jsonl 只有两行记录,算出 140 vs 70(2x、50% 降幅):

# 离线管道自检:虚构数字,不是项目基准结果
python3 benchmarks/summarize.py benchmarks/example.synthetic.jsonl

注意它的自我声明:该样例不调用 Graphify 或任何模型,不构成对本项目节省效果的任何证据——它的唯一用途是证明汇总管道算术正确。这是基准工程里值得学习的"诚实标注"。

六、常见误读清单:6 个容易踩的坑 ⚠️

  1. 第三方评分 ≠ Token 验证。 issue #12(2026-07-20 开启)报告了 82/100 分,但审计时该 issue 无任何评论,且 Hlido passport 上标注的评审日期是 2026-07-16——与审计请求中给出的 9 月 24 日不一致,评审原文页面在审计期间也无法访问。没有任何可访问来源提供 71.5x 或 499x 的复现数据,不要把这个分数当作任一比率的验证。
  2. "0 tokens"只指图谱生成。 报告称图谱生成 LLM 用量为 0(AST 模式),这排除了 agent 读取、查询与会话消耗,不等于整个流程免费。
  3. 载荷比率 ≠ 会话节省。 ~280 Token 的图谱查询输出是"检索上下文",不是整次会话的用量。
  4. 40 文件插图 ≠ 126 文件报告。 两个场景的数据混用会放大数字。
  5. Token 比率 ≠ 美元比率。 缓存命中、不同模型单价与订阅制会改变实际账单影响。
  6. "无公开证据" ≠ "声明为假"。 审计明确定位自身:这是 absence-of-public-evidence finding,不是证伪。

七、诚实的结论

  • 能得出的:71.5x 大概率源自 20,000/280 ≈ 71.43 的检索载荷对比(算术层面);项目在 v1.0.0 后已主动给所有历史数字加上"作者自报、不可复现"的限定语(见 README.md#L3 与 README.md#L656-L662),并发布了可复现的测量协议——这在同类"省 Token"项目里相当少见。
  • 不能得出的:在补齐公开 fixture、冻结任务集、成对重复与完整用量账本之前,71.5x/session 与 499x/query 都只是待验证声明。
  • 对你的意义:如果你是想评估该方案是否值得部署,记忆持久化(Obsidian + /resume + /save + 自动保存钩子 scripts/session_autosave.py)的收益是确定的工程改进;而"省多少 Token"应等你自己的会话账本说话,协议已替你设计好。

八、相关文件导航 📁

文件 说明
benchmarks/README.md 证据审计全文:声明溯源、日期矛盾、测量边界、六步协议
benchmarks/summarize.py 离线用量汇总器(四字段 schema、配对校验)
benchmarks/example.synthetic.jsonl 合成账本样例(仅验证算术)
README.md 完整设置指南(Obsidian / 聊天导入 / Graphify / 钩子)
CHANGELOG.md 版本时间线(0.1.0 → 1.0.0)
scripts/README.md 聊天导入脚本说明
scripts/claude_to_obsidian.py 聊天 → vault 处理器
scripts/sync_claude_obsidian.sh 自动化同步脚本
登录后查看全文
claude-code-memory-setup