亲手复现CAMC-Bench基准:memory.cpp 58%Token缩减与3/3任务成功率实测
亲手复现CAMC-Bench基准:memory.cpp 58%Token缩减与3/3任务成功率实测
memory.cpp 是一个本地优先(local-first)的 AI 记忆与上下文控制平面,把仓库历史编译成可缓存、防陈旧的上下文包。本文将带你亲手复现它内置的 CAMC-Bench 基准测试:在合成语料上对比 8 种上下文选择策略,实测 full CAMC 策略实现 58.3% Token 缩减、0 条陈旧/矛盾/密钥泄漏,并保持 3/3 任务成功率——所有数字都由真实编译器代码路径现场生成,可直接验证。
CAMC-Bench 是什么:一句话讲清这个基准
CAMC(Cache-Aware Memory Compilation,缓存感知记忆编译)是 memory.cpp 的核心机制:它把"给模型喂什么上下文"当成编译问题而非检索问题——先剔除陈旧与危险内容,再把稳定知识与易变任务文本分离,生成一个字节级稳定、可被 prompt cache 复用的前缀。
CAMC-Bench 就是为验证这套机制而生的确定性基准:
- 合成语料:11 条刻意设计的仓库记忆,含陈旧决策、矛盾条目、密钥和干扰项
- 3 个任务:修账单导出 bug、安装依赖构建、评审认证设计,每个任务带有"必需记忆 + 不得包含矛盾"的 oracle 判定
- 8 种策略:从原始全量上下文、grep、BM25、向量检索,到 CAMC 的各消融变体
- 确定性:每次运行数字一致,全部来自生产代码路径,无硬编码、无造假
完整定义在基准源码 crates/memory-core/src/bench.rs 中,学术表述可参考论文 docs/paper/camc.tex。
复现准备步骤:三步跑通环境
第一步:获取代码并构建 CLI
git clone https://gitcode.com/gh_mirrors/me/memory.cpp
cd memory.cpp
cargo build -p memory-cli
构建完成后,memory 二进制会出现在 target/debug/(或 target/release/)下。
第二步:运行基准
memory bench camc # 输出消融对比表
memory bench camc --json # 机器可读结果,方便自己写图表
第三步(可选):一键生成完整报告
仓库自带可复现脚本 scripts/benchmark.py,它调用真实二进制重新采集 CAMC-Bench 与 Dogfood 数据,并重新生成 BENCHMARKS.md 及图表:
python scripts/benchmark.py
实测结果:58.3% Token 缩减与 3/3 任务成功率
以下为 memory bench camc(模型 llama-3.1-8b、预算 1500 tokens)在本机运行的实测表格,与 BENCHMARKS.md 中记录的数据一致:
| 策略 | Tokens | 可缓存前缀 | 相对 raw 缩减 | 陈旧 | 矛盾 | 密钥 | 任务成功率 |
|---|---|---|---|---|---|---|---|
| raw full context | 638 | 0 | 0.0% | 9 | 9 | 3 | 0/3 |
| grep | 233 | 0 | 63.5% | 3 | 3 | 2 | 0/3 |
| BM25 | 638 | 0 | 0.0% | 9 | 9 | 3 | 0/3 |
| embedding retrieval | 638 | 0 | 0.0% | 9 | 9 | 3 | 0/3 |
| CAMC − 负向记忆 | 521 | 318 | 18.3% | 0 | 0 | 3 | 3/3 |
| CAMC − 新鲜度证明 | 383 | 186 | 40.0% | 9 | 9 | 0 | 0/3 |
| CAMC − 规范前缀 | 266 | 0 | 58.3% | 0 | 0 | 0 | 3/3 |
| full CAMC | 266 | 186 | 58.3% | 0 | 0 | 0 | 3/3 |
消融对比:每个组件为什么缺一不可
这张表最有价值的地方在于它是一组消融实验,逐项拆掉 CAMC 的组件看效果:
| 拆掉什么 | 后果 |
|---|---|
| 新鲜度证明(freshness proofs) | 9 条陈旧记忆、9 条矛盾全部漏进上下文,任务成功率直接归零(0/3) |
| 负向记忆(negative memory) | 3 条密钥泄漏(如 AWS secret 被发进 prompt) |
| 规范前缀(canonical prefix) | Token 数不变,但可缓存前缀归零,prompt cache 彻底失效 |
三个观察值得新手特别注意:
- grep 看似省 Token(63.5% 缩减),任务却全挂——省了 Token 但把必需记忆漏掉了,"少"不等于"对"
- BM25 / 向量检索在该场景与 raw 打平——纯 top-k 检索既不能排陈旧、也不能排密钥
- full CAMC 是唯一"全绿"策略:Token 最少、有 186 tokens 可缓存前缀、0 泄漏、3/3 通过
进阶实测:官方仓库的 Dogfood 数据
除了合成基准,memory.cpp 还用"自己吃自己的狗粮"做了真实仓库验证(源码见 scripts/benchmark.py 中的 REPO_FACTS 与 TASKS):
- 朴素基线:把
README.md+ 3 篇 docs 直接粘进 prompt = 7961 tokens - 编译后的上下文包(任务:修账单导出确定性 bug)= 854 tokens,缩减 89%
- 且稳定前缀跨任务字节一致——不同任务返回同一个 blake3 前缀哈希,这是 prompt cache 真正命中的前提
单任务摘要可用一条命令查看:
memory wow --for-acquirer
诚实声明:这个基准测的是什么、不是什么
项目作者在 BENCHMARKS.md 中明确了两条边界,复现时也要有正确预期:
- 合成语料:CAMC-Bench 度量的是编译机制本身(更少 Token、更多可缓存前缀、陈旧/密钥被拦截、任务成功率保持),不代表真实仓库上的胜率
- KV 数字是提示侧估算:memory.cpp 减少的是 prompt 侧 Token 与估算 KV 压力,并不压缩服务商的 KV cache;真实 TTFT 需按 scripts/runtime_bench.md 在实际推理栈上测量
延伸阅读与关键文件
| 内容 | 路径 |
|---|---|
| 基准数据与复现命令 | BENCHMARKS.md |
| CAMC-Bench 实现 | crates/memory-core/src/bench.rs |
| 一键复现脚本 | scripts/benchmark.py |
| 编译器机制详解 | docs/cache-aware-compiler.md |
| 论文(CAMC) | docs/paper/camc.tex |
| 完整 CLI 参考 | docs/cli.md |
🎯 一句话总结:CAMC-Bench 用一组干净的消融实验证明——给 AI coding agent 喂上下文,"少而准、可缓存、无泄漏"可以兼得;而且这套结论你三行命令就能亲自验证。
