亲手复现CAMC-Bench基准:memory.cpp 58%Token缩减与3/3任务成功率实测

原创2026-11-13 11:09:592,141 阅读

亲手复现CAMC-Bench基准:memory.cpp 58%Token缩减与3/3任务成功率实测

memory.cpp 是一个本地优先(local-first)的 AI 记忆与上下文控制平面,把仓库历史编译成可缓存、防陈旧的上下文包。本文将带你亲手复现它内置的 CAMC-Bench 基准测试:在合成语料上对比 8 种上下文选择策略,实测 full CAMC 策略实现 58.3% Token 缩减、0 条陈旧/矛盾/密钥泄漏,并保持 3/3 任务成功率——所有数字都由真实编译器代码路径现场生成,可直接验证。

CAMC-Bench 是什么:一句话讲清这个基准

CAMC(Cache-Aware Memory Compilation,缓存感知记忆编译)是 memory.cpp 的核心机制:它把"给模型喂什么上下文"当成编译问题而非检索问题——先剔除陈旧与危险内容,再把稳定知识与易变任务文本分离,生成一个字节级稳定、可被 prompt cache 复用的前缀。

CAMC-Bench 就是为验证这套机制而生的确定性基准:

  • 合成语料:11 条刻意设计的仓库记忆,含陈旧决策、矛盾条目、密钥和干扰项
  • 3 个任务:修账单导出 bug、安装依赖构建、评审认证设计,每个任务带有"必需记忆 + 不得包含矛盾"的 oracle 判定
  • 8 种策略:从原始全量上下文、grep、BM25、向量检索,到 CAMC 的各消融变体
  • 确定性:每次运行数字一致,全部来自生产代码路径,无硬编码、无造假

完整定义在基准源码 crates/memory-core/src/bench.rs 中,学术表述可参考论文 docs/paper/camc.tex。

memory.cpp 本地优先上下文编译器终端演示

复现准备步骤:三步跑通环境

第一步:获取代码并构建 CLI

git clone https://gitcode.com/gh_mirrors/me/memory.cpp
cd memory.cpp
cargo build -p memory-cli

构建完成后,memory 二进制会出现在 target/debug/(或 target/release/)下。

第二步:运行基准

memory bench camc            # 输出消融对比表
memory bench camc --json     # 机器可读结果,方便自己写图表

第三步(可选):一键生成完整报告

仓库自带可复现脚本 scripts/benchmark.py,它调用真实二进制重新采集 CAMC-Bench 与 Dogfood 数据,并重新生成 BENCHMARKS.md 及图表:

python scripts/benchmark.py

实测结果:58.3% Token 缩减与 3/3 任务成功率

以下为 memory bench camc(模型 llama-3.1-8b、预算 1500 tokens)在本机运行的实测表格,与 BENCHMARKS.md 中记录的数据一致:

策略 Tokens 可缓存前缀 相对 raw 缩减 陈旧 矛盾 密钥 任务成功率
raw full context 638 0 0.0% 9 9 3 0/3
grep 233 0 63.5% 3 3 2 0/3
BM25 638 0 0.0% 9 9 3 0/3
embedding retrieval 638 0 0.0% 9 9 3 0/3
CAMC − 负向记忆 521 318 18.3% 0 0 3 3/3
CAMC − 新鲜度证明 383 186 40.0% 9 9 0 0/3
CAMC − 规范前缀 266 0 58.3% 0 0 0 3/3
full CAMC 266 186 58.3% 0 0 0 3/3

消融对比:每个组件为什么缺一不可

这张表最有价值的地方在于它是一组消融实验,逐项拆掉 CAMC 的组件看效果:

拆掉什么 后果
新鲜度证明(freshness proofs) 9 条陈旧记忆、9 条矛盾全部漏进上下文,任务成功率直接归零(0/3)
负向记忆(negative memory) 3 条密钥泄漏(如 AWS secret 被发进 prompt)
规范前缀(canonical prefix) Token 数不变,但可缓存前缀归零,prompt cache 彻底失效

三个观察值得新手特别注意:

  1. grep 看似省 Token(63.5% 缩减),任务却全挂——省了 Token 但把必需记忆漏掉了,"少"不等于"对"
  2. BM25 / 向量检索在该场景与 raw 打平——纯 top-k 检索既不能排陈旧、也不能排密钥
  3. full CAMC 是唯一"全绿"策略:Token 最少、有 186 tokens 可缓存前缀、0 泄漏、3/3 通过

进阶实测:官方仓库的 Dogfood 数据

除了合成基准,memory.cpp 还用"自己吃自己的狗粮"做了真实仓库验证(源码见 scripts/benchmark.py 中的 REPO_FACTS 与 TASKS):

  • 朴素基线:把 README.md + 3 篇 docs 直接粘进 prompt = 7961 tokens
  • 编译后的上下文包(任务:修账单导出确定性 bug)= 854 tokens,缩减 89%
  • 且稳定前缀跨任务字节一致——不同任务返回同一个 blake3 前缀哈希,这是 prompt cache 真正命中的前提

单任务摘要可用一条命令查看:

memory wow --for-acquirer

诚实声明:这个基准测的是什么、不是什么

项目作者在 BENCHMARKS.md 中明确了两条边界,复现时也要有正确预期:

  1. 合成语料:CAMC-Bench 度量的是编译机制本身(更少 Token、更多可缓存前缀、陈旧/密钥被拦截、任务成功率保持),不代表真实仓库上的胜率
  2. KV 数字是提示侧估算:memory.cpp 减少的是 prompt 侧 Token 与估算 KV 压力,并不压缩服务商的 KV cache;真实 TTFT 需按 scripts/runtime_bench.md 在实际推理栈上测量

延伸阅读与关键文件

内容 路径
基准数据与复现命令 BENCHMARKS.md
CAMC-Bench 实现 crates/memory-core/src/bench.rs
一键复现脚本 scripts/benchmark.py
编译器机制详解 docs/cache-aware-compiler.md
论文(CAMC) docs/paper/camc.tex
完整 CLI 参考 docs/cli.md

🎯 一句话总结:CAMC-Bench 用一组干净的消融实验证明——给 AI coding agent 喂上下文,"少而准、可缓存、无泄漏"可以兼得;而且这套结论你三行命令就能亲自验证。

登录后查看全文
memory.cpp