hippo-memory 混合检索原理:BM25 与向量嵌入融合如何提升 AI 长期记忆召回率

原创2026-10-27 21:51:461,688 阅读

hippo-memory 混合检索原理:BM25 与向量嵌入融合如何提升 AI 长期记忆召回率

hippo-memory 是一款面向编码代理(Cursor、Claude Code、Codex 等)的本地 AI 长期记忆系统。它的核心能力之一,是用 BM25 词法检索与向量嵌入语义检索组成的混合检索(hybrid search)来回答"该记住什么、该召回什么",从而显著提升长期记忆的召回率。本文将带你读懂这套混合检索的完整原理:为什么单一检索方式不够用、两种信号如何融合、以及真实评测中召回率提升了多少。

hippo-memory AI 长期记忆项目概览:让代理的记忆像大脑一样工作

为什么 AI 长期记忆需要"混合检索"

想象你的 Agent 记了几千条记忆,现在它要回答:"上次那个数据库迁移是怎么处理的?"

单独用任一检索方式都有明显短板:

检索方式 擅长 短板
BM25(词法检索) 精确匹配关键词、变量名、错误信息 换个说法就找不到("迁移" vs "migrate"、"重构" vs "rewrite")
向量嵌入(语义检索) 理解同义改写、语义相近 对代码标识符、精确术语不敏感,且依赖模型质量

这正是 hippo-memory 采用混合检索的原因:让两种信号互相补位——关键词命中靠 BM25,语义理解靠向量余弦相似度,融合后再做重排,召回率自然更高。

hippo-memory 工作原理:BM25 与向量嵌入的混合检索流水线

第一步:BM25 词法打分

BM25 是经典的全文检索打分算法。hippo-memory 的实现非常"教科书",位于 src/search/bm25.ts:

  • 索引什么:每条记忆的正文加上它的标签(content + tags),分词后建库;
  • 参数:k1 = 1.5(词频饱和控制)、b = 0.75(文档长度归一化),是 BM25 的经典取值;
  • 怎么打分:对查询词做 IDF(逆文档频率,稀有词权重更高)乘以词频饱和项,查询中每命中一个词就累加。

效果是:一条记忆里恰好出现"migration"、"database"这些词的记忆会拿到高分;完全没有查询词的记忆得分为 0,直接出局(在没有向量的兜底模式下)。

第二步:向量嵌入与余弦相似度

向量这一侧由 src/search/vector.ts 中的"vector arm"(向量分支)负责:

  1. 加载已有向量:记忆写入时已嵌入并存入本地 hippo.db,检索时直接读取;
  2. 嵌入查询:把查询文本也嵌入成向量。注意这里有 5 秒超时预算(HIPPO_QUERY_EMBED_TIMEOUT_MS 可调),本地模型还在下载或 API 太慢时不会干等;
  3. 计算余弦相似度:查询向量与每条记忆向量算 cosine,截断到 0 以上。

嵌入提供方是可插拔的(src/embeddings/provider.ts):默认用本地 @huggingface/transformers 模型(零 API 花费、数据不出本机),也可以选 OpenAI / Voyage / Cohere。

还有一个细节很关键:向量分支可以"捞回"BM25 没见过的记忆。只要 vectorCandidates 开启,向量索引会额外召回与查询向量最近的若干条记忆加入候选池——否则一条"一个词都没撞上"的记忆永远不可能出现在结果里,而这正是语义检索的价值所在。

两种融合策略:blend 加权 与 RRF 倒数排名融合

拿到 BM25 分与 cosine 分后,如何合并成最终排序?hippo-memory 提供了两种模式,实现在 src/search/hybrid-score.ts 和 src/search/fusion.ts:

模式一:blend(默认,加权求和)

base = 0.4 × 归一化BM25 + 0.6 × 余弦相似度

默认权重 embeddingWeight = 0.6(见 src/search/hybrid.ts 中的 DEFAULT_EMBEDDING_WEIGHT),即语义信号占六成、词法信号占四成。之后再乘上强度(strength)、新近度(recency)等记忆学乘数,并叠加路径、作用域等上下文加成。

模式二:rrf(Reciprocal Rank Fusion)

不比较分数本身,而是比较排名:分别按 BM25 分和 cosine 分各排一次序,再按经典的 RRF 公式融合:

RRF 分数 = Σ 权重_i × 1/(60 + 排名_i)

平滑常数取学术标准的 k = 60(src/search/rrf.ts)。这种方式的优点是对两种分数的量纲完全不敏感,还能轻松加入"第三路排名"——hippo-memory 支持把知识图谱邻近度作为第三个 RRF 列表一起融合。

稳定性保障:自动降级 + MMR 去重

混合检索在工程上必须"坏了也能用"。hippo-memory 的处理堪称典范:

  • 优雅降级:嵌入提供方不可用、向量索引需要重建、查询嵌入超时——任何一步失败,都自动退回 BM25-only 模式并只打一条警告日志(见 src/search/vector.ts 的 resolveVectorArm),检索永不中断;
  • MMR 重排:融合排序后,用 MMR(Maximal Marginal Relevance)在结果头部窗口内做多样性重排,避免 5 条结果说的是同一件事。默认 λ = 0.7,即"70% 相关性 + 30% 多样性",实现见 src/search/rerank.ts;
  • 可选 Reranker:重排之后还可挂接自定义 reranker(如交叉编码器)对 Top 50 精排;
  • 可解释性:开启 explain 后,每条结果附带完整分数拆解(BM25 分、cosine 分、各乘数、命中的查询词),方便你排查"为什么这条记忆没排上去"。

实测效果:召回率提升多少?

hippo-memory 在 LongMemEval 上有一套严格的预注册评测。其中 F9 实验专门测量"本地 BM25 + 稠密向量 RRF 融合"的增益(报告见 docs/evals/2026-05-20-f9-hybrid-rrf-result.md):

分片 基线(纯向量) 混合检索 提升
oracle(3 session/haystack) R@5 = 79.0 R@5 = 82.0 +3.0
绑定评测分片 _s R@5 = 41.0 R@5 = 50.8 +9.8

hippo-memory 混合检索基准测试:LongMemEval 与 LoCoMo 召回率对比

几个值得注意的结论:

  1. 4 种混合变体全部跑赢纯向量基线——融合本身就是正收益;
  2. 最优配置是"向量为主、BM25 做仲裁"的不对称权重(0.2/0.8),说明两路信号最好在同一粒度上工作,让 BM25 在向量打平时做 tiebreaker;
  3. 在绑定分片上,纯本地混合检索以零推理成本、零 API 花费追平了"50 次 LLM 子代理重排"方案(同为 R@5 = 50.8)——成本差了几个数量级。

核心模块索引

想深入源码的话,按下面这张地图走:

小结

hippo-memory 的混合检索本质上是"词法精准 + 语义泛化"的双保险:BM25 保证关键词命中,向量嵌入保证同义改写不漏召回,blend 或 RRF 两种融合策略任选,失败自动降级到 BM25-only,最后用 MMR 保证结果多样性。评测数据表明,这套纯本地方案能以零额外成本把长期记忆召回率提升 3~10 个百分点——这就是"像大脑一样工作"的记忆系统背后的检索学。

登录后查看全文
hippo-memory