TEMPR 四路混合检索:语义、BM25、图、时间,Hindsight 找回旧记忆的秘密武器

原创2026-10-11 22:14:461,382 阅读
文章标签:人工智能Agent 记忆大模型AI Agent后端MCP 服务

TEMPR 四路混合检索:语义、BM25、图、时间,Hindsight 找回旧记忆的秘密武器

长期记忆一直是 AI Agent 工程里最难啃的骨头。会话一结束,Agent 就"失忆";上下文窗口越塞越长,成本越来越高,反而把真正有用的信息稀释掉。开源记忆系统 Hindsight 给出的答案不是更长的窗口、更贵的向量库,而是一套名为 TEMPR 的四路混合检索架构——语义(Semantic)、关键词 BM25、实体图谱(Graph)、时间(Temporal)四条检索臂并行出击,再用 RRF 融合与 Cross-Encoder 重排,把"旧记忆"从海量存储中精准捞回来。

这套方案并非自说自话。Hindsight 在 LongMemEval 基准上报告准确率达 94.6%,社区评测中 Lifebench 71.5%、Locomo 92.0%、BEAM 64.1% 的成绩也显著领先主流记忆系统。本文结合仓库源码,拆解 TEMPR 的每一路检索如何工作、四路结果如何融合排序,以及记忆如何借助证据追踪实现自我修正。

为什么单一向量检索撑不起长期记忆

把对话历史直接塞进向量库、每次召回按余弦相似度取 top-k,是多数记忆系统的默认做法。它的问题在于:语义相似 ≠ 相关。

Hindsight 官方文档用一组查询点破了这个矛盾(见 recall 检索说明):

  • "Alice works at Google" —— 需要精确的名词匹配,向量可能把 "work" 泛化成各种职业描述;
  • "Where does Alice work?" —— 需要语义理解;
  • "What did Alice do last spring?" —— 需要时间推理,纯向量对 "last spring" 无能为力;
  • "Why did Alice leave?" —— 需要沿因果链追踪关系,向量检索根本不知道实体之间的边。

没有任何一种单一检索方法能同时处理好这四类查询。 而 Agent 的长期记忆恰恰是这四种问题的混合体:人名地名需要精确匹配,意图需要语义理解,事件需要时间过滤,关系需要图谱推理。这正是 TEMPR 存在的理由——在 四路并行检索实现 中,retrieve_all_fact_types_parallel 把语义、BM25、图谱、时间四路一次性交给存储层并行执行,互不干扰、各司其职。

语义 / BM25 / 图 / 时间:四路如何协作召回

在 recall() 被调用时,TEMPR 的四个检索臂同时开跑,每一路面向自己的索引:向量索引(语义)、全文索引(BM25)、实体图索引(图谱)、日期索引(时间)。仓库中的架构图直观展示了这条路:查询进入四条并行臂,各自产出排名列表,汇聚到 RRF 融合。

TEMPR 四路混合检索架构:语义、关键词、图谱、时间四臂并行,经 RRF 融合后进入 Cross-Encoder 重排与打分

语义臂:理解"意思",不止"词面"

语义检索负责概念级匹配与改写理解:"Alice's job" 能命中 "Alice works as a software engineer","meeting" 能匹配 "conference"、"discussion"。它解决的是用户换一种说法提问时,记忆系统依然认得出来的问题。

在 Postgres 检索实现 中,语义臂依赖按 fact_type 分区的部分 HNSW 索引(idx_mu_emb_world、idx_mu_emb_observation、idx_mu_emb_experience),每个臂请求 limit 行,并带有 semantic_min_similarity 相似度下限,把弱匹配在 SQL 层就先剪掉,而不是等融合后再浪费重排预算。

BM25 臂:专治专有名词与精确术语

语义再强也有盲区:"PostgreSQL"、"HNSW"、"Alice Chen" 这类专有名词在向量空间里往往没有好邻居,但关键词检索一抓一个准。BM25 臂兜住了这个底。

Hindsight 的文本搜索后端是可插拔的,通过 HINDSIGHT_API_TEXT_SEARCH_EXTENSION 选择:PostgreSQL 原生 tsvector(TF-IDF,非严格 BM25)、vchord_bm25、Timescale pg_textsearch、PGroonga、以及 ParadeDB pg_search。值得注意的是,如果要在横向扩展的 Citus 集群上跑真正的 BM25,pg_search 是唯一选项——这对大规模生产部署是个关键选型约束。

在代码层面,BM25 臂还会做查询词选择:build_bm25_query_text 负责从查询里挑出真正有区分度的词项,而 tokenize_query 做归一化分词。如果查询不含任何词字符,BM25 臂会被整体跳过,纯向量模式不付出任何全文检索成本。

图谱臂:顺着边找"八竿子打不着"的事实

图谱臂是最有"侦探感"的一路。它解决的是语义和词面都不沾边、但结构上相连的事实:Alice 和她的经理从未在同一句话里出现,但通过共享项目、团队关系,图谱遍历仍能找到经理。

实现上,Link Expansion 图谱检索 先用语义检索挑选有界种子(semantic seeds),然后沿 memory_links 中预存的三种一等信号做扩展:

  1. 实体链接:查询与候选之间的共享实体数,用 COUNT(DISTINCT entity_id) 计算,通过 LATERAL 每实体上限(graph_per_entity_limit,默认 200)防止高扇出实体把自连接中间行撑爆;
  2. 语义链接:写入时预计算的 kNN 图(每条新事实链接到最相似的已有事实),双向检查,得分即权重;
  3. 因果链接:causes / caused_by / enables / prevents 构成的显式因果链,权重 +1.0,作为最高质量信号加权。

三路信号做加法而非乘法,得分区间 [0, 3]。为什么加法?因为候选可能只通过因果链连接(无共享实体、无语义相似),乘法会把这种"单通道证据"直接清零——加法让每条证据通道独立贡献,收敛性证据(多通道命中)自然排名更高。

实体信号用 tanh(count × 0.5) 做饱和化也值得注意:共享 1 个实体得分约 0.46,2 个约 0.76,3 个以上趋近 0.91。原始实体计数是无界的,高扇出实体(比如"user"这种万能标签)能产生 50+ 的计数,不饱和化会把另外两路信号淹没。

时间臂:把"去年春天"翻译成日期窗口

时间臂让历史查询从"碰运气"变成"精确制导"。当查询含时间引用("in 2023"、"last spring")时,Hindsight 先做时间约束抽取——retrieval.py 中这一步是纯 CPU 工作,被放到事件循环之外执行,避免拖垮同进程的其他请求。

窗口内的候选选择有两个设计细节值得玩味:

  • 相关性优先于新鲜度:窗口内按语义相关性选候选,而不是按时间新近度,所以"2023 年发生了什么"不会因为 2023 年后面还有更新的事实而丢掉最相关的记忆;
  • 跨窗口扩散选择:窗口被划分成时间桶,每个有内容的桶先取最强匹配,保证"2023 全年"的查询覆盖全年各段,而不是聚在最密集的时间簇上。

时间同时是打分信号:记忆越靠近窗口中心,获得越小的 temporal proximity 加成。这套"相关性优先 + 桶扩散"的组合,让大批量同日写入的银行(时间戳高度聚集)依然能返回代表性结果而非任意切片。

四路结果如何融合:RRF → Cross-Encoder → 三乘性加成

四条检索臂各自产出的分数体系完全不同:余弦相似度、BM25 tf-idf、图激活分数,数值不可比。直接加权求和是错的,Hindsight 用三层流水线解决(见 融合实现):

第一层:RRF 倒数排名融合。 reciprocal_rank_fusion 用 score(d) = Σ 1/(k + rank_i(d))(k=60)按排名位置而非原始分数合并四个列表。一条在语义臂排第 1、BM25 臂排第 5 的记忆得分 0.0318,高于只在语义臂排第 1 的记忆(0.0164)——跨策略共识胜出。四臂在 RRF 内权重相等,想偏袒某一路需另设 HINDSIGHT_API_RECALL_STRATEGY_BOOSTS,且在融合之外单独施加。

第二层:Cross-Encoder 重排。 RRF 只看位置,从不真正把"查询+候选"配对阅读。Cross-Encoder 对每个(query, memory)配对打分,捕捉位置融合抓不到的细节——比如某记忆因命中常用词在 BM25 排第 1,却与查询意图毫不相关。重排前候选先裁剪到 top 300(HINDSIGHT_API_RERANKER_MAX_CANDIDATES 可调)控制成本;本地重排器按 32 对一批、TEI 按 128 对一批处理;外部 API 重排器的校准分数([0,1] 内)原样通过,本地原始 logits 用 sigmoid 归一化。没有 Cross-Encoder 时(如 slim 镜像),系统退回按 RRF 排名铺开的合成分数,保证下游加成依旧有意义。

第三层:三乘性加成。 归一化后的 Cross-Encoder 分数乘上三个信号加成:

final_score = CE_normalized × recency_boost × temporal_boost × proof_count_boost
加成 α 最大调节 奖励什么
Recency 0.2 ±10% 新近记忆优于旧记忆(365 天线性衰减)
Temporal proximity 0.2 ±10% 贴近查询时间窗口中心的记忆
Proof count 0.1 ±5% 证据数更多的观察(对数曲线)

用乘法而非加法是刻意为之:加法给所有候选同样的绝对加成,一条低相关记忆可能仅因"比较新"就跃过高度相关记忆;乘法让加成与基础相关度成正比,次级信号永远压不过主相关判断。全部加成合起来,最好的情况 ×1.27,最坏 ×0.77——保守而克制。

流水线最后是 token 预算截断:结果按 final_score 排序,逐个装入直到 max_tokens 耗尽。只有记忆文本计入预算,元数据免费;放不下的长记忆被跳过、让位于后面更短的记忆,避免一条长事实挤掉多条短事实。这就是 Agent 视角的"top-k"——不是返回固定条数,而是用 token 填满上下文窗口。

证据追踪与信念更新:记忆如何自我修正

TEMPR 解决了"找得到",但长期记忆的真正难题是**"记得对":旧信念会被新事实推翻,错误信息会被新证据冲刷。Hindsight 的答案是观察(observations)与心智模型(mental models)**的分层,以及围绕证据的显式趋势计算与撤回机制。

每条观察都必须有证据引用

在 observations.py 中,Observation 模型强制要求每条观察携带 evidence 列表,每条证据必须包含源记忆 ID + 精确引文 quote + 时间戳——信念不是凭空生成的,而是逐条可追溯到原始事实的。

更关键的是 trend 计算字段:系统不靠 LLM 猜测信念的新旧,而是纯算法地从证据时间戳分布推导五种趋势:

趋势 判定逻辑
NEW 全部证据在近期窗口(30 天)内
STABLE 证据跨时间分布且延续至今
STRENGTHENING 近期证据密度 > 1.5× 历史密度
WEAKENING 近期证据密度 < 0.5× 历史密度
STALE 近期窗口内无任何证据

"Alice 可能离职了"不再是一句随意的推测——它对应 WEAKENING/STALE 趋势,证据密度随时间衰减,系统能在刷新时识别出这条信念已经站不住脚。这直接呼应了 Hindsight 官方反复强调的设计哲学:"bring facts, not beliefs"(带来事实,而非信念)。

心智模型深度解析:观察由证据引用支撑,趋势由证据时间戳算法化计算

撤回:把"不存在"变成可操作信号

记忆系统最隐蔽的坑是证据消失:一条事实被作废、删除,或作为过期观察被清扫后,检索永远不会再返回它——但引用过它的文档还在陈述它、还在引用它。因为系统的每个信号都建立在"存在的行"之上,而撤回恰恰是"行的缺席",它不产生水位线、进不了 prompt。

retractions.py 把这个"缺席"变成显式值:比对文档记录在 based_on 中的事实 ID 与当前仍存活的 ID 集合,找出"已被引用但已不存在"的 grounding,让刷新流程能要求 LLM 明确撤回相关表述。值得注意的是它的防御性设计:based_on 中的 mental-models、directives 指向完全不同的表,绝不能被误当成缺失的 memory 行;而"全部引用同时消失"被识别为 broken link(比如整库迁移导致 ID 重建),而非撤回——后者会触发不可逆的删除,误判代价极高。

心智模型:事实之上的可更新信念层

在心智模型刷新链路(mental_model_refresh.py)中,观察被组织成面向 Agent 的信念摘要,每次刷新基于 reflect_response.based_on 重新 grounding。这套"事实(world/experience)→ 观察(证据支撑的信念)→ 心智模型(面向决策的摘要)"的层次,与社区总结的「文档→分块→记忆与实体→观察→心智模型」四层仿生记忆架构一一对应。反映在检索上:recall 的 types 参数可以按 world / experience / observation 过滤,证据越充足的观察在打分时获得 proof_count 加成——记忆系统不只是存取,它在自我演化。

落地:从基准到工程实践

TEMPR 不是纸面架构。从工程视角看,它的每一路都有独立的开关与配置:enable_text_search、enable_temporal_retrieval、enable_graph_retrieval 可以按场景单独关闭,纯向量模式连 BM25 的 token 化开销都省掉;budget(low/mid/high)映射到 100/300/1000 的召回预算,贯穿语义、BM25、图谱遍历与时间扩散的每一环节;max_tokens 与 budget 两个维度正交——"深度搜索 + 少返回"用于研究型查询,"浅搜索 + 多返回"用于快速闲聊。

这也解释了社区实测中 Hindsight 能在 Lifebench、Locomo、BEAM 上领先的原因:它的优势来自混合记忆架构与结构化事实抽取,而非单一模型的魔法。当别人的 Agent 还在把整段对话历史塞进上下文时,Hindsight 已经把对话提炼成带时间、带实体、带因果、带证据的事实网络——TEMPR 的四条臂,正是在这层结构化记忆上并行铺开的探针。

如果你的 Agent 也在"聊完就忘",不妨从 recall 的源码读起:四路并行、RRF 融合、乘性加成、证据追踪,每一步都是可以被工程化复用的设计决策,而不只是某个项目的内部实现。

登录后查看全文
hindsight