Redis-py项目新增聚合查询评分器支持：实现BM25与向量混合搜索

Redis-py作为Redis官方Python客户端库，近期在其搜索模块中新增了对聚合查询评分器的支持。这一重要更新使得开发者能够更加灵活地构建混合搜索查询，特别是结合了传统文本检索(BM25)和向量相似度搜索的混合评分场景。

技术背景

在全文搜索引擎中，BM25是一种经典的文本相关性评分算法，而向量搜索则基于神经网络嵌入来计算相似度。现代搜索系统往往需要同时利用这两种技术的优势：BM25擅长处理精确关键词匹配，而向量搜索能够捕捉语义相似性。

Redis Search模块之前已经支持这两种搜索方式，但在聚合查询中缺乏对评分器的控制能力，导致无法实现两者的有效结合。最新版本的Redis-py通过扩展AggregateRequest类解决了这一限制。

实现细节

新版本在AggregateRequest类中增加了scorer()方法，允许开发者指定评分算法。配合add_scores()方法，可以在聚合结果中包含原始评分，然后通过apply()操作实现自定义的混合评分公式。

核心改进点包括：

1. 新增scorer()方法设置评分算法
2. 支持在聚合查询中返回原始评分
3. 允许通过表达式组合不同评分

使用示例

以下是一个典型的混合搜索实现示例，结合了BM25文本评分和向量相似度：

# 创建包含文本和向量字段的索引
client.ft().create_index(
    (
        TextField("name", sortable=True, weight=5.0),
        TextField("description", sortable=True, weight=5.0),
        VectorField("vector", "HNSW", 
                   {"TYPE": "FLOAT32", "DIM": 2, "DISTANCE_METRIC": "COSINE"}),
    )
)

# 构建混合搜索查询
query_string = "(@description:cat)=>[KNN 3 @vector $vec_param AS dist]"
req = (
    aggregations.AggregateRequest(query_string)
    .scorer("BM25")  # 设置BM25评分器
    .add_scores()    # 包含原始评分
    .apply(hybrid_score="@__score + @dist")  # 自定义混合评分
    .load("*")
    .dialect(4)
)

# 执行查询
res = client.ft().aggregate(
    req,
    query_params={"vec_param": vector_embedding}
).rows[0]

这个示例展示了如何：

1. 使用BM25算法计算文本相关性
2. 通过KNN近邻搜索计算向量相似度
3. 将两种评分相加得到最终混合评分

应用价值

这一改进为开发者带来了以下优势：

1. 更精准的相关性排序：可以同时考虑关键词匹配和语义相似性
2. 灵活的评分策略：支持自定义评分公式，适应不同业务场景
3. 简化开发流程：无需客户端二次处理即可获得混合评分结果
4. 性能优化：所有计算在Redis服务端完成，减少网络传输

适用场景

该功能特别适用于：

• 电商平台的商品搜索（结合精确匹配和语义扩展）
• 内容推荐系统（平衡关键词和内容特征）
• 知识库问答（同时考虑问题匹配和答案相关性）
• 任何需要兼顾精确性和语义理解的搜索场景

总结

Redis-py对聚合查询评分器的支持完善了其混合搜索能力，使开发者能够构建更智能、更精准的搜索系统。这一改进体现了Redis搜索功能向现代搜索需求的演进，为复杂搜索场景提供了简单而强大的解决方案。