Feast项目中的向量数据库检索方法升级实践

背景介绍

在Feast这个开源特征存储项目中，开发团队正在对Elastic Search、QDrant和PGVector等向量数据库的检索方法进行重要升级。原有的retrieve_online_documents方法将被功能更全面的retrieve_online_documents_v2方法所取代，这一改进将为用户带来更强大的文档检索能力。

技术方案选择

在PGVector的实现方案讨论中，开发团队比较了两种主要的技术路径：

1. 基础模式匹配方案：使用SQL的LIKE或ILIKE操作符进行简单的字符串匹配。这种方法实现简单，但缺乏高级文本处理能力，如词干提取、停用词过滤等，且在大数据量场景下性能表现不佳。

2. 全文检索方案：利用PostgreSQL内置的全文搜索功能，通过to_tsvector和to_tsquery函数实现。这种方法支持：

   • 文本分词和词干提取
   • 停用词过滤
   • 相关性评分
   • 与GIN索引配合提升大表查询性能
   • 可与向量搜索结合实现混合检索

经过深入讨论，团队决定采用第二种方案，因其能提供更专业的文本处理能力和更好的检索效果。

多语言支持实现

考虑到实际业务场景中的多语言需求，开发团队特别设计了语言支持功能：

1. 通过ISO 639语言代码标准来标识不同语言
2. 内置了语言映射字典，如将"en"映射为"english"，"es"映射为"spanish"等
3. 默认使用美式英语("en-us")作为缺省语言配置

这种设计既保证了英语用户的默认体验，又为其他语言用户提供了扩展支持。

技术实现细节

在实际SQL查询构造中，团队采用了以下技术方案：

query = sql.SQL(
    """
    SELECT 
        entity_key,
        feature_name,
        value,
        vector_value,
        NULL as distance,
        ts_rank(to_tsvector('english', value_text), to_tsquery('english', %s)) as text_rank,
        event_ts,
        created_ts
    FROM {table_name}
    WHERE feature_name = ANY(%s) AND to_tsvector('english', value_text) @@ to_tsquery('english', %s)
    ORDER BY text_rank DESC
    LIMIT {top_k}
    """
).format(
    table_name=sql.Identifier(table_name),
    top_k=sql.Literal(top_k),
)

这个查询实现了：

• 基于全文检索的相关性评分(text_rank)
• 支持多特征名检索(feature_name = ANY(%s))
• 结果按相关性排序
• 可配置的返回结果数量限制

项目意义与展望

这次升级使Feast项目的文档检索能力得到了显著提升：

1. 检索结果质量更高，得益于专业的文本处理流程
2. 支持更复杂的业务场景，特别是多语言环境
3. 为未来的混合检索(文本+向量)奠定了基础
4. 保持了良好的扩展性，便于后续功能增强

对于开发者而言，这一改进意味着可以构建更精准、更高效的特征检索系统，特别是在自然语言处理相关的应用场景中。未来，团队还计划进一步优化检索性能，并探索更多高级检索功能的集成可能性。