Faiss项目HNSW索引范围搜索功能的问题分析与修复

Faiss是Facebook AI Research团队开发的高效相似性搜索库，广泛应用于向量检索领域。在1.8.0版本中，HNSW(Hierarchical Navigable Small World)索引实现的范围搜索(range search)功能被发现存在一个关键问题，特别是在使用内积(IP)相似度度量时。

问题现象

当使用HNSW索引进行范围搜索时，设置的距离阈值会被忽略，导致返回所有结果而不进行过滤。这个问题在使用内积相似度度量(METRIC_INNER_PRODUCT)时尤为明显。例如，即使设置了0.74的相似度阈值，系统仍会返回所有10个数据库向量，包括那些相似度低于阈值的向量。

技术背景

HNSW是一种基于图的近似最近邻搜索算法，通过构建多层图结构实现高效的相似性搜索。在Faiss中，HNSW索引支持两种主要的相似度度量方式：

1. L2距离(欧氏距离)
2. 内积(IP)相似度

范围搜索是指返回与查询向量距离/相似度在指定阈值范围内的所有向量。对于内积相似度，值越大表示相似度越高，这与L2距离(值越小越相似)的行为相反。

问题根源

通过代码分析发现，问题的根本原因在于HNSW索引的实现中缺少对相似度度量的正确处理。具体来说：

1. 在1.8.0版本之前，Faiss使用了一个距离计算器的包装器，该包装器会对距离值取负，使得HNSW对象不需要单独处理相似度(而非距离)的情况。

2. 在1.8.0版本中，这部分逻辑被移到了选择器(selector)对象中，但没有为不同的度量方式(距离和相似度)实例化相应的模板。

这导致在使用内积相似度时，系统无法正确识别和处理相似度阈值，从而返回所有结果而不进行过滤。

解决方案

Faiss团队迅速响应并修复了这个问题。修复方案主要包括：

1. 为不同的相似度度量方式实例化相应的模板选择器对象
2. 确保在内积相似度情况下正确处理相似度阈值
3. 修复结果排序问题(内积相似度下结果应按降序排列)

影响与建议

这个问题主要影响以下场景：

1. 使用Faiss 1.8.0版本
2. 使用HNSW索引
3. 使用内积相似度进行范围搜索

对于受影响的用户，建议：

1. 升级到修复后的Faiss版本
2. 如果暂时无法升级，可以考虑使用L2距离作为替代方案
3. 在关键应用中进行结果验证，确保返回的向量确实满足相似度阈值要求

总结

Faiss作为高效的向量检索库，其HNSW索引在1.8.0版本中出现的内积相似度范围搜索问题，反映了相似度度量与距离度量在实现上的差异。通过这次修复，Faiss团队进一步完善了HNSW索引对不同度量方式的支持，提升了库的稳定性和可靠性。对于向量检索领域的开发者而言，理解不同相似度度量的实现差异及其对搜索结果的影响，是构建可靠相似性搜索系统的重要基础。