LanceDB项目中混合搜索与向量搜索的距离计算差异分析

在LanceDB数据库的0.18.0版本中，用户发现了一个值得注意的现象：当执行混合搜索（hybrid search）和纯向量搜索时，相同数据点返回的距离值存在显著差异。这种现象可能会对依赖距离值进行结果排序或相似性判断的应用场景产生影响。

现象描述

通过对比测试可以清晰地观察到这一现象。在混合搜索模式下，某条记录（如_rowid=151）返回的距离值为0.391866，而在纯向量搜索中，相同记录的距离值却显示为5.877397。这种差异不仅存在于个别记录，而是普遍存在于搜索结果中。

技术背景

LanceDB作为向量数据库，支持两种主要的搜索方式：

1. 纯向量搜索：基于向量相似度计算，返回最相似的向量结果
2. 混合搜索：同时结合向量相似度和全文检索（FTS）的结果

在底层实现上，纯向量搜索使用了PQ（Product Quantization）压缩技术来加速搜索，这会引入一定的近似误差。当使用refine_factor(1)参数时，可以获得更精确的距离计算结果。

差异原因分析

经过深入调查，发现这种距离差异主要源于混合搜索的特殊处理机制：

1. 归一化处理：混合搜索会对向量距离和全文检索分数都进行归一化，将它们映射到[0,1)的区间内
2. 分数融合：混合搜索需要将不同类型的分数（向量距离和文本相关性）统一到一个可比较的尺度上
3. 结果重排序：使用RRFReranker等重排序器时，会进一步调整最终得分

相比之下，纯向量搜索直接返回原始的距离计算结果（尽管可能经过PQ压缩），保持了距离度量的原始特性。

解决方案与改进方向

项目维护者已经确认这是一个需要改进的问题，并计划通过以下方式解决：

1. 保留原始分数：在混合搜索中同时提供归一化后的分数和原始距离值
2. 明确文档说明：在API文档中清晰说明不同搜索模式下的分数计算方式
3. 提供配置选项：允许用户选择是否需要对分数进行归一化处理

对用户的影响与建议

对于当前版本的用户，建议：

1. 比较不同搜索模式的结果时，注意距离/分数的计算方式差异
2. 需要精确距离计算时，优先使用纯向量搜索模式
3. 关注后续版本更新，及时获取更准确的距离计算结果

这一改进将使得LanceDB的搜索结果更加透明和一致，有助于用户构建更可靠的向量搜索应用。对于依赖距离阈值进行业务逻辑判断的应用场景尤为重要。