Langchain-Chatchat项目中知识库检索相关度阈值问题解析

背景介绍

在Langchain-Chatchat项目v0.3.x版本中，知识库检索功能采用了混合检索策略，结合了向量检索(FAISS)和传统文本检索(BM25)两种方式。其中，向量检索部分使用BGE-large-zh-v1.5作为嵌入模型，将文本转换为向量表示，然后通过计算向量间的相似度来检索相关知识片段。

问题现象

项目配置文件中SCORE_THRESHOLD参数的描述为"score越小，相关度越高，取到2相当于不筛选"。然而实际使用中发现，当将该阈值设置为2.0时，系统日志会显示"没有检索到相关文档"的警告信息，且实际返回的知识库信息都来自BM25检索结果，向量检索似乎没有生效。

技术原理分析

向量检索的数学基础

在FAISS向量库中，默认使用欧几里得距离(Euclidean Distance)作为相似度度量标准。对于两个经过L2归一化的向量x和y，它们的欧几里得距离d与余弦相似度cosθ之间存在如下数学关系：

d = √(2(1 - cosθ))

这意味着：

• 当两个向量完全相同时(cosθ=1)，距离d=0
• 当两个向量正交时(cosθ=0)，距离d=√2
• 当两个向量完全相反时(cosθ=-1)，距离d=2

Langchain的实现细节

Langchain在内部对原始距离值进行了转换处理，使用_euclidean_relevance_score_fn函数将距离转换为相似度分数：

相似度分数 = 1 - d/√2

这种转换带来以下特性：

1. 完全相似的向量得分为1
2. 正交的向量得分为0
3. 完全相反的向量得分为-√2+1≈-0.414

版本差异说明

项目在v0.3版本前后对SCORE_THRESHOLD参数的处理方式存在重要差异：

1. v0.3之前版本：

   • 直接使用欧几里得距离作为评分标准
   • 距离值域为[0,2]，值越小表示越相似
   • 描述"score越小，相关度越高"是正确的

2. v0.3及之后版本：

   • 使用转换后的相似度分数
   • 分数值域理论上为[-0.414,1]，值越大表示越相似
   • 原描述与实际情况相反

解决方案建议

针对这一问题，可以采取以下解决方案：

1. 参数调整：

   • 对于v0.3+版本，应将SCORE_THRESHOLD设置为较小的值(如0.5-0.8)
   • 具体阈值需要根据实际业务场景和测试结果确定

2. 代码优化：

   # 示例代码：自定义相似度计算函数
   def custom_score_fn(distance: float) -> float:
       # 使用余弦相似度作为评分标准
       return 1 - distance**2 / 2
   

3. 性能优化：

   • 预先初始化BM25检索器，避免每次查询都重新构建
   • 对检索结果进行缓存，提高响应速度

实践建议

1. 测试方法：

   • 准备一组标准查询语句
   • 逐步调整阈值，观察检索结果变化
   • 结合人工评估确定最佳阈值

2. 监控指标：

   • 检索耗时
   • 向量检索命中率
   • 返回结果的相关性评分分布

3. 混合检索策略：

   • 设置合理的fallback机制
   • 当向量检索无结果时自动使用BM25
   • 对两种检索结果进行加权融合

总结

Langchain-Chatchat项目中的知识库检索功能在v0.3版本引入了相似度分数的转换，这一变化虽然提高了算法的一致性，但也带来了参数理解的复杂性。正确理解和使用SCORE_THRESHOLD参数对于保证知识库检索效果至关重要。开发者应当根据实际版本和业务需求，合理设置该阈值，并通过充分的测试验证其效果。