Langchain-ChatGLM项目中知识库匹配相关度阈值的深度解析

背景介绍

在Langchain-ChatGLM项目的实际应用中，许多开发者遇到了知识库检索结果不符合预期的问题。特别是在使用FAISS作为向量数据库时，配置文件中设置的SCORE_THRESHOLD参数似乎与预期效果不符。本文将深入分析这一现象的技术原理，帮助开发者正确理解和使用相关度阈值参数。

问题现象

开发者在使用Langchain-ChatGLM v0.3.x版本时发现，当将SCORE_THRESHOLD设置为2.0时，系统日志会显示"没有检索到相关文档"的警告信息，实际返回的知识库信息都来自BM25的检索结果，而非向量检索。这与配置文件中"score越小，相关度越高，取到2相当于不筛选"的描述似乎相矛盾。

技术原理分析

距离度量与相似度转换

FAISS向量数据库默认使用欧几里得距离(Euclidean Distance)作为距离度量方式。对于经过L2归一化处理的向量，欧几里得距离与余弦相似度存在以下数学关系：

distance = √(2 - 2*cosine_similarity)

这意味着：

• 当两个向量完全相同时，distance=0
• 当两个向量完全相反时，distance=2

相似度分数转换函数

Langchain在内部使用了_euclidean_relevance_score_fn函数将距离转换为相似度分数：

def _euclidean_relevance_score_fn(distance: float) -> float:
    return 1.0 - distance / math.sqrt(2)

这个转换使得：

• 完全相似的向量得分为1.0
• 完全不相关的向量得分为0.0
• 完全相反的向量得分为负值

版本差异说明

在v0.3之前的版本中，系统直接使用原始的距离值作为评分标准，此时：

• 距离值越小表示越相似
• 距离值范围为[0,2]

而在v0.3及之后的版本中，系统使用了上述转换函数，此时：

• 转换后的分数越大表示越相似
• 分数值范围为(-∞,1]

正确配置建议

基于上述分析，我们给出以下配置建议：

1. 阈值设置范围：建议将SCORE_THRESHOLD设置在0.6-0.9之间，具体值需要根据实际数据测试确定

2. 版本注意事项：

   • v0.3之前版本：使用原始距离值，值越小越相似
   • v0.3及之后版本：使用转换后分数，值越大越相似

3. 性能优化：可以考虑预先初始化BM25检索器，避免每次查询时重复初始化带来的性能损耗

实际应用示例

假设我们有以下测试数据：

查询语句	知识库条目	原始距离	转换分数
"如何安装"	"安装步骤说明"	0.2	0.86
"如何安装"	"产品介绍"	1.0	0.29
"如何安装"	"卸载指南"	1.8	-0.27

如果设置SCORE_THRESHOLD=0.5：

• 只有前两条会被保留
• 第三条因分数低于阈值被过滤

总结

正确理解和使用知识库匹配相关度阈值对于Langchain-ChatGLM项目的实际应用至关重要。开发者需要根据所使用的版本选择适当的阈值设置策略，并通过实际测试确定最优的阈值参数。同时，了解底层技术原理有助于更好地调试和优化系统性能。

希望本文能够帮助开发者解决实际应用中遇到的问题，并提升对向量检索技术的理解深度。