Sentence Transformers 模型配置中嵌入相似度/距离度量的标准化存储

在自然语言处理领域，Sentence Transformers 作为处理句子嵌入的重要工具，其模型配置的标准化一直是一个值得关注的技术话题。本文将深入探讨如何在 Sentence Transformers 模型中标准化存储嵌入相似度和距离度量方法。

背景与现状

当前 Sentence Transformers 项目中存在一个技术痛点：不同的模型使用不同的嵌入相似度或距离度量方法来比较它们的嵌入向量。常见的度量方法包括点积(dot product)和余弦相似度(cosine similarity)等。然而，这些度量方法的定义分散在项目的多个文件中，缺乏统一的标准化管理。

技术方案设计

为了解决这一问题，开发团队提出了在模型配置文件(config_sentence_transformers.json)中标准化存储这些度量方法的方案。具体实现方式是在配置文件中添加"score_function"字段，其值可以是"cosine_similarity"或"dot_product"等字符串标识。

这种设计具有以下技术优势：

1. 统一管理：将所有相似度/距离度量方法集中在一个配置文件中
2. 自动加载：模型加载时自动识别并使用配置的度量方法
3. 向后兼容：默认使用余弦相似度，确保现有模型的兼容性

实现细节与考量

在技术实现过程中，开发团队面临几个关键决策点：

1. 度量方法定义方式：团队决定采用枚举(Enum)的方式统一管理所有度量方法，替代原先分散在各处的定义方式。这不仅减少了代码冗余，也提高了可维护性。

2. 相似度与距离的关系处理：对于曼哈顿距离和欧氏距离等度量，团队深入探讨了相似度与距离的数学关系。在自然语言处理领域，相似度通常被定义为距离的负值或通过转换函数(如1/(1+dist))来表示。经过讨论，团队最终采用了负距离的方案，这与学术文献中的常见做法一致。

3. 评估器适配：对于EmbeddingSimilarityEvaluator类，团队确保其能够自动识别并使用模型配置中指定的度量方法，无需用户显式指定，提高了用户体验。

技术影响与展望

这一改进已被纳入Sentence Transformers的v3.0版本中。标准化存储相似度/距离度量方法带来了以下长期效益：

1. 模型可解释性增强：通过配置文件明确记录模型使用的度量方法
2. 评估一致性：确保训练和评估阶段使用相同的度量标准
3. 扩展性提升：为未来添加新的度量方法提供了标准化的扩展途径

对于自然语言处理工程师和研究人员而言，这一改进使得模型配置更加透明，实验结果更加可重现，是Sentence Transformers项目向更加标准化、规范化方向发展的重要一步。