MTEB项目中波兰语评测基准的版本兼容性问题分析

在开源项目embeddings-benchmark/mteb中，波兰语（Polish）文本嵌入模型的评测基准存在版本兼容性问题。这个问题涉及到评测任务的选择和分数对比，对模型性能评估的准确性有重要影响。

问题的核心在于不同版本中使用的评测任务不一致。具体表现为：

1. 当前版本的benchmarks.py实现使用了STSBenchmarkMultilingualSTS任务
2. 但现有的MTEB排行榜并未包含这个任务

这种不一致导致两个版本之间的分数无法直接比较。技术团队经过讨论提出了两种解决方案：

1. 从benchmarks.py中移除STSBenchmarkMultilingualSTS任务
2. 维持现状，但会导致v1版本的顶级模型在v2中排名靠前（因为它们缺少该任务的分数）

经过深入分析，技术团队确认STSBenchmarkMultilingualSTS任务原本就不包含在PL-MTEB评测中，因此最终决定采用第一种方案，从代码实现中移除该任务以保持一致性。

此外，技术专家还发现聚类任务的结果也需要验证，因为v2版本中这些任务有所更新，可能存在兼容性问题。这个问题需要进一步的技术调查和验证。

这个案例展示了在多语言文本嵌入评测中保持版本间一致性的重要性。技术团队需要确保：

• 评测任务集的稳定性
• 跨版本分数的可比性
• 对变更影响的充分评估

对于使用该评测基准的研究人员和开发者来说，理解这些技术细节有助于更准确地解读模型性能指标，避免因版本差异导致的误解。