MTEB评测中GritLM-7b模型STS22任务得分异常分析

在embeddings-benchmark/mteb项目的评测过程中，发现GritLM-7b模型在STS22.v1任务上的得分为NaN（非数字），这一异常情况引起了开发团队的关注。经过技术分析，我们找到了问题的根源并制定了解决方案。

问题背景

STS22（Semantic Textual Similarity 2022）是多语言语义相似度评测任务，要求模型能够准确评估不同语言文本之间的语义相似程度。在标准评测流程中，GritLM-7b模型在该任务上的得分显示为NaN，这显然不符合预期。

原因分析

经过深入排查，发现问题源于以下技术细节：

1. 多语言支持不完整：GritLM-7b模型当前仅支持英语单语种处理，而STS22是多语言评测任务。当模型遇到非英语文本时，无法生成有效输出，导致最终得分为NaN。

2. 评测版本差异：项目使用了新版本的MTEB评测框架重新运行测试，但新版本测试结果中只保留了多语言评测文件，而英语单语种的结果保存在另一个文件中。

解决方案

针对这一问题，技术团队制定了以下解决方案：

1. 数据合并方案：将英语单语种的评测结果手动合并到新版本的多语言评测文件中。这种方法虽然需要人工干预，但能保证评测结果的完整性。

2. 模型改进建议：长期来看，建议模型开发者扩展GritLM-7b的多语言处理能力，使其能够真正支持STS22等多语言评测任务。

技术启示

这一案例给我们带来以下技术启示：

1. 评测完整性：在进行模型评测时，需要确保评测任务与模型能力的匹配性。单语种模型参与多语言任务评测可能导致结果异常。

2. 版本兼容性：评测框架的版本更新可能影响结果文件的组织方式，需要特别注意新旧版本间的数据迁移问题。

3. 异常处理机制：建议在评测系统中增加对NaN等异常值的检测机制，及时发现并处理类似问题。

通过这次问题的分析和解决，项目团队对模型评测过程中的各种边界情况有了更深入的理解，为后续的评测工作积累了宝贵经验。