MTEB项目新排行榜模型缺失问题分析

背景介绍

MTEB(大规模文本嵌入基准)项目近期更新了其排行榜系统，但在新系统中出现了模型数量大幅减少的情况。具体表现为：在mteb经典排行榜上，新系统仅显示108个模型，而旧系统则包含382个模型。这种显著的差异引起了项目贡献者和用户的关注。

问题表现

通过对比新旧排行榜系统，可以观察到以下现象：

1. 新系统模型数量仅为旧系统的28%左右
2. 部分在旧系统中排名靠前的模型在新系统中消失
3. 中文排行榜受影响尤为明显，多个表现优异的模型未被包含

原因分析

经过项目维护团队的调查，发现造成这种差异的主要原因包括：

1. 模型元数据问题：部分模型缺乏必要的元数据信息，导致无法在新系统中正确显示。维护团队已经为大多数模型实现了元数据，但仍有一些模型存在信息缺失。

2. 零样本测试限制：新系统对模型的零样本能力有更严格的要求，一些不符合这一标准的模型被排除在外。

3. 结果文件问题：某些模型虽然存在于系统中，但由于结果文件缺失或存在问题，导致无法显示在排行榜上。

4. 模型信息不透明：特别是中文排行榜中的部分模型，存在严重的信息缺失问题。例如：

   • 某些模型在仓库中完全缺失
   • 部分模型缺乏基本的README文档说明
   • 一些模型的来源和训练方法完全未知

解决方案

项目团队采取了以下措施来解决这些问题：

1. 手动审查模型：维护人员对大量模型进行了人工审查，特别是中文排行榜中的模型。

2. 元数据补充：为符合条件的模型补充必要的元数据信息。

3. 信息验证：对于信息不透明的模型，团队通过讨论区等方式尝试联系模型作者获取更多信息。

4. 系统优化：修正了部分模型(如gme-Qwen)未被包含的系统疏忽。

后续计划

项目团队将继续：

1. 对比新旧排行榜，确认所有缺失模型的状态
2. 为每个缺失模型建立明确的排除标准
3. 完善系统自动检测机制，减少人工干预需求
4. 加强模型提交规范，要求更完整的文档和元数据

总结

MTEB项目排行榜的更新反映了对模型质量和透明度要求的提高。虽然短期内导致了模型数量的减少，但从长远来看，这将有助于建立更可靠、更具参考价值的基准系统。项目团队正在积极解决过渡期间出现的问题，并致力于为用户提供更准确、更全面的模型评估服务。