MTEB基准测试中的数据集与任务命名规范问题分析

在评估文本嵌入模型性能时，MTEB（Massive Text Embedding Benchmark）作为业界广泛使用的基准测试套件，其数据集的完整性和命名的准确性至关重要。近期社区发现MTEB在论文描述与在线排行榜之间存在若干不一致现象，这些问题可能影响研究人员的评估工作。

数据集数量差异问题

技术团队在检查过程中发现，MTEB(eng)基准在论文不同章节中出现了三种不同的任务数量描述：

• 表1和第427行声称包含40个任务
• 第259行提及26个任务
• 实际排行榜和表16显示41个任务

类似地，多语言基准MTEB(multilingual)也存在数量差异：

• 论文中记录为131个任务
• 在线平台显示132个任务

经核查，这些差异主要源于基准测试的持续更新机制。例如MiraclRetrievalHardNegatives数据集是在论文初稿提交后新增的，导致版本迭代过程中出现统计口径不一致的情况。

命名规范性问题

社区成员同时指出了术语使用不规范的现象：

1. 任务(Task)与数据集(Dataset)概念混用，例如BUCC作为数据集名称被错误标注为任务类型
2. ClimateFEVERHardNegatives数据集在论文附录中有记录，但在排行榜界面未明确显示
3. 多语言基准的默认展示方式容易使人误解"MMTEB"专指MTEB(multilingual)，而实际上该缩写应涵盖所有子基准

技术解决方案

项目维护者已采取以下改进措施：

1. 统一术语体系，将界面元素中的"dataset"表述修正为"task"
2. 重建基准测试对照表，确保与最新代码分支保持一致
3. 优化UI设计，使不同子基准（如eng/multilingual/code等）的切换更加醒目

未来优化方向

根据社区建议，技术团队计划：

1. 建立全局概览页面，整合所有子基准的评估结果
2. 采用分级展示策略：
   • 通用型基准（多模态/多语言）
   • 领域专项（代码/法律/医疗）
   • 区域型基准（欧洲/印度语系）
   • 单语言基准（中文/英文）
3. 实现版本控制机制，确保论文与实现版本的严格对应

这些改进将显著提升基准测试的透明度和可用性，为文本嵌入技术的研究提供更可靠的评估基础。