MTEB中文基准测试结果缺失问题分析与解决方案

问题背景

MTEB（Massive Text Embedding Benchmark）中文基准测试（C-MTEB）在结果展示过程中出现了大量结果缺失的情况。经过深入调查，发现问题并非简单的数据分割缺失导致，而是与结果加载机制和数据结构变更有关。

核心问题分析

1. 主评分字段缺失问题

在检查intfloat/multilingual-e5-small模型的Cmnli任务结果时发现，结果文件中缺少main_score字段。该字段是结果加载的关键依据，因为MTEB在加载结果时默认只加载主评分（only_main_score=True）以避免内存溢出。

2. 评分结构变更影响

MTEB在历史版本更新中对评分结构进行了调整（#1037），导致新旧版本结果文件结构不一致。例如：

• 旧版使用max_accuracy作为主评分
• 新版使用嵌套结构{"max": {"accuracy": score}}

3. 模型元数据缺失

部分包含旧结果的文件夹缺少model_meta.json文件，而load_results()默认要求必须存在模型元数据（require_model_meta=True），导致这些结果无法加载。

技术细节解析

评分结构差异

对比新旧版本评分结构：

# 旧版结构
{
    "max_accuracy": 0.6535,
    "max_ap": 0.7212,
    "max_f1": 0.7057
}

# 新版结构
{
    "max": {
        "accuracy": 0.6535,
        "ap": 0.7212,
        "f1": 0.7057
    }
}

结果加载机制

MTEB使用TaskResult.from_disk()加载结果文件时，会执行以下关键步骤：

1. 检查文件完整性
2. 提取评分数据
3. 根据任务元数据中的main_score字段定位关键评分
4. 验证评分存在性

解决方案与修复

1. 结果加载逻辑优化

在PR #1801中实现了以下改进：

• 增强对旧版结果文件的兼容性处理
• 优化评分字段匹配逻辑
• 添加缺失模型元数据

2. 基准任务定义修正

针对中文基准测试中的任务：

• 统一使用v1版本的聚类任务（与原始论文一致）
• 修正任务版本标注错误
• 明确指定MultilingualSentiment任务应使用测试集而非验证集

3. 评分标准统一

对于Cmnli和Ocnli任务：

• 保持使用max_accuracy作为主评分标准
• 接受与旧版结果的差异（旧版使用max_ap）

影响评估

修复后，模型intfloat/multilingual-e5-small的结果变化如下：

任务名称	旧版结果	新版结果	差异原因
Cmnli	72.12	65.35	评分标准从max_ap改为max_accuracy
Ocnli	60.77	58.69	同上
MultilingualSentiment	64.74	66.34	使用测试集而非验证集
STSB	84.11	77.73	旧版结果无法验证

后续工作

1. 补充缺失的模型元数据（#1803）
2. 完善中文基准测试的任务定义
3. 建立结果文件验证机制
4. 编写版本迁移指南

通过本次问题修复，MTEB中文基准测试的结果完整性和准确性得到了显著提升，为后续研究提供了更可靠的数据基础。