MTEB项目中的检索与重排序任务评估指标统一化演进

背景介绍

MTEB（Massive Text Embedding Benchmark）作为一个大规模文本嵌入评估基准，在信息检索领域扮演着重要角色。在项目发展过程中，检索（Retrieval）和重排序（Reranking）任务最初采用了不同的评估指标体系，这给结果对比和模型评估带来了一定困扰。

评估指标的历史差异

在早期版本中，重排序任务的评估结果仅包含MAP（Mean Average Precision）和MRR（Mean Reciprocal Rank）等基础指标。例如，针对MindSmallReranking任务的典型输出为：

{
    "map": 0.30883,
    "mrr": 0.319233,
    "nAUC_map_max": -0.20072000000000004,
    "nAUC_map_std": -0.048503,
    "nAUC_map_diff1": 0.141781,
    "nAUC_mrr_max": -0.147901,
    "nAUC_mrr_std": -0.028666,
    "nAUC_mrr_diff1": 0.132767,
    "main_score": 0.30883
}

而实际应用中，业界更常使用AUC（Area Under Curve）和NDCG（Normalized Discounted Cumulative Gain）作为主要评估指标，特别是在新闻推荐等场景下。

统一化改进方案

项目团队在v2版本中实现了检索和重排序任务的评估指标统一化。这一改进带来了以下关键变化：

1. 指标扩展：新增了NDCG@k系列指标，包括k=1,3,5,10,20,100,1000等多个截断点
2. 评估维度丰富化：对每个指标都计算了标准值、最大值、标准差和差分值
3. 结果一致性：确保检索和重排序任务使用相同的评估框架

改进后的评估体系

统一后的评估输出包含了更全面的指标集合：

{
    "ndcg_at_1": 0.5651,
    "ndcg_at_3": 0.54167,
    "ndcg_at_5": 0.54856,
    "ndcg_at_10": 0.6146,
    "ndcg_at_20": 0.73168,
    "map_at_1": 0.15002,
    "map_at_3": 0.27661,
    "map_at_5": 0.34572,
    "recall_at_1": 0.15002,
    "recall_at_3": 0.33055,
    "precision_at_1": 0.5651,
    "precision_at_3": 0.47738,
    "mrr_at_1": 0.565097,
    "mrr_at_3": 0.662973,
    // 更多指标...
}

技术实现要点

1. 多粒度评估：通过不同截断点(k值)的指标，可以更细致地分析模型在不同召回位置的表现
2. 稳定性评估：新增的nAUC系列指标（如nauc_ndcg_at_1_max等）可以评估模型表现的稳定性
3. 兼容性设计：保持向后兼容的同时，增加了业界标准指标

实际应用价值

这一改进使得：

• 不同任务的评估结果可以直接对比
• 更符合工业界实际应用场景的评估需求
• 提供了更丰富的模型诊断维度
• 便于研究者选择最适合自己应用场景的评估指标

总结

MTEB项目通过统一检索和重排序任务的评估指标体系，显著提升了基准测试的实用性和科学性。这一改进不仅使评估结果更加全面，也为后续研究提供了更可靠的比较基础。随着v2版本的发布，这一改进已经正式成为项目标准评估体系的一部分。