首页
/ MTEB项目中的检索与重排序任务评估指标统一化演进

MTEB项目中的检索与重排序任务评估指标统一化演进

2025-07-01 02:44:49作者:殷蕙予

背景介绍

MTEB(Massive Text Embedding Benchmark)作为一个大规模文本嵌入评估基准,在信息检索领域扮演着重要角色。在项目发展过程中,检索(Retrieval)和重排序(Reranking)任务最初采用了不同的评估指标体系,这给结果对比和模型评估带来了一定困扰。

评估指标的历史差异

在早期版本中,重排序任务的评估结果仅包含MAP(Mean Average Precision)和MRR(Mean Reciprocal Rank)等基础指标。例如,针对MindSmallReranking任务的典型输出为:

{
    "map": 0.30883,
    "mrr": 0.319233,
    "nAUC_map_max": -0.20072000000000004,
    "nAUC_map_std": -0.048503,
    "nAUC_map_diff1": 0.141781,
    "nAUC_mrr_max": -0.147901,
    "nAUC_mrr_std": -0.028666,
    "nAUC_mrr_diff1": 0.132767,
    "main_score": 0.30883
}

而实际应用中,业界更常使用AUC(Area Under Curve)和NDCG(Normalized Discounted Cumulative Gain)作为主要评估指标,特别是在新闻推荐等场景下。

统一化改进方案

项目团队在v2版本中实现了检索和重排序任务的评估指标统一化。这一改进带来了以下关键变化:

  1. 指标扩展:新增了NDCG@k系列指标,包括k=1,3,5,10,20,100,1000等多个截断点
  2. 评估维度丰富化:对每个指标都计算了标准值、最大值、标准差和差分值
  3. 结果一致性:确保检索和重排序任务使用相同的评估框架

改进后的评估体系

统一后的评估输出包含了更全面的指标集合:

{
    "ndcg_at_1": 0.5651,
    "ndcg_at_3": 0.54167,
    "ndcg_at_5": 0.54856,
    "ndcg_at_10": 0.6146,
    "ndcg_at_20": 0.73168,
    "map_at_1": 0.15002,
    "map_at_3": 0.27661,
    "map_at_5": 0.34572,
    "recall_at_1": 0.15002,
    "recall_at_3": 0.33055,
    "precision_at_1": 0.5651,
    "precision_at_3": 0.47738,
    "mrr_at_1": 0.565097,
    "mrr_at_3": 0.662973,
    // 更多指标...
}

技术实现要点

  1. 多粒度评估:通过不同截断点(k值)的指标,可以更细致地分析模型在不同召回位置的表现
  2. 稳定性评估:新增的nAUC系列指标(如nauc_ndcg_at_1_max等)可以评估模型表现的稳定性
  3. 兼容性设计:保持向后兼容的同时,增加了业界标准指标

实际应用价值

这一改进使得:

  • 不同任务的评估结果可以直接对比
  • 更符合工业界实际应用场景的评估需求
  • 提供了更丰富的模型诊断维度
  • 便于研究者选择最适合自己应用场景的评估指标

总结

MTEB项目通过统一检索和重排序任务的评估指标体系,显著提升了基准测试的实用性和科学性。这一改进不仅使评估结果更加全面,也为后续研究提供了更可靠的比较基础。随着v2版本的发布,这一改进已经正式成为项目标准评估体系的一部分。

登录后查看全文
热门项目推荐
相关项目推荐

项目优选

收起
Cangjie-ExamplesCangjie-Examples
本仓将收集和展示高质量的仓颉示例代码,欢迎大家投稿,让全世界看到您的妙趣设计,也让更多人通过您的编码理解和喜爱仓颉语言。
Cangjie
295
957
RuoYi-Vue3RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
493
393
ohos_react_nativeohos_react_native
React Native鸿蒙化仓库
C++
111
196
openGauss-serveropenGauss-server
openGauss kernel ~ openGauss is an open source relational database management system
C++
59
140
HarmonyOS-ExamplesHarmonyOS-Examples
本仓将收集和展示仓颉鸿蒙应用示例代码,欢迎大家投稿,在仓颉鸿蒙社区展现你的妙趣设计!
Cangjie
356
321
leetcodeleetcode
🔥LeetCode solutions in any programming language | 多种编程语言实现 LeetCode、《剑指 Offer(第 2 版)》、《程序员面试金典(第 6 版)》题解
Java
51
14
openHiTLSopenHiTLS
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
97
251
ArkAnalyzer-HapRayArkAnalyzer-HapRay
ArkAnalyzer-HapRay 是一款专门为OpenHarmony应用性能分析设计的工具。它能够提供应用程序性能的深度洞察,帮助开发者优化应用,以提升用户体验。
Python
18
6
arkanalyzerarkanalyzer
方舟分析器:面向ArkTS语言的静态程序分析框架
TypeScript
33
38
CangjieMagicCangjieMagic
基于仓颉编程语言构建的 LLM Agent 开发框架,其主要特点包括:Agent DSL、支持 MCP 协议,支持模块化调用,支持任务智能规划。
Cangjie
579
41