MTEB项目中FollowIR检索基准的重命名与演进

背景介绍

MTEB(大规模文本嵌入基准)项目是一个用于评估文本嵌入模型性能的开源框架。近期，项目维护者对其中"Retrieval w/Instructions"基准进行了重命名讨论，最终决定将其更名为"FollowIR"。

命名变更过程

项目贡献者Muennighoff最初提出将"MTEB(Retrieval w/Instructions)"更名为"FollowIR"的建议。经过团队讨论，KennethEnevoldsen确认了这一变更，但随后发现相关模型从排行榜中消失。经过进一步调查，确认并非技术实现问题，而是名称变更导致的显示差异。

技术实现考量

FollowIR作为专门针对指令检索任务的评估基准，其实现已经存在于项目代码库中，相关结果也已在GitHub上公布。这次更名主要是为了统一术语和提升命名的准确性，不涉及底层评估逻辑的改变。

未来发展方向

项目维护者还讨论了创建元基准(Meta-Benchmark)的可能性，这将是一个整合多个专项评估基准的综合性评估框架。潜在的子基准可能包括：

• MTEB(英语)
• MTEB(多语言)
• MTEB(欧洲语言)
• FollowIR
• LongEmbed(长文本嵌入)
• Code(代码相关)

这种模块化设计将使评估框架更加灵活，能够根据研究需求组合不同的评估维度。

总结

MTEB项目通过这次基准重命名，进一步规范了评估体系的术语使用。FollowIR作为专注于指令检索任务的专项基准，将与项目中的其他评估模块一起，为文本嵌入技术的研究提供更全面、准确的评估支持。这种持续优化也体现了开源社区对评估标准严谨性的追求。