MTEB基准测试中聚合任务的获取机制优化

背景介绍

MTEB(大规模文本嵌入基准测试)是一个用于评估文本嵌入模型性能的标准化测试套件。在最新版本的MTEB中，开发团队引入了一个新特性——聚合任务(aggregate tasks)，这种设计允许将多个相关任务组合成一个逻辑单元，从而简化测试流程并提高效率。

当前问题分析

在MTEB的现有实现中，get_tasks()函数会返回所有可用的任务，包括聚合任务。这可能导致以下情况：

1. 当用户只想获取基础任务时，会意外获得聚合任务
2. 在特定语言筛选(如languages=["eng"])时，可能返回重复内容
3. 测试场景下需要更精确的任务控制

技术解决方案

开发团队提出了两种可能的改进方向：

1. 默认排除聚合任务：修改get_tasks()的默认行为，使其不返回聚合任务，同时添加include_aggregate参数供需要时显式启用。

2. 保持现状但优化筛选：保留当前默认包含聚合任务的行为，但确保在按语言筛选等操作时能正确处理聚合任务与基础任务的关系。

实现细节

经过讨论，团队倾向于采用第一种方案，即：

• 默认情况下get_tasks()不返回聚合任务
• 添加include_aggregate布尔参数，默认为False
• 当用户明确指定任务名称时(如tasks=[task_name])，无论是否为聚合任务都应返回

这种设计既保持了API的简洁性，又提供了足够的灵活性。对于测试场景，开发者可以通过设置include_aggregate=True来获取完整任务列表。

技术影响

这一改动将带来以下好处：

1. 更符合用户预期：大多数用户场景下不需要处理聚合任务
2. 避免重复：在按语言筛选时不会返回重复内容
3. 保持兼容性：现有代码只需添加参数即可获得之前的行为
4. 测试友好：测试代码可以更精确地控制获取的任务类型

最佳实践建议

对于MTEB用户，建议：

1. 常规使用保持默认参数
2. 需要聚合任务时显式设置include_aggregate=True
3. 在测试代码中根据需求选择是否包含聚合任务

这一改进体现了API设计中的"显式优于隐式"原则，使得任务获取行为更加明确和可预测。