MTEB项目中任务关系的自动化标注方案探讨

背景介绍

MTEB(Embeddings Benchmark)是一个用于评估文本嵌入模型性能的开源基准测试项目。在当前的实现中，项目需要手动标注模型与各种翻译任务之间的关系，这给维护工作带来了不小的负担。

当前问题分析

目前代码中采用硬编码方式标注模型与翻译任务的关系，例如：

"MSMARCO": ["train"],
"MSMARCOHardNegatives": ["train"],
"MSMARCO-PL": ["train"],  # 未在翻译任务上训练
"mMARCO-NL": ["train"],  # 未在翻译任务上训练

这种方式存在几个明显问题：

1. 维护成本高：每当新增翻译任务时，需要手动更新所有相关模型的标注
2. 容易出错：人工标注难以保证一致性
3. 可扩展性差：随着任务数量增加，维护难度呈指数级上升

技术解决方案

核心思路

通过引入translated_from元数据字段，建立任务间的派生关系，实现自动化关系推断。具体来说：

1. 在TaskMetadata中增加translated_from字段
2. 该字段指向原始任务名称
3. 在排行榜生成时自动检查这种派生关系

实现优势

1. 自动化程度高：只需标注基础关系，派生关系自动推断
2. 维护简单：新增翻译任务只需标注其来源，无需修改其他模型配置
3. 一致性保证：通过统一机制处理所有翻译任务关系

技术细节探讨

元数据结构设计

建议的元数据结构扩展：

class TaskMetadata:
    # 现有字段...
    translated_from: Optional[str] = None  # 指向原始任务名称

关系推断逻辑

在排行榜生成时，可以：

1. 检查当前任务的translated_from字段
2. 如果存在，则自动继承原始任务的所有训练关系
3. 同时可以添加特殊标记(如"translation")以区分翻译任务

异常处理

需要考虑的边界情况：

1. 循环引用检测
2. 多级派生关系(翻译的翻译)
3. 字段缺失时的回退机制

实施建议

1. 分阶段实施：

   • 第一阶段：实现基础元数据字段和简单关系推断
   • 第二阶段：增加复杂关系处理和异常检测

2. 兼容性考虑：

   • 保留现有标注方式作为回退方案
   • 提供迁移工具帮助转换旧配置

3. 文档更新：

   • 详细说明新的关系标注方式
   • 提供典型用例示例

预期效益

1. 降低维护成本：减少人工标注工作量约70%
2. 提高准确性：消除人为错误导致的标注不一致
3. 增强扩展性：轻松支持未来新增的翻译任务

这种自动化关系标注方案将显著提升MTEB项目的可维护性和扩展性，为后续更多语言和任务的集成奠定良好基础。