MTEB项目任务元数据中类别字段的模态化改造分析

在MTEB（大规模文本嵌入基准）项目中，任务元数据的"category"字段长期以来存在语义模糊的问题。本文深入分析该字段的现状、问题根源以及改进方案。

现状与问题

当前category字段主要存在两种使用模式：

1. 长度描述型（如s2p表示句子到段落）
2. 模态描述型（如t2i表示文本到图像）

这种双重语义导致以下问题：

• 字段含义不明确，开发者容易混淆
• 与新增的描述性统计功能（如average_document_length）存在数据冗余
• 跨项目（如MIEB）协作时出现语义不一致

技术分析

通过代码审查发现，部分模型实现（如NV-Embed和Jasper）确实依赖该字段决定是否使用提示模板。但进一步分析表明：

1. 段落(passage)与段落(paragraph)概念存在差异
2. 提示模板的选择应通过专门的PromptType字段控制
3. 现有长度描述信息已可通过描述性统计数据获取

改进方案

经过核心团队讨论，确定以下改造方案：

1. 统一采用模态描述语义

   • 文本到文本：t2t
   • 文本到图像：t2i
   • 文本到视频：t2v

2. 保留原有信息的方式

   • 对需要区分句子/段落的情况，采用二级分类：

   {
     "t2t": "s2p"
   }
   

3. 提示模板控制

   • 完全通过PromptType字段管理
   • 移除模型实现中对category字段的依赖

实施影响

该改造将带来以下好处：

• 提升元数据字段的语义明确性
• 增强与MIEB等姊妹项目的兼容性
• 为未来多模态扩展预留空间
• 减少与描述性统计的数据冗余

最佳实践建议

对于模型开发者：

• 使用PromptType而非category决定提示模板
• 需要长度信息时优先查询描述性统计数据

对于任务贡献者：

• 多模态任务使用t2x格式
• 纯文本任务默认使用t2t
• 特殊需求才使用二级分类

该改造已在新版本中实施，标志着MTEB项目在元数据规范化方面迈出重要一步。