MTEB项目中的中文嵌入模型元数据缺失问题分析

背景概述

MTEB（Massive Text Embedding Benchmark）作为文本嵌入模型评估的重要基准平台，近期发现其对中国特定语言模型的支持存在不足。项目维护团队在检查过程中，识别出大量中文嵌入模型缺乏必要的ModelMeta元数据对象，这直接影响了这些模型在基准测试中的表现和可比较性。

问题模型分类

中文专用模型缺失情况

项目团队最初整理出一份包含41个中文专用模型的列表，这些模型虽然在原始C-MTEB测试中已有结果，但尚未集成到MTEB库中。经过深入分析和筛选，团队排除了以下类型模型：

• 可疑的微调版本
• 蒸馏版本
• 量化版本
• 缺乏文档说明的模型

最终确定需要实现的核心中文模型包括：

1. DMetaSoul系列中文嵌入模型
2. Stella系列不同规模的变体
3. Jina中文嵌入模型
4. Moka的M3E系列
5. Piccolo系列中文模型
6. Text2Vec中文实现
7. 其他特定用途的中文嵌入模型

多语言模型缺失情况

同时发现的还有12个多语言模型同样缺少元数据定义，这些模型理论上应支持中文处理能力。经过评估，团队优先考虑了具有广泛影响力的多语言Sentence Transformers实现。

技术实现进展

项目团队采取了分阶段实施方案：

第一阶段：优先处理BAAI的BGE系列和GTE系列模型，这些模型在中文NLP社区具有较高影响力。实现已通过PR#1805合并入库。

第二阶段：补充Sentence Transformers相关模型，包括：

• distiluse-base-multilingual-cased-v2
• use-cmlm-multilingual 这些实现已通过PR#1814完成。

第三阶段：重点处理Stella系列中文模型，包括多个版本和尺寸的变体。技术团队注意到部分早期版本已过时，决定不纳入支持范围。相关实现通过PR#1824提交。

特殊模型处理

对于Text2Vec系列中文实现，技术团队最初认为需要定制化实现，但后续验证发现可通过标准Sentence Transformers接口支持。这简化了集成过程，同时保证了功能完整性。

项目意义与影响

此次元数据补充工作具有多重价值：

1. 提升了MTEB对中文NLP社区的支持度
2. 使更多中文嵌入模型能够参与标准化评估
3. 为研究人员提供更全面的模型比较基准
4. 促进了中文嵌入模型的标准化发展

通过系统化的模型筛选和元数据补充，MTEB项目进一步巩固了其作为多语言文本嵌入评估基准的权威地位，特别加强了对中文语言特性的支持能力。这项工作也为其他语言模型的集成提供了可参考的实施范例。