MTEB项目中语言代码格式的规范化实践

在自然语言处理领域，语言代码的标准化对于模型评估和结果复现至关重要。MTEB（Massive Text Embedding Benchmark）作为文本嵌入领域的重要基准测试项目，近期对其元数据中的语言代码格式进行了规范化处理。

背景与问题发现

在模型元数据（ModelMeta）中，部分模型（如BGE等）使用了"eng_Latn"这样的语言代码格式，而下划线形式与项目规范要求的连字符格式"eng-Latn"不符。这种不一致性可能导致：

1. 元数据解析错误
2. 评估结果匹配失败
3. 跨项目协作时的兼容性问题

技术实现方案

项目维护团队决定采用与TaskMetadata.py相同的验证机制来规范化ModelMeta中的语言代码。这一方案具有以下优势：

1. 统一性：确保模型和任务使用相同的语言代码规范
2. 可维护性：复用现有验证逻辑，减少代码重复
3. 扩展性：便于未来添加新的语言代码验证规则

影响范围与处理策略

值得注意的是，这一变更主要影响：

1. 模型元数据定义文件
2. 模型评估配置

而结果仓库（results repo）不受影响，因为其中的语言信息是从任务元数据中获取的，已经符合规范要求。

最佳实践建议

对于开发者而言，在处理语言代码时应注意：

1. 始终使用连字符"-"而非下划线"_"作为分隔符
2. 遵循ISO 639语言代码标准
3. 在提交新模型时运行元数据验证
4. 定期检查现有模型的元数据合规性

总结

通过这次规范化工作，MTEB项目进一步提升了其元数据的标准化程度，为后续的多语言模型评估奠定了更坚实的基础。这种对细节的关注体现了项目维护团队对评估结果准确性和可复现性的高度重视。