MTEB项目中的可选依赖优化方案

背景介绍

MTEB（Massive Text Embedding Benchmark）是一个用于评估文本嵌入模型性能的基准测试框架。随着项目的发展，特别是将MIEB（多模态嵌入基准）合并到主分支后，项目的依赖项数量显著增加。这给用户带来了不必要的安装负担，特别是对于那些不需要使用全部功能的用户。

依赖项分析

当前MTEB项目的主要依赖项包括：

1. 核心必需依赖：

   • datasets（>=2.19.0,<3.0.0）
   • numpy（>=1.0.0,<3.0.0）
   • scikit-learn（>=1.0.2）
   • scipy（用于STS和摘要任务中的pearsonr、spearmanr计算）
   • torch（>1.0.0）
   • tqdm（>1.0.0）
   • pytrec-eval-terrier（>=0.5.6）
   • pydantic（>=2.0.0）
   • typing_extensions（用于Pydantic的TypedDict验证）

2. 潜在可选依赖：

   • torchvision（MIEB所需）
   • sentence_transformers（>=3.0.0）
   • requests（>=2.26.0）
   • rich（可通过#1046移除）

3. 其他依赖：

   • polars（>=0.20.22）
   • eval_type_backport（具体用途待确认）

优化方案

针对上述依赖分析，项目团队提出了以下优化方案：

1. MIEB相关依赖作为可选安装：

   • 创建mteb[mieb]可选安装组，包含torchvision和其他MIEB模型相关依赖
   • torchvision版本与torch对齐，建议设置为">0.2.1"

2. 其他可选依赖处理：

   • 保留sentence_transformers为必需依赖，因其改动涉及大量代码重构
   • requests可考虑设为可选，因其主要用于模型部分
   • rich依赖可通过#1046完全移除

3. 未来优化方向：

   • 持续评估各依赖项的必要性
   • 考虑为不同功能模块创建更多可选安装组
   • 监控依赖版本兼容性问题

技术实现细节

在技术实现上，Python项目可以通过setup.py或pyproject.toml中的extras_require来定义可选依赖组。例如：

extras_require = {
    'mieb': ["torchvision>0.2.1", ...],
    # 可添加更多可选组
}

用户可以通过以下方式安装带有可选功能的包：

pip install mteb[mieb]

总结

通过将非核心功能相关的依赖项设为可选，MTEB项目能够：

1. 减少基础安装的依赖项数量
2. 降低用户安装负担
3. 提高项目的灵活性
4. 保持核心功能的稳定性

这种优化方式在大型Python项目中是常见的最佳实践，特别是当项目功能模块不断增加时。它不仅改善了用户体验，也使得项目维护更加清晰和模块化。