MTEB项目中的模型加载参数管理优化方案

在MTEB（大规模文本嵌入基准测试）项目中，模型加载机制的设计直接影响着基准测试的灵活性和可复现性。当前实现中，模型元数据（ModelMeta）虽然包含了模型加载所需的基本参数，但对于影响模型性能的非核心参数缺乏系统化管理，这一问题在项目迭代过程中逐渐显现。

现有实现分析

当前模型加载采用ModelMeta类封装模型信息，其中loader字段通过functools.partial预绑定OpenAIWrapper的初始化参数。这种方式存在两个明显局限：

1. 参数分类缺失：将模型标识参数（如model_name）与性能调优参数（如max_tokens）混为一谈，缺乏逻辑区分
2. 参数修改不便：要覆盖默认参数需要直接修改ModelMeta定义或重新构造partial对象

技术优化方案

提出的改进方案引入参数分层管理机制：

text_embedding_3_small = ModelMeta(
    name="openai/text-embedding-3-small",
    loader=partial(
        OpenAIWrapper,
        model_name="text-embedding-3-small",  # 模型标识参数
        tokenizer_name="cl100k_base"
    ),
    default_kwargs = dict(  # 性能调优参数
        max_tokens=8191,
        embedding_size=1536
    )
)

核心改进点

1. 参数分类存储

   • 强制参数：决定模型本质特性的参数（如模型名称）
   • 可调参数：影响模型表现但不改变模型本质的参数

2. 接口优化

   mteb.get_model(name, revision, max_tokens=4096)  # 覆盖默认参数
   

3. 配置持久化

   • 默认参数与模型元数据一起存储
   • 自定义参数单独存储以保证可复现性

技术价值

1. 提升实验可复现性：明确记录所有影响结果的参数配置
2. 增强灵活性：无需修改模型定义即可调整超参数
3. 改善工程实践：通过参数分类降低误用风险
4. 支持参数搜索：为超参数优化提供基础设施

该方案与项目现有的模型版本管理机制形成互补，共同构建更完善的模型生命周期管理体系。实施后，研究人员可以更便捷地进行不同参数配置下的对比实验，同时确保实验过程的可追溯性。