MTEB项目中BAAI/bge系列模型评测结果复现问题分析

背景介绍

在开源文本嵌入模型评测项目MTEB中，用户反馈在复现BAAI/bge系列英文模型(BAAI/bge-base-en、BAAI/bge-large-en、BAAI/bge-small-en)在MSMARCO和NQ任务上的评测结果时，遇到了显著低于官方报告值的问题。这一问题引起了项目维护者的关注，经过深入分析发现了关键原因。

问题现象

用户使用MTEB标准评测流程对三个模型进行测试时，发现评测结果与HuggingFace上报告的性能存在明显差距。具体表现为：

• bge-small-en模型在MSMARCO任务上复现结果为33.023，而官方报告为40.842
• bge-large-en模型在NQ任务上复现结果仅为1.968，远低于官方报告的53.241
• bge-base-en模型也出现了类似差距

原因分析

经过项目维护者的调查，发现问题根源在于模型输入的前缀提示(Prompt)未被正确添加。BAAI/bge系列模型在用于检索任务时，需要为查询文本添加特定的前缀指令才能获得最佳性能。

具体来说，这些模型设计时考虑了指令微调(Instruction Fine-tuning)的特性，要求查询文本前应添加"Represent this sentence for searching relevant passages:"这样的提示语。这一设计使得模型能够区分普通文本编码和检索专用编码两种场景。

解决方案

正确的使用方式是在初始化模型时通过model_prompts参数指定查询前缀：

model = mteb.get_model("BAAI/bge-large-en", 
                      model_prompts={"query": "Represent this sentence for searching relevant passages: "})

这一配置确保了模型在编码查询文本时能够识别其检索意图，从而产生更优的嵌入表示。

技术启示

这一案例揭示了几个重要的技术要点：

1. 指令感知模型：现代嵌入模型越来越多地采用指令感知设计，通过提示词区分不同使用场景，开发者需要关注模型文档中的使用说明。

2. 评测一致性：在复现模型评测结果时，必须严格遵循原始评测的所有配置细节，包括可能被忽视的预处理步骤。

3. 版本兼容性：不同版本的模型可能有不同的使用要求，如v1和v1.5版本在提示词处理上就存在差异。

后续改进

MTEB项目团队已计划将这一配置整合到标准模型加载流程中，避免未来用户遇到相同问题。同时，这也提示我们需要：

1. 完善模型文档，突出关键使用注意事项
2. 在模型集成时考虑向后兼容性
3. 建立更严格的评测复现检查机制

这一问题的解决不仅帮助用户正确使用BAAI/bge系列模型，也为文本嵌入模型的标准化评测提供了有价值的实践经验。