MTEB评测框架中Jasper模型评估异常问题分析

问题背景

在MTEB(大规模文本嵌入基准)评测框架中，用户发现使用不同方式加载NovaSearch团队开发的Jasper模型时，在NanoSCIDOCSRetrieval任务上表现差异巨大。当直接使用SentenceTransformer加载时，模型ndcg@10得分为0.4666，而通过mteb.get_model()加载时得分骤降至0.00226。

问题排查过程

初步观察

技术团队首先注意到两种加载方式下模型输出的维度存在差异：

• 直接加载：1024维
• 通过mteb加载：12288维

这表明模型加载过程中可能存在配置不一致的问题。

深入分析

进一步检查发现，通过mteb.get_model()加载时，模型输出中存在大量NaN值。日志显示：

WARNING:mteb.evaluation.evaluators.RetrievalEvaluator:Found 103926 NaN values in the similarity scores. Replacing NaN values with -1.

这些NaN值严重影响了评估结果的准确性，导致评分异常低下。

根本原因

经过深入排查，发现问题源于浮点精度设置。当使用torch.float16时，模型输出会产生NaN值；而切换为torch.bfloat16后，模型输出恢复正常，评估结果也回升至预期水平(ndcg@10=0.47133)。

技术原理

浮点精度问题

在深度学习领域，浮点精度选择对模型性能有重要影响：

1. float16：16位浮点数，内存占用小但数值范围有限
2. bfloat16：同样16位，但指数位与float32相同，数值范围更大
3. float32：32位标准浮点数，精度最高但内存占用大

Jasper模型在float16精度下出现数值不稳定，产生NaN值，而bfloat16由于其更大的数值范围避免了这一问题。

MTEB框架的模型加载机制

mteb.get_model()提供了统一的模型加载接口，但在处理某些特殊模型时可能需要额外的配置参数。本次问题表明框架在自动处理模型精度方面还有优化空间。

解决方案

技术团队已确认以下解决方案：

1. 修改模型加载代码，显式指定使用bfloat16精度
2. 更新MTEB框架中Jasper模型的相关配置
3. 重新评估模型性能以确保结果准确性

经验总结

这一案例为深度学习模型评估提供了重要经验：

1. 数值稳定性检查应作为模型评估的必要步骤
2. 不同精度设置可能显著影响模型表现
3. 统一的评估框架需要针对特殊模型进行适配
4. NaN值检测和处理机制需要加强

该问题的发现和解决过程展示了开源社区协作的价值，也为后续模型评估工作提供了重要参考。