LLaVA-NeXT项目中的MMMU评估性能差异问题分析

在LLaVA-NeXT开源项目的开发过程中，研究人员发现了一个值得关注的技术问题：使用不同评估工具时，LLaVA-OV模型在MMMU验证集上的性能表现存在显著差异。

问题现象

根据项目记录，LLaVA-OV论文中报告的MMMU验证集得分为48.3，但当使用lmms-eval评估工具进行复现时，得分下降至43.5。这种约5分的性能差异在模型评估中属于较为显著的变化。

值得注意的是，在其他基准测试如AI2D、ChartQA、MMBench(英文开发集)和SeedBench(图像)上，使用lmms-eval工具能够成功复现论文报告的结果。这表明问题具有特定性，主要集中在MMMU数据集上。

问题解决

经过技术排查，开发团队发现这一问题源于评估工具的版本差异。通过更新至最新版本的lmms-eval代码库，该性能差异问题得到了解决。

技术启示

这一案例为深度学习模型评估提供了几点重要启示：

1. 评估工具一致性：模型性能评估结果可能因评估工具版本不同而产生差异，特别是在处理复杂多模态任务时

2. 结果复现性：即使在其他基准测试上能够复现结果，也不能保证所有测试集都能获得一致的表现

3. 版本控制重要性：在科研工作中，明确记录和统一评估工具的版本对于结果的可比性和可复现性至关重要

4. 问题定位：当发现特定数据集上的性能差异时，应考虑评估流程和工具本身可能存在的问题

这一问题的解决过程展示了开源社区协作的优势，通过代码更新和版本管理能够有效解决技术实现中的不一致性问题。