LMMS-Eval项目中MLVU任务聚合函数的问题分析

背景介绍

LMMS-Eval是一个用于评估多模态大模型性能的开源评估框架。在该项目中，MLVU（Multimodal Language Understanding and Vision Understanding）是一个重要的评估任务，用于测试模型在多模态理解方面的能力。

问题发现

在项目开发过程中，发现MLVU任务的聚合函数实现存在一个关键问题。根据MLVU官方发布的测试排行榜显示，整体评分应该是各个子类型准确率的平均值，但当前实现中却使用了样本准确率作为聚合方式。

技术细节

在代码层面，这个问题体现在lmms_eval/tasks/mlvu/utils.py文件的第117-122行。当前的实现逻辑是直接计算所有样本的准确率，而没有按照子类型进行分组计算后再取平均。

这种实现差异会导致评估结果与官方标准不一致，可能影响模型性能的横向比较。对于需要精确评估模型在不同子类型上表现的研究工作来说，这种差异尤其重要。

影响分析

1. 评估指标偏差：使用样本准确率可能会掩盖模型在某些子类型上的表现不佳，而平均子类型准确率能更公平地反映模型在各个子任务上的均衡表现。

2. 结果可比性：与官方排行榜结果无法直接比较，影响研究成果的可靠性。

3. 模型优化方向：不同的聚合方式可能导致模型优化策略的差异，影响最终模型能力的均衡发展。

解决方案

该问题已在项目后续版本中得到修复。修复后的实现改为：

1. 首先计算每个子类型的准确率
2. 然后将这些子类型准确率取平均值作为最终评分

这种改进确保了评估方法与官方标准的一致性，使结果更具可比性和参考价值。

经验总结

这个案例提醒我们在实现评估指标时需要注意：

1. 严格遵循原始论文或官方文档中的指标定义
2. 对于多子类型的任务，要明确聚合方式的选择
3. 保持与基准测试的一致性对于研究可复现性至关重要

对于使用LMMS-Eval框架的研究人员，建议及时更新到修复后的版本，以确保评估结果的准确性。