LMMs-EVAL评估工具在LLaVA模型测试中的关键发现与优化建议

评估工具使用中的性能异常现象

在使用LMMs-EVAL评估工具对LLaVA-1.5-7B模型进行多模态能力测试时，研究人员发现了两个值得注意的性能异常现象。这些发现对于正确使用评估工具和解读模型性能具有重要意义。

批处理大小对评估结果的影响

在ScienceQA(图像)基准测试中，当批处理大小(batch_size)从1增加到2时，模型性能出现了显著下降——准确率从69.56%降至58.70%。这种超过10个百分点的性能差异显然超出了正常波动范围。

技术分析表明，这种现象源于LLaVA模型在批处理推理实现上的特定问题。该模型架构在批处理模式下可能无法正确处理多个样本间的注意力机制，导致特征提取和答案生成出现偏差。值得注意的是，这种批处理问题并非所有视觉语言模型共有的特性，而是LLaVA架构特有的实现限制。

SeedBench评估结果的不一致性

另一个发现是关于SeedBench基准测试的结果差异。使用LMMs-EVAL工具测试得到的性能指标(53.58%和50.99%，分别对应批处理大小1和2)明显低于官方报告中60.49%的水平。经过深入分析，这种差异源于评估逻辑的更新：

1. 原始评估中，对于视频内容，LLaVA模型仅添加单个图像标记(image token)
2. 当前版本的评估工具为视频的每一帧都添加了独立的图像标记
3. 这种改变导致视频相关任务的评估分数下降，从而拉低了整体性能

技术建议与最佳实践

基于这些发现，我们提出以下技术建议：

1. 批处理设置：评估LLaVA模型时应始终使用batch_size=1，避免批处理推理带来的性能失真。对于需要高效批量推理的场景，可考虑以下替代方案：

   • 使用专为批处理优化的SRT模型架构
   • 采用LLaVA SGLang版本，通过SGLang服务器实现高效推理

2. 评估结果解读：比较不同来源的模型性能时，需确认评估工具版本和具体实现细节的一致性，特别是对于多帧视频内容的处理方式。

3. 环境配置：虽然CUDA和PyTorch版本理论上不应影响模型性能，但建议使用与官方报告一致的环境配置(如CUDA 11.7/11.8)以确保结果可比性。

这些发现提醒我们，在多模态模型评估中，评估工具的实现细节和模型架构特性都可能显著影响最终性能指标。研究人员应当充分了解这些技术细节，才能对模型能力做出准确判断。