在lmms-eval项目中评估Llava模型时解决N/A分数问题

问题背景

在使用lmms-eval项目评估Llava模型时，开发者可能会遇到评估结果显示N/A分数的情况。这个问题通常出现在运行MMBench评估任务时，特别是在使用Llava-v1.5-7b模型进行评估的场景下。

问题原因分析

经过技术分析，这个问题主要由两个因素导致：

1. Flash Attention兼容性问题：当启用Flash Attention 2时，会出现"Error query and key must have the same dtype in generating"的错误。这是由于transformers库版本与Llava模型之间的兼容性问题导致的。

2. 评估机制设计：最初的MMBench评估设计是将结果提交到官方服务器进行评分，而不是在本地计算分数，这导致了本地评估时显示N/A分数。

解决方案

针对上述问题，开发团队提供了以下解决方案：

1. 禁用Flash Attention：

   • 在模型参数中设置use_flash_attention_2=False
   • 或者降级transformers库到4.36.2或4.37.2版本

2. 本地评分功能：

   • 开发团队新增了本地计算MMBench评分的功能
   • 现在可以直接在本地获得gpt_eval_score指标

实际验证结果

使用修复后的代码进行评估，Llava-v1.5-7b模型在MMBench英文开发集上获得了64.0893分的gpt_eval_score，与论文报告的结果一致。完整评估结果如下：

• mmbench_cn_cc: 23.5294
• mmbench_cn_dev: 55.6701
• mmbench_en_dev: 64.0893

注意事项

1. 对于测试集(如mmbench_en_test)，由于官方数据集中答案列被屏蔽，仍然需要将生成结果提交到MMBench官方服务器获取分数。

2. 不同版本的transformers库可能与Llava模型存在其他兼容性问题，建议使用经过验证的版本组合。

结论

通过禁用Flash Attention或降级transformers库版本，并更新到最新版的lmms-eval代码，开发者可以成功在本地评估Llava模型在MMBench上的表现。这一改进大大简化了多模态大模型的评估流程，为研究人员提供了更便捷的评估工具。