Monkey项目MME评估结果差异分析与模型对比

在视觉语言模型领域，评估指标的准确性对于模型性能判断至关重要。近期在使用Monkey项目进行MME（Multimodal Model Evaluation）基准测试时，开发者遇到了评估结果与官方报告存在差异的情况。本文将从技术角度深入分析这一现象，并对比Monkey与Monkey-Chat两个模型版本的关键区别。

评估结果差异分析

根据实际测试数据，使用开源Monkey模型权重获得的MME评估结果为：

• 感知能力(Perception)：1484分
• 认知能力(Cognition)：375分

这与官方报告的Monkey模型基准成绩（Perception 1505分）存在一定差距。经过技术验证，发现这种差异主要来源于以下因素：

1. 输入格式差异：官方测试使用的prompt模板在图像路径和问题之间添加了换行符，这种细微的格式变化会影响模型输出
2. 生成参数配置：max_new_tokens参数设置为10（而非5）能获得更完整的回答
3. 模型版本区别：需注意区分Monkey基础版与优化后的Monkey-Chat版本

模型架构与性能对比

Monkey项目包含两个主要版本：

1. Monkey基础版

   • 开源模型权重
   • 使用特定prompt格式：<img>{img_path}</img>\n{question} Answer:
   • MME典型成绩：Perception 1505分

2. Monkey-Chat优化版

   • 部署于在线演示系统
   • 采用简化的prompt格式：<img>{img_path}</img> {question} Answer:
   • 性能表现更优：Perception 1522分，Cognition 401分
   • 使用不同的训练数据集（非llava1.5-mix665k）

最佳实践建议

对于开发者使用Monkey模型进行MME评估，建议注意以下技术细节：

1. 严格遵循官方提供的测试代码模板
2. 注意模型版本选择，基础版与Chat版的prompt格式存在差异
3. 合理设置生成参数，特别是max_new_tokens长度
4. 确保评估环境的一致性，包括CUDA版本、transformers库版本等

通过理解这些技术细节，开发者能够更准确地评估模型性能，并为实际应用选择合适的模型版本。模型的小版本差异可能带来显著的性能变化，这在多模态模型评估中需要特别关注。