OpenBMB/OmniLMM项目中MiniCPM-V-2_6模型评估指标差异分析

在模型评估过程中，评测结果的准确性对于研究人员和开发者至关重要。本文针对OpenBMB/OmniLMM项目中MiniCPM-V-2_6 8B模型在TextVQA和OCRBench评测指标上出现的差异进行技术分析。

评估指标差异现象

用户在使用VLMEvalKit评测工具对MiniCPM-V-2_6 8B模型进行评测时，发现以下指标与官方公布结果存在差异：

• TextVQA评测结果：78.372（用户结果）vs 80.1（官方结果）
• OCRBench评测结果：839分（用户结果）vs 852分（官方结果）

差异原因分析

经过技术验证，这种差异主要来源于评测工具和评测环境的不同配置：

1. TextVQA评测差异：

   • 官方使用的是项目eval_mm目录中的vqaeval专用评测工具
   • 用户使用的是通用的VLMEvalKit评测工具
   • 两种工具在数据处理、答案匹配和评分计算上可能存在细微差异

2. OCRBench评测差异：

   • 官方评测是在8卡GPU环境下进行的
   • 用户可能使用了不同数量的GPU或不同的硬件配置
   • 分布式评测中的batch size和数据并行策略会影响最终结果

技术建议

为确保评测结果的可比性和可复现性，建议开发者：

1. 严格按照项目文档中指定的评测工具和环境配置进行测试
2. 对于TextVQA评测，使用项目提供的vqaeval专用工具
3. 对于OCRBench评测，确保使用8卡GPU环境
4. 记录完整的评测配置参数，包括batch size、数据预处理方式等

模型评估最佳实践

在大型语言模型评估中，以下几点需要特别注意：

1. 评测工具一致性：不同评测工具可能在预处理、后处理和评分计算上有细微差别
2. 硬件配置一致性：GPU数量、显存大小会影响模型的推理效果
3. 随机种子固定：确保评测过程中的随机性因素被控制
4. 完整日志记录：保存完整的评测日志以便问题排查

通过遵循这些最佳实践，可以最大程度地保证模型评估结果的可比性和可靠性。