MiniCPM-V模型评测指标差异分析及复现指南

在评估MiniCPM-V-2_6 8B模型性能时，部分开发者反馈其评测结果与官方公布指标存在差异。本文将从技术角度分析这一现象，并提供完整的评测方案。

评测指标差异现象

当使用VLMEvalKit工具评测MiniCPM-V-2_6 8B模型时，开发者获得的TextVQA结果为78.372分，OCRbench结果为839分，这与官方公布的TextVQA 80.1分和OCRbench 852分存在一定差距。

原因分析

这种差异主要源于评测工具和方法的不同。MiniCPM-V项目针对不同评测任务提供了专门的评估方案：

1. TextVQA评估：官方结果采用项目内eval_mm目录中的vqaeval工具进行评测
2. OCRBench评估：官方结果采用项目内eval_mm目录中的vlmevalkit工具进行评测

正确评测方案

为确保评测结果与官方指标一致，建议开发者按照以下方案进行评测：

TextVQA评测步骤

1. 使用项目提供的专用vqaeval评估工具
2. 在8卡GPU环境下运行评测
3. 严格按照评估脚本的参数配置执行

OCRBench评测步骤

1. 使用项目内集成的vlmevalkit评估套件
2. 确保评估环境与官方一致（8卡GPU）
3. 使用项目提供的标准评测配置参数

技术建议

1. 环境一致性：评测时应确保硬件环境与官方一致（特别是GPU数量）
2. 工具版本：使用项目提供的评估工具而非通用评估套件
3. 参数配置：严格遵循项目文档中的评测参数设置
4. 数据预处理：确认输入数据的预处理方式与官方流程一致

通过采用上述方案，开发者可以复现出与官方一致的评测结果，确保模型性能评估的准确性和可比性。