MiniCPM-V模型在MMMU基准测试中的分数差异解析

背景介绍

MiniCPM-V是OpenBMB团队推出的轻量级多模态模型，基于OmniLMM-3B架构构建。近期，社区用户发现该模型在MMMU（Multi-Modal Multi-Task Understanding）基准测试中出现了官方榜单与GitHub文档报告的分数不一致现象：官方榜单显示其val分数为37.2，而项目README中标注为34.7。这一差异引发了技术讨论。

核心原因分析

经过技术团队确认，分数差异源于评测提示词（prompt）的配置不同：

1. 官方榜单结果（37.2）
   使用VLMEval Kit评测工具的标准提示词模板，该模板经过多模态任务优化，能更充分地激发模型能力。

2. GitHub文档结果（34.7）
   采用项目内部测试时的自定义提示词，其设计可能未完全适配MMMU的题目特点，导致分数偏低。

技术启示

1. 提示词工程的重要性
   多模态模型的性能表现高度依赖输入提示的设计。不同的措辞、上下文引导方式可能使同一模型产生5%以上的分数波动。

2. 评测可复现性建议
   研究者若需复现37.2的分数，应严格遵循以下条件：

   • 使用VLMEval Kit默认评测流程
   • 确保数据预处理与官方提交版本一致

3. 模型能力边界
   即使采用优化提示词，MiniCPM-V作为3B参数的轻量级模型，其表现仍显著落后于12B参数的OmniLMM-12B（41.1分），这体现了模型规模对复杂多模态理解任务的关键影响。

实践指导

对于开发者而言，在对比模型性能时需注意：

• 确认评测工具的版本及配置
• 检查提示词是否与目标场景匹配
• 参数规模差异会直接影响结果可比性

该案例典型地反映了多模态评测中"细节决定分数"的现象，也为轻量级模型优化提供了改进方向——通过提示词优化可在不增加计算成本的情况下提升模型表现。