OmniLMM项目中MiniCPM-V模型MMMU评测分数差异解析

在OmniLMM项目的最新进展中，研究人员发现MiniCPM-V模型在MMMU基准测试中出现了官方榜单与GitHub报告分数不一致的情况。具体表现为：GitHub文档中记录的验证集分数为34.7分，而官方排行榜显示的分数达到37.2分。这种差异引起了开发社区的关注，经过技术团队的深入排查，最终确认这是由于评测时使用的提示词(prompt)不同所导致的技术性偏差。

MMMU作为多模态理解领域的重要评测基准，其严谨的测试流程要求所有参与模型必须使用统一的评估标准。技术团队在复现实验结果时发现，当采用VLMEval Kit工具默认提供的标准提示词模板时，MiniCPM-V模型能够稳定输出37.2分的评测结果，这与官方榜单数据完全吻合。而GitHub文档中记录的34.7分则是在项目早期使用不同提示词策略时获得的阶段性结果。

这一案例揭示了提示词工程在多模态模型评测中的关键作用。即使是同一模型架构，不同的提示词设计可能导致评测分数产生2-3个百分点的波动。对于开发者而言，这强调了在对比模型性能时，必须严格确保评估条件的一致性，包括但不限于提示词模板、温度参数(temperature)以及解码策略等核心超参数的设置。

OmniLMM团队通过此次事件进一步优化了项目文档管理流程，确保所有公开的基准测试结果都附带完整的实验配置说明。同时建议社区开发者在复现实验结果时，优先参考官方评估工具的标准配置，以获得最具可比性的性能数据。这一实践也为多模态领域的标准化评测提供了有价值的参考案例。