MiniCPM-V 2.0模型在TextVQA基准测试中的性能复现指南

MiniCPM-V 2.0作为OpenBMB推出的多模态大模型，在其技术报告中展示了优异的性能表现。然而，部分开发者在实际评估过程中发现TextVQA基准测试结果与报告数据存在差异。本文将深入分析这一问题，并提供完整的评估方案。

评估差异原因分析

根据开发者反馈，直接使用模型默认的chat接口进行评估时，TextVQA得分仅为66分，远低于技术报告中的74.1分。经过项目团队确认，这种差异主要源于以下两个关键因素：

1. 提示词设计：原始评估使用了特定的提示词模板，这对模型性能有显著影响
2. 生成参数配置：不同的解码策略和超参数设置会直接影响模型输出质量

官方推荐评估方案

项目团队提供了完整的评估配置方案，开发者可按照以下设置复现报告中的性能指标：

提示词模板

"Answer the question directly with a single word" + '\n' + question

生成参数配置

{
    "max_new_tokens": 100,
    "sampling": False,  # 使用beam search而非随机采样
    "num_beams": 3      # 设置beam数量为3
}

评估注意事项

1. 输入预处理：确保图像输入符合模型要求的预处理流程
2. 答案后处理：TextVQA评估通常需要提取模型输出的第一个单词作为最终答案
3. 评估一致性：建议使用官方评估脚本确保评分标准一致

性能验证结果

使用上述配置后，开发者反馈TextVQA得分提升至68.62分，虽仍略低于报告值，但已显著优于默认配置。同时值得注意的是，在MME基准测试中，开发者获得了1850分的优异表现，超过了技术报告数据，这表明模型在不同任务上的表现可能存在差异。

总结

MiniCPM-V 2.0模型的性能表现高度依赖于评估配置。开发者在使用时应特别注意提示词设计和生成参数的配置，以确保获得与官方报告可比的评估结果。项目团队表示将持续完善评估文档，为社区提供更详细的性能复现指南。