Monkey项目中Mini-Monkey模型评测指标复现问题解析

评测指标差异现象

在复现Monkey项目中Mini-Monkey模型的评测指标时，多位研究人员发现实测结果与论文报告数据存在明显差异。主要差异体现在以下几个数据集上：

• STVQA准确率：论文69.9 vs 实测64.2
• POIE准确率：论文42.9 vs 实测47.8
• FUNSD准确率：论文70.3 vs 实测63.4
• DocVQA测试集：论文87.4 vs 实测86.96
• ChartQA：论文76.5 vs 实测76.2
• OCRBench：论文802 vs 实测800

原因分析与解决方案

经过项目维护者的确认和多次验证，发现评测指标差异主要由以下几个因素导致：

1. 评测脚本版本问题

原始提供的评测脚本与论文中使用的版本存在细微差别。项目方后续更新了评测脚本，使用更新后的脚本可以得到更接近论文报告的结果。

2. 运行环境配置差异

环境配置对评测结果有显著影响，特别是以下关键组件：

• flash-attn版本：推荐使用2.5.8
• PyTorch版本：推荐2.2.2
• transformers版本：推荐4.40.1
• Python版本：推荐3.10.14
• CUDA版本：推荐11.8

3. 模型推理参数设置

对于不同的评测任务，需要采用特定的预处理和后处理策略。例如：

• 在DocVQA和ChartQA评测中，需要使用dynamic_preprocess2处理
• 不同数据集的评测脚本需要针对Mini-Monkey模型进行适配

4. 训练超参数影响

对于重新训练模型的情况，学习率的设置尤为关键。项目维护者建议使用4e-9的学习率在4块GPU上进行训练，才能复现论文中的结果。

最佳实践建议

为了准确复现Mini-Monkey模型的评测指标，建议遵循以下步骤：

1. 使用项目方最新提供的评测脚本
2. 严格按照推荐的环境配置搭建评测环境
3. 对于不同评测任务，使用对应的预处理和后处理方法
4. 在模型训练时，注意学习率等关键超参数的设置
5. 对于关键评测指标，建议多次运行取平均值以减少随机性影响

通过以上措施，可以最大限度地缩小评测结果与论文报告数据之间的差异，确保研究工作的可重复性和可比性。