VLMEvalKit项目中GPT-4o在MathVista基准测试的性能差异分析

在开源项目VLMEvalKit的模型评估过程中，研究人员发现GPT-4o在MathVista基准测试上的表现存在显著差异。本文将从技术角度深入分析这一现象背后的可能原因，并为开发者提供相关建议。

测试结果差异现象 根据项目团队的测试记录，GPT-4o在MathVista基准上的官方报告得分为62.7%，但后续复现测试中出现了三种不同结果：

1. 使用原始预测文件复现：62.6%（与报告值基本一致）
2. 全新完整评估过程：60.9%（下降约2%）
3. 修改提示词后测试：65.3%（提升明显）

技术原因分析

1. 模型版本问题：测试确认使用了gpt-4o-20240806版本，但专有模型的黑箱特性使得难以确定内部是否发生变化。API模型在不同时间点的表现可能存在差异。

2. 提示工程影响：测试发现，在提示词末尾添加"\nsolution:"显著提升了模型表现（达到65.3%），这揭示了提示词设计对评估结果的重要影响。

3. 评估方法差异：

   • 使用原始预测文件复现结果稳定
   • 全新评估流程结果波动较大
   • 这表明评估过程本身的稳定性需要关注

给开发者的建议

1. 对于专有API模型的评估，应当记录具体的评估时间戳，因为服务提供商可能在不通知的情况下更新模型。

2. 提示词工程是影响大模型表现的关键因素，开发者应该：

   • 详细记录评估时使用的完整提示模板
   • 尝试不同的提示策略来验证模型鲁棒性
   • 在报告中明确说明提示词设计

3. 评估复现时建议：

   • 同时使用原始预测文件和全新评估两种方式
   • 记录完整的评估环境信息
   • 进行多次评估以确认结果的稳定性

总结 这一案例展示了在评估专有大语言模型时面临的挑战。模型服务的不可控性、提示词设计的敏感性以及评估方法的差异都可能导致结果波动。建议开发者在相关工作中保持严谨的记录习惯，采用多种验证方式，并在报告中充分说明评估条件，以确保结果的可比性和可复现性。