Qwen2.5-VL项目MMMU评测结果差异的技术分析

在开源多模态大模型Qwen2.5-VL的评测过程中，研究人员发现使用官方评测代码与自行实现的评测方案在MMMU基准测试上存在约7%的准确率差异（官方报告58% vs 实测51%）。经过深入技术分析，我们揭示了导致这一差异的关键因素。

评测方案差异的核心发现

评测结果的差异主要源于答案判定逻辑的设计差异。官方评测代码采用了更为宽松的判定策略，具体体现在两个关键技术点：

1. 模糊匹配机制：官方代码的答案提取prompt允许相似匹配而非严格精确匹配。即使对于非选择题类型的问题，系统仍会输出一个选项并将其视为正确答案。

2. 猜测容忍机制：评测prompt设计允许模型进行合理猜测，选择其认为最可能的选项。这种设计更接近人类在实际场景中的决策过程。

技术细节深入解析

评测模式选择的影响

项目团队特别指出，Chain-of-Thought（CoT）推理模式在不同规模模型上表现存在显著差异：

• 对于72B级别的大模型，CoT模式能带来明显性能提升
• 对于7B级别的小模型，建议关闭CoT模式进行基线测试

环境配置注意事项

为确保评测结果的可复现性，建议使用以下关键软件版本：

• PyTorch 2.5.1+cu121
• Transformers 4.51.3
• Flash Attention 2.7.4.post1
• Pandas 2.2.3

对评测结果的科学认识

虽然使用官方评测代码可以获得接近报告数值的结果，但需要认识到：

1. 宽松的判定策略会引入一定的评测噪声
2. 不同评测方案间的差异属于正常现象
3. 结果差异反映了评测设计中的权衡取舍

给研究人员的建议

1. 进行对比实验时，应保持评测方案的一致性
2. 针对不同规模模型选择合适的评测模式
3. 报告结果时应明确说明使用的评测方案细节
4. 理解不同评测策略背后的设计哲学

这项分析揭示了多模态大模型评测中的复杂性，提醒研究社区在结果对比时需要关注评测方案的细节设计。