OpenCompass/VLMEvalKit评测框架中的关键问题解析

评测数据集使用情况分析

在OpenCompass/VLMEvalKit评测框架中，MMMU数据集的使用方式引起了开发者关注。经过确认，该框架在MMMU评测中仅使用了验证集(Val)，而没有使用开发集(Dev)。这一设计选择对于研究者复现结果具有重要意义，因为不同数据子集的使用会直接影响模型的最终评测分数。

推理方法的选择与验证

关于思维链(COT)方法的使用，评测框架在MMMU数据集上明确采用了非COT的评测方式。这一决策背后可能有以下技术考量：

1. 保持评测方法的简洁性和一致性
2. 避免COT提示对特定模型产生偏向性影响
3. 确保不同模型间的公平比较

值得注意的是，InternVL模型在评测中确实使用了COT方法，这体现在其自定义提示模板中包含了特定的推理指令。这种差异化的处理方式需要研究者在复现结果时特别注意。

评测结果差异的技术分析

OCRBench评测中出现的分数差异问题揭示了几个关键技术点：

1. 模型版本影响：GPT4o_0513模型在不同评测环境下表现差异显著，这促使评测团队重新验证并更新了结果

2. 分辨率设置：特别是对于Qwen2.5-VL-3B等视觉语言模型，输入图像的分辨率设置对OCR性能有重大影响。测试表明，将分辨率调整到10×10至28×28像素范围可以显著提升模型表现

3. 评测配置一致性：不同硬件环境(nproc-per-node设置)下的评测结果可能存在差异，这要求研究者在复现时保持环境配置一致

实践建议

基于这些发现，我们建议研究者在进行模型评测时：

1. 仔细检查评测框架的默认配置
2. 对于视觉任务，特别注意图像预处理参数
3. 记录完整的评测环境信息以便结果复现
4. 关注评测框架的更新日志，及时获取评测方法的调整信息

这些实践将有助于获得更加可靠和可复现的模型评测结果。