VLMEvalKit项目中MME-RealWorld-CN评测集选项解析问题分析

问题背景

在VLMEvalKit项目中使用MME-RealWorld-CN评测集进行模型评估时，发现生成的评测结果文件中部分多选题的选项内容存在异常。具体表现为某些题目的选项内容缺失了第一个字符，导致评估结果可能不准确。

问题现象

技术团队在分析评测结果时发现，索引范围4820-5616之间的题目选项出现了内容截断问题。例如：

• 正常选项格式应为："(A) 直走。"
• 异常选项格式变为："A) 直走。"（缺失了开头的括号）

进一步排查发现，代码中对选项内容的提取采用了固定偏移量的方式：item['multi-choice options'][0][4:]。这种处理方式假设所有选项都具有统一的前缀格式，但实际上评测集中的选项格式存在变体。

根本原因

问题的根源在于评测集数据格式的不一致性。原始JSON文件中存在两种不同的选项格式：

1. 带空格的标准格式："（A） 直走。"
2. 紧凑格式："(A)图像的右侧"

代码中使用的固定偏移量截取方法无法同时适配这两种格式，导致在解析紧凑格式时会出现字符缺失问题。

解决方案

项目维护团队已经发布了更新后的JSON文件，修正了数据格式不一致的问题。新版本的文件中所有选项都采用了统一的格式标准，确保解析代码能够正确提取选项内容。

技术建议

对于类似的多模态评测数据集处理，建议开发者：

1. 在数据收集阶段就建立严格的格式规范
2. 实现更健壮的解析逻辑，例如基于正则表达式匹配而非固定偏移量
3. 在数据处理流程中加入格式验证步骤
4. 对评测结果进行抽样检查，确保数据解析的准确性

总结

多模态评测数据集的格式一致性对于评估结果的可靠性至关重要。VLMEvalKit项目团队及时发现并修复了MME-RealWorld-CN评测集中的选项格式问题，体现了对评测质量的高度重视。这也提醒我们在处理复杂评测数据时，需要更加关注数据预处理阶段的鲁棒性。