VLMEvalKit项目中MMBench测评结果文件解析与矛盾原因分析

多轮评估机制导致的测评结果矛盾现象

在使用VLMEvalKit项目中的MMBench测评工具时，部分开发者可能会遇到测评结果文件中answer、prediction和log三栏数据不一致的情况。这种现象特别容易出现在多选题的评估过程中，表面上看似乎是系统出现了错误，但实际上这是MMBench特有的"circular eval"(循环评估)机制导致的正常现象。

MMBench的循环评估机制详解

MMBench针对多选题设计了一套严谨的评估方法——循环评估机制。该机制的核心原理是：对于同一个多选题，系统会多次打乱选项顺序后重复提问模型，只有当模型在所有顺序变化的情况下都能正确回答，才最终判定该题回答正确。

这种设计有两大优势：

1. 有效避免模型通过记忆选项位置而非理解内容来答题
2. 提高评估的严谨性，确保模型真正掌握了相关知识

结果文件矛盾的技术原因

在具体实现上，系统只会保存模型第一次回答的prediction结果。但在后续的循环评估中，如果出现匹配失败的情况，系统会将当前的prediction记录到log中。这就导致了：

• 保存的prediction始终是第一次回答的结果
• log中可能记录的是后续循环中不匹配的预测结果
• answer栏显示的是标准答案

三者之间的不一致并非系统错误，而是循环评估机制的正常表现。只有当所有循环评估都通过时，exact_match才会标记为成功。

给开发者的建议

1. 理解循环评估机制的设计意图，不要单纯以第一次预测结果判断模型能力
2. 在分析结果时，应结合exact_match标志而非单纯对比各栏数据
3. 对于重要评估，可以查阅详细的评估日志了解完整的循环评估过程
4. 开发自定义评估时，如需类似严谨性，可参考此机制设计

这种评估方式虽然增加了结果解读的复杂度，但显著提高了评估结果的可靠性和科学性，是VLMEvalKit项目中值得关注的一个技术特点。