OpenCompass评测框架中MMLU数据集答案匹配问题的分析与解决

问题背景

在OpenCompass大模型评测框架的实际使用过程中，评测人员发现了一个关于MMLU（Massive Multitask Language Understanding）数据集评测结果异常的问题。具体表现为：模型在college_biology子集上的评测得分为80分，但通过人工检查预测结果发现所有答案实际上都是正确的，理论上应该获得满分100分。

问题现象

评测结果显示：

• college_biology子集得分：80（应为100）
• marketing子集得分：50

通过检查预测结果JSON文件发现，模型对college_biology子集中的所有问题都给出了正确答案，但系统评分却未达到满分，这表明评测框架在答案匹配环节出现了问题。

问题分析

通过深入检查评测流程和添加调试信息，发现问题出在答案提取的后处理函数first_option_postprocess中。该函数负责从模型的输出文本中提取选项字母（A/B/C/D）。

调试信息显示：

1. 正则表达式成功匹配到了包含"C."的文本片段
2. 但由于正则表达式设计不够精确，导致后续的选项提取出现偏差

原正则表达式模式为：

f'(?i)ANSWER\s*:\s*([{options}])'

这种模式无法正确处理模型输出中常见的格式化答案，例如：

**Answer:**  
C. Reduce the carrying capacity of the environment to lower the K value.

解决方案

针对这一问题，我们对正则表达式进行了优化，新的模式为：

f'(?i)\*{{2}}ANSWER\s*:\s*\*{{2}}\s*([{options}])\\.?'

这个改进后的正则表达式具有以下特点：

1. 明确匹配Markdown格式的加粗标记(**)
2. 灵活处理答案标记后的空白字符和可选的点号(.)
3. 精确捕获选项字母本身

技术启示

这一问题的解决过程为我们提供了几个重要的技术启示：

1. 评测框架的后处理重要性：在大模型评测中，后处理逻辑的精确性直接影响评测结果的准确性。即使是简单的选项提取，也需要考虑模型输出的多样性。

2. 正则表达式的精确设计：在处理模型自由格式输出时，正则表达式需要同时具备足够的灵活性和精确性，既要覆盖各种可能的输出变体，又要准确捕获关键信息。

3. 调试信息的价值：在开发评测框架时，添加详细的调试日志可以帮助快速定位问题所在，特别是在处理复杂文本匹配时。

总结

OpenCompass作为专业的大模型评测框架，其评测结果的准确性至关重要。通过对MMLU数据集评测中发现的答案匹配问题进行深入分析和解决，我们不仅修复了特定场景下的评分问题，也为类似的多选题评测场景提供了更鲁棒的后处理方案。这一经验也提醒我们，在构建评测系统时需要特别关注模型输出与实际评分的对应关系，确保评测结果真实反映模型能力。