OpenCompass项目中MMLU_Pro数据集PPLInferencer的实现解析

背景介绍

OpenCompass作为大模型评测框架，其核心功能之一是对各类NLP任务进行自动化评估。MMLU_Pro作为多选问答数据集，在模型知识评估中具有重要价值。本文将深入分析如何在OpenCompass中为MMLU_Pro数据集实现PPL（Perplexity）推理器。

技术实现要点

1. 数据集配置关键

在MMLU_Pro数据集配置中，output_column参数的正确设置至关重要。原始配置中使用了'answer_string'会导致PPL计算异常，因为：

• PPLInferencer需要直接获取选项字母（A/B/C等）而非完整答案字符串
• 正确的output_column应设为'answer'字段，该字段直接包含选项标识符

2. 模板设计原理

PPL推理的特殊性要求模板设计考虑：

ice_template = {
    type=PromptTemplate,
    template={opt: f'{question_and_options}\nAnswer: {opt}\n' for opt in CHOICES}

这种设计实现了：

• 为每个选项生成独立模板
• 保持问题与选项的完整呈现
• 明确标注答案位置

3. 推理器工作机制

PPLInferencer的核心工作流程：

1. 对每个选项生成独立prompt
2. 计算每个prompt的困惑度
3. 选择困惑度最低的选项作为预测结果
4. 与标注答案比对计算准确率

典型问题解决方案

配置错误排查

当出现推理异常时，应重点检查：

1. output_column是否指向原始选项标识
2. prompt模板是否包含完整的问题和选项信息
3. CHOICES列表是否与数据集实际选项匹配

性能优化建议

对于MMLU_Pro这类多选项数据集：

1. 合理设置FixKRetriever的示例数量（通常3-5个）
2. 确保hint信息准确反映题目领域
3. 验证选项数量一致性（标准MMLU为4选项，Pro版可能扩展）

实践应用价值

正确实现PPL推理后：

• 可准确评估模型在各学科领域的知识掌握度
• 支持zero-shot和few-shot两种评估模式
• 为模型能力分析提供细粒度指标

总结