lm-evaluation-harness项目中MMLU任务的两种变体解析

在自然语言处理评估领域，EleutherAI的lm-evaluation-harness项目提供了对大型语言模型进行全面评估的能力。其中，MMLU（Massive Multitask Language Understanding）任务作为评估模型多任务理解能力的重要基准，在项目中提供了多种评估变体。

MMLU任务的基本形式

标准的MMLU评估采用多选题形式，每个问题包含题干和四个选项。评估时，模型需要根据题干和选项选择最合适的答案。这种形式直接反映了模型在真实场景下的推理和选择能力。

两种特殊变体

项目提供了两种特殊的MMLU评估变体：mmlu_continuation和mmlu_generative。

mmlu_generative变体

mmlu_generative是为无法直接计算对数概率的模型设计的生成式评估方式。与标准MMLU不同，它不是让模型从给定选项中选择，而是要求模型直接生成答案。这种形式更接近开放式问答场景，对模型的生成能力提出了更高要求。

mmlu_continuation变体

mmlu_continuation采用完形填空（cloze）风格的多选题评估方式，但与标准形式有重要区别：

1. 不会将所有选项同时放入上下文中
2. 评估时会将每个选项分别与题干组合，形成多个独立的问题实例
3. 模型需要分别评估每个"题干+单个选项"组合的合理性

这种设计使得评估过程更加细致，能够更准确地衡量模型对每个选项的理解程度。

自定义评估配置

用户可以根据需要自定义MMLU的评估方式。例如，要实现完形填空风格的评估，可以修改配置文件中的doc_to_choice字段，保留选项在上下文中的显示。一个典型的配置示例如下：

dataset_path: hails/mmlu_no_train
test_split: test
fewshot_split: dev
fewshot_config:
  sampler: first_n
output_type: multiple_choice
doc_to_text: "{{question.strip()}}\nA. {{choices[0]}}\nB. {{choices[1]}}\nC. {{choices[2]}}\nD. {{choices[3]}}\nAnswer:"
doc_to_choice: {{choices}}
doc_to_target: answer
metric_list:
  - metric: acc
    aggregation: mean
    higher_is_better: true

这种配置方式既保留了选项在上下文中的显示，又实现了完形填空的评估风格，为研究者提供了灵活的评估方案选择。

理解这些评估变体的特点和适用场景，对于设计合理的模型评估实验至关重要。不同的评估方式可能适用于不同的模型架构和训练目标，研究者应根据具体需求选择合适的评估方案。