OpenCompass 代码评测实战:基于 HumanEval 与 MBPP 的 pass@1 / pass@k 完整配置指南

原创2026-09-27 18:16:352,468 阅读
文章标签:人工智能大模型模型评测AI 评测排行榜机器学习深度学习开发者工具

OpenCompass 代码评测实战:基于 HumanEval 与 MBPP 的 pass@1 / pass@k 完整配置指南

导读

本文以 humaneval(OpenAI HumanEval)与 mbpp(Mostly Basic Python Problems)两个经典数据集为例,系统讲解如何在 OpenCompass 中评测大模型的代码生成能力。你将掌握三种评测方案:直接评测单回复的 pass@1、利用 num_return_sequences 让模型一次生成多条回复的 pass@k、以及针对不支持多回复生成能力的模型,通过数据集重复构造实现 pass@k 的替代方案。文中所有配置均来自当前仓库的真实文件,可直接复制到你的评测脚本中使用。

一、评测前的配置总览:两份标准数据集配置

OpenCompass 将评测拆解为"数据集(Dataset)+ 推理(Infer)+ 评测(Eval)"三段式配置。在开始 pass@1 / pass@k 之前,先理解仓库中 HumanEval 与 MBPP 的标准配置,后续所有改动都建立在这两份文件之上。

1.1 HumanEval 标准配置

配置文件位于 opencompass/configs/datasets/humaneval/humaneval_gen_8e312c.py,完整内容如下:

from opencompass.openicl.icl_prompt_template import PromptTemplate
from opencompass.openicl.icl_retriever import ZeroRetriever
from opencompass.openicl.icl_inferencer import GenInferencer
from opencompass.datasets import HumanevalDataset, HumanEvalEvaluator, humaneval_postprocess_v2

humaneval_reader_cfg = dict(
    input_columns=['prompt'], output_column='task_id', train_split='test')

humaneval_infer_cfg = dict(
    prompt_template=dict(
        type=PromptTemplate,
        template=dict(round=[
            dict(
                role='HUMAN',
                prompt='Complete the following python code:\n{prompt}'),
        ])),
    retriever=dict(type=ZeroRetriever),
    inferencer=dict(type=GenInferencer, max_out_len=512))

humaneval_eval_cfg = dict(
    evaluator=dict(type=HumanEvalEvaluator),
    pred_role='BOT',
    k=[1, 10, 100],  # the parameter only for humaneval
    pred_postprocessor=dict(type=humaneval_postprocess_v2),
)

humaneval_datasets = [
    dict(
        abbr='openai_humaneval',
        type=HumanevalDataset,
        path='opencompass/humaneval',
        reader_cfg=humaneval_reader_cfg,
        infer_cfg=humaneval_infer_cfg,
        eval_cfg=humaneval_eval_cfg)
]

关键点说明:

  • 提示模板:使用 GenInferencer(生成式推理器)并设置 max_out_len=512,prompt 模板为 Complete the following python code:\n{prompt},只要求模型补全函数体;
  • 输出列:reader_cfg 中 output_column='task_id',即评测时以 task_id 作为参照(reference),用于与 HumanEval 官方格式对齐;
  • 后处理:pred_postprocessor=dict(type=humaneval_postprocess_v2),用于从模型回复中提取纯代码。查看 opencompass/datasets/humaneval.py 可以看到其实现——它用正则 ```\w*\n(.*?)``` 提取 Markdown 代码块内容,若无代码块则返回去除首尾空白的原始文本;
  • k 参数:k=<a href="https://link.gitcode.com/i/c22c93d31834f698c1a1574a3d8f2f7f" target="_blank">1, 10, 100] 是 HumanEval 评测器的专属参数(注释中明确说明 the parameter only for humaneval),只有每个问题生成足够多条回复时对应 k 值才会被实际计算(源码中通过 if (task_total >= k).all() 判断,见 [opencompass/datasets/LCBench.py 中同类实现)。

1.2 MBPP 标准配置

配置文件位于 opencompass/configs/datasets/mbpp/deprecated_mbpp_gen_1e1056.py(仓库中该文件已被标记为 deprecated,即废弃版本,仅保留用于 pass@1 基础演示),其核心结构如下:

mbpp_reader_cfg = dict(input_columns=['text', 'test_list'], output_column='test_list_2')

mbpp_infer_cfg = dict(
    prompt_template=dict(
        type=PromptTemplate,
        template=dict(
            round=[
                # ... 若干 HUMAN/BOT 少样本示例轮次 ...
                dict(role='HUMAN', prompt='You are an expert Python programmer, and here is your task: {text} Your code should pass these tests:\n\n {test_list}  \n'),
                dict(role='BOT', prompt='[BEGIN]\n'),
            ],
        ),
    ),
    retriever=dict(type=ZeroRetriever),
    inferencer=dict(type=GenInferencer, max_out_len=512),
)

mbpp_eval_cfg = dict(evaluator=dict(type=MBPPEvaluator), pred_role='BOT')

mbpp_datasets = [
    dict(
        type=MBPPDataset,
        abbr='mbpp',
        path='./data/mbpp/mbpp.jsonl',
        reader_cfg=mbpp_reader_cfg,
        infer_cfg=mbpp_infer_cfg,
        eval_cfg=mbpp_eval_cfg,
    )
]

与 HumanEval 不同,MBPP 的 prompt 内置了多个 HUMAN/BOT 少样本示例轮次,最后一个 HUMAN 轮使用 {text} 和 {test_list} 两个占位符注入题目描述与测试断言,<a href="https://link.gitcode.com/i/0347df80d4b0bb38a4f7834abbe9eeab" target="_blank">BEGIN]\n 提示模型开始输出代码;数据来源是本地 JSONL 文件 ./data/mbpp/mbpp.jsonl(若未提前下载需按 [docs/zh_cn/get_started/quick_start.md 中的数据准备步骤放置)。

二、pass@1:单回复代码能力快速评测

如果只需要生成单条回复来评测 pass@1 性能,无需任何额外改动:直接使用上述两份标准数据集配置,再参考通用的快速上手流程组装 datasets、models 与 infer 三块配置即可。

一个最小可运行的评测脚本骨架如下(完整参考 examples/eval_code_passk.py 中的模型与推理配置写法):

from mmengine.config import read_base

from opencompass.models import HuggingFaceCausalLM
from opencompass.partitioners import SizePartitioner
from opencompass.runners import LocalRunner
from opencompass.tasks import OpenICLInferTask

with read_base():
    from opencompass.configs.datasets.humaneval.humaneval_gen_8e312c import \
        humaneval_datasets
    from opencompass.configs.datasets.mbpp.deprecated_mbpp_gen_1e1056 import \
        mbpp_datasets

datasets = []
datasets += humaneval_datasets
datasets += mbpp_datasets

models = [
    dict(
        type=HuggingFaceCausalLM,
        abbr='Your-Model',
        path='your/model-path',
        max_out_len=1024,
        max_seq_len=2048,
        batch_size=8,
        generation_kwargs=dict(do_sample=False),
        run_cfg=dict(num_gpus=1, num_procs=1),
    ),
]

infer = dict(
    partitioner=dict(type=SizePartitioner, max_task_size=300),
    runner=dict(type=LocalRunner,
                max_num_workers=16,
                task=dict(type=OpenICLInferTask)),
)

要点:

  • 采样关闭:pass@1 通常采用贪心解码(do_sample=False),保证评测确定性;
  • 运行方式:将上述脚本保存为 eval_code.py 后执行 python run.py configs/eval_code.py(run.py 位于仓库根目录 run.py),即可在本地完成推理与评分;
  • 多语言评测:如果需要评测多语言代码能力,请参考 多语言代码评测教程。

三、pass@k:单条输入生成多条回复(模型支持多回复)

pass@k 的含义是:每个问题生成 n 条候选回复(n ≥ k),统计"k 条候选回复中至少有一条通过全部单元测试"的概率估计。对于绝大多数 HF 模型,其 generation 支持 num_return_sequences 参数,可直接一次返回多条回复,无需改动数据集。

3.1 配置模板(以 10 条回复为例)

from opencompass.datasets import MBPPDatasetV2, MBPPPassKEvaluator

with read_base():
    from .datasets.humaneval.humaneval_gen_8e312c import humaneval_datasets
    from .datasets.mbpp.deprecated_mbpp_gen_1e1056 import mbpp_datasets

mbpp_datasets[0]['type'] = MBPPDatasetV2
mbpp_datasets[0]['eval_cfg']['evaluator']['type'] = MBPPPassKEvaluator
mbpp_datasets[0]['reader_cfg']['output_column'] = 'test_column'

datasets = []
datasets += humaneval_datasets
datasets += mbpp_datasets

models = [
    dict(
        type=HuggingFaceCausalLM,
        ...,
        generation_kwargs=dict(
            num_return_sequences=10,
            do_sample=True,
            top_p=0.95,
            temperature=0.8,
        ),
        ...,
    )
]

3.2 逐字段解读

  • MBPPDatasetV2 与 MBPPPassKEvaluator:MBPP 数据集和评测器在 pass@k 场景下需要全新实现,因此必须同步替换 type、eval_cfg.evaluator.type 两个字段。源码层面,MBPPDatasetV2 在 opencompass/datasets/mbpp.py 中定义,其 load() 会额外生成一个 test_column 字段——一个同时包含 test_list_2(拼接后的测试断言)与 task_id 的字典,供评测器按题目聚合多条候选回复;MBPPPassKEvaluator 继承自 MBPPEvaluator(见 opencompass/datasets/mbpp.py),其 estimate_pass_at_k 静态方法实现了标准的 pass@k 无偏估计器;
  • reader_cfg.output_column = 'test_column':评测参照列从原始的 test_list_2 改为 test_column,以便评测器能够拿到 task_id 对同一题目的多条生成结果进行分组;
  • generation_kwargs 必须开启随机采样:do_sample=True、top_p=0.95、temperature=0.8 是仓库示例中的推荐组合(见 examples/eval_code_passk.py),只有采样才能保证多次生成结果的多样性,否则多条回复完全相同,pass@k 退化为 pass@1;
  • num_return_sequences 必须 ≥ k:pass@k 本质是概率估计,n 条样本(这里 n=num_return_sequences)必须不少于 k,否则无从计算"k 条中至少一条通过"的概率。例如要报告 pass@10,至少生成 10 条回复。

3.3 仓库中的完整参考实现

仓库在 examples/eval_code_passk.py 中提供了可直接运行的完整脚本。它使用专门为 pass@k 定制的数据集配置而非运行时改字段,更推荐直接继承:

  • HumanEval 侧:opencompass.configs.datasets.humaneval.humaneval_passk_gen_8e312c(对应文件 humaneval_passk_gen_8e312c.py,其 abbr='openai_humaneval_passk',k=[1, 10, 100] 保持不变);
  • MBPP 侧:deprecated_mbpp_passk_gen_1e1056(对应文件 deprecated_mbpp_passk_gen_1e1056.py,内部已经完成 MBPPDatasetV2、MBPPPassKEvaluator、output_column='test_column' 三处替换)以及 deprecated_sanitized_mbpp_passk_gen_1e1056(sanitized 清洗版)。

完整脚本中的模型配置示例如下:

models = [
    dict(
        type=HuggingFaceCausalLM,
        abbr='CodeLlama-7b-Python',
        path='codellama/CodeLlama-7b-Python-hf',
        tokenizer_path='codellama/CodeLlama-7b-Python-hf',
        tokenizer_kwargs=dict(
            padding_side='left',
            truncation_side='left',
            trust_remote_code=True,
        ),
        max_out_len=1024,
        max_seq_len=2048,
        batch_size=8,
        model_kwargs=dict(trust_remote_code=True, device_map='auto'),
        generation_kwargs=dict(
            num_return_sequences=10,
            do_sample=True,
            top_p=0.95,
            temperature=0.8,
        ),
        run_cfg=dict(num_gpus=1, num_procs=1),
    ),
]

注意这里 tokenizer_kwargs 中 padding_side='left' 与 truncation_side='left' 的配合:生成式推理按左填充处理 batch,保证多回复生成时每条序列都在最右侧输出。

3.4 HumanEval 侧的评测如何工作

当 HumanEvalEvaluator.score() 收到多条回复时,它会将每条 (task_id, completion) 展开写入符合官方格式的 jsonl,再调用 human_eval 库的 evaluate_functional_correctness() 完成沙箱执行与评分,最终输出 humaneval_pass@k 指标(见 opencompass/datasets/humaneval.py)。这也解释了为什么仓库在 HumanEval 一侧只需保持 k=[1, 10, 100] 即可——官方评测器原生支持多个 k 值的同时计算。

四、pass@k 替代方案:数据集重复构造(模型不支持多回复)

部分 API 模型或功能不完整的 HF 模型不支持 num_return_sequences。此时无法一次拿到多条回复,但可以"重复构造数据集":让同一个题目被推理 N 次,每次生成一条回复,等效于为该题生成 N 条候选样本。

4.1 配置模板(以 10 次重复为例)

from opencompass.datasets import MBPPDatasetV2, MBPPPassKEvaluator

with read_base():
    from .datasets.humaneval.humaneval_gen_8e312c import humaneval_datasets
    from .datasets.mbpp.deprecated_mbpp_gen_1e1056 import mbpp_datasets

humaneval_datasets[0]['abbr'] = 'openai_humaneval_pass10'
humaneval_datasets[0]['num_repeats'] = 10
mbpp_datasets[0]['abbr'] = 'mbpp_pass10'
mbpp_datasets[0]['num_repeats'] = 10
mbpp_datasets[0]['type'] = MBPPDatasetV2
mbpp_datasets[0]['eval_cfg']['evaluator']['type'] = MBPPPassKEvaluator
mbpp_datasets[0]['reader_cfg']['output_column'] = 'test_column'

datasets = []
datasets += humaneval_datasets
datasets += mbpp_datasets

models = [
    dict(
        type=HuggingFaceCausalLM,
        ...,
        generation_kwargs=dict(
            do_sample=True,
            top_p=0.95,
            temperature=0.8,
        ),
        ...,
    )
]

4.2 需要修改的字段

由于数据集的 prompt 本身没有变化,我们通过替换字段来达到重复数据集的目的,核心是以下两个字段:

  • num_repeats:数据集重复的次数。在源码层面,HumanevalDataset.load() 读取数据时会对每一行 extend(<a href="https://link.gitcode.com/i/ff602f19d23adf33d31ba2c8e7325c8c" target="_blank">json.loads(line.strip()) for _ in range(num_repeats)])(见 [opencompass/datasets/humaneval.py),MBPPDatasetV2.load() 同样以 concatenate_datasets(<a href="https://link.gitcode.com/i/5801319196d37be0bf76ec56480923d5" target="_blank">test] * num_repeats) 的方式成倍复制测试集(见 [opencompass/datasets/LCBench.py 中同类逻辑,以及 opencompass/datasets/apps.py 中 APPS 数据集的同款实现)。因此该机制是 OpenCompass 多数据集通用的;
  • abbr:数据集缩写最好随重复次数一并修改(例如 openai_humaneval → openai_humaneval_pass10)。因为数据集数量发生变化,若不改 abbr,会与 .cache/dataset_size.json 中缓存的样本数出现差异,可能引发潜在问题。

MBPP 侧依旧要同步修改 type、eval_cfg.evaluator.type、reader_cfg.output_column 三个字段(原因与 3.2 节相同)。同时,为了让重复采样产生有效多样性,generation_kwargs 仍须开启随机采样(do_sample=True、top_p=0.95、temperature=0.8),但不再设置 num_return_sequences。

4.3 仓库中的完整参考实现

仓库在 examples/eval_code_passk_repeat_dataset.py 中提供了完整脚本,它直接继承仓库预置的"重复 10 次"数据集配置:

该示例的模型部分使用 InternLM Chat 系列模型,并显式给出 meta_template(对话角色模板),适合聊天类模型:

_meta_template = dict(round=[
    dict(role='HUMAN', begin='<|User|>:', end='\n'),
    dict(role='BOT', begin='<|Bot|>:', end='<eoa>\n', generate=True),
], )

models = [
    dict(
        abbr='internlm-chat-7b-hf-v11',
        type=HuggingFaceCausalLM,
        path='internlm/internlm-chat-7b-v1_1',
        tokenizer_path='internlm/internlm-chat-7b-v1_1',
        tokenizer_kwargs=dict(
            padding_side='left',
            truncation_side='left',
            use_fast=False,
            trust_remote_code=True,
        ),
        max_seq_len=2048,
        meta_template=_meta_template,
        model_kwargs=dict(trust_remote_code=True, device_map='auto'),
        generation_kwargs=dict(
            do_sample=True,
            top_p=0.95,
            temperature=0.8,
        ),
        run_cfg=dict(num_gpus=1, num_procs=1),
        batch_size=8,
    )
]

五、pass@k 原理与底层实现解析

5.1 无偏估计公式

无论采用哪种生成方式,最终评分都依赖同一套 pass@k 无偏估计公式(源自 Codex 论文,Chen et al., 2021):

pass@k = E[ 1 - C(n - c, k) / C(n, k) ]

其中 n 为每个问题生成的样本数,c 为通过测试的样本数,k 为目标命中数。OpenCompass 在 opencompass/datasets/mbpp.py 的 MBPPPassKEvaluator.estimate_pass_at_k 以及 opencompass/datasets/apps.py 中都有该估计器的实现,并在评分时通过 if (task_total >= k).all() 过滤掉样本数不足 k 的题目,再对所有题目取均值换算为百分制(* 100)。这正是"num_return_sequences 必须 ≥ k"这一约束的数学根源。

5.2 两种方案的本质区别

维度 方案一:num_return_sequences 方案二:数据集重复
适用模型 支持 HF generation 多回复的模型 API 模型、功能缺失的 HF 模型
生成方式 单次前向传播返回 n 条回复 同一题目被推理 n 次,各得 1 条回复
数据集改动 仅 MBPP 换 MBPPDatasetV2 等 设置 num_repeats,并同步修改 abbr
采样要求 do_sample=True + 温度/top_p 同左
推理开销 较低(一次前向传播) 较高(n 倍前向传播)

两种方案在评测端是统一的:HumanEvalEvaluator.score() 与 MBPPPassKEvaluator 都会把同一 task_id 的多条回复聚合成列表后按题目计算概率(opencompass/datasets/humaneval.py 中 if not isinstance(preds, list): preds = [preds] 的兼容逻辑即为两种方案服务)。

六、常见问题与注意事项

  1. num_return_sequences 小于 k:无法计算对应 k 的 pass@k,评测结果中会缺失该指标,请保证 n ≥ k;
  2. 忘记开启采样:do_sample=False 时多次生成结果完全相同,pass@k 退化为 pass@1,指标失真;
  3. MBPP 字段三件套:切换到 pass@k 时必须同时修改 type、eval_cfg.evaluator.type、reader_cfg.output_column,三者缺一不可,否则评测器无法聚合 task_id 下的多条回复;
  4. 数据集重复后务必改 abbr:否则与 .cache/dataset_size.json 中缓存的样本数不一致,可能触发潜在异常;
  5. 沙箱依赖:HumanEval 评分依赖 human_eval 官方库(HumanEvalEvaluator.__init__ 中会检查导入并给出 HUMANEVAL_IMPORT_ERROR 提示),请先完成依赖安装;MBPP 评测器则直接在当前进程内执行断言,需要注意执行环境的隔离与超时控制;
  6. 数据准备:MBPP 标准配置使用本地文件 ./data/mbpp/mbpp.jsonl,HumanEval 从 opencompass/humaneval 数据集加载,运行前请按 docs/zh_cn/get_started/quick_start.md 完成数据下载与目录放置。

通过本文的三种配置方案,你可以在 OpenCompass 上完成从 pass@1 到 pass@k 的完整代码能力评测闭环;如需扩展多语言场景,可继续阅读 多语言代码评测教程,并结合 examples/eval_code_passk.py 与 examples/eval_code_passk_repeat_dataset.py 两份现成脚本快速起步。

登录后查看全文
opencompass