OpenCompass 代码评测实战:基于 HumanEval 与 MBPP 的 pass@1 / pass@k 完整配置指南
OpenCompass 代码评测实战:基于 HumanEval 与 MBPP 的 pass@1 / pass@k 完整配置指南
导读
本文以 humaneval(OpenAI HumanEval)与 mbpp(Mostly Basic Python Problems)两个经典数据集为例,系统讲解如何在 OpenCompass 中评测大模型的代码生成能力。你将掌握三种评测方案:直接评测单回复的 pass@1、利用 num_return_sequences 让模型一次生成多条回复的 pass@k、以及针对不支持多回复生成能力的模型,通过数据集重复构造实现 pass@k 的替代方案。文中所有配置均来自当前仓库的真实文件,可直接复制到你的评测脚本中使用。
一、评测前的配置总览:两份标准数据集配置
OpenCompass 将评测拆解为"数据集(Dataset)+ 推理(Infer)+ 评测(Eval)"三段式配置。在开始 pass@1 / pass@k 之前,先理解仓库中 HumanEval 与 MBPP 的标准配置,后续所有改动都建立在这两份文件之上。
1.1 HumanEval 标准配置
配置文件位于 opencompass/configs/datasets/humaneval/humaneval_gen_8e312c.py,完整内容如下:
from opencompass.openicl.icl_prompt_template import PromptTemplate
from opencompass.openicl.icl_retriever import ZeroRetriever
from opencompass.openicl.icl_inferencer import GenInferencer
from opencompass.datasets import HumanevalDataset, HumanEvalEvaluator, humaneval_postprocess_v2
humaneval_reader_cfg = dict(
input_columns=['prompt'], output_column='task_id', train_split='test')
humaneval_infer_cfg = dict(
prompt_template=dict(
type=PromptTemplate,
template=dict(round=[
dict(
role='HUMAN',
prompt='Complete the following python code:\n{prompt}'),
])),
retriever=dict(type=ZeroRetriever),
inferencer=dict(type=GenInferencer, max_out_len=512))
humaneval_eval_cfg = dict(
evaluator=dict(type=HumanEvalEvaluator),
pred_role='BOT',
k=[1, 10, 100], # the parameter only for humaneval
pred_postprocessor=dict(type=humaneval_postprocess_v2),
)
humaneval_datasets = [
dict(
abbr='openai_humaneval',
type=HumanevalDataset,
path='opencompass/humaneval',
reader_cfg=humaneval_reader_cfg,
infer_cfg=humaneval_infer_cfg,
eval_cfg=humaneval_eval_cfg)
]
关键点说明:
- 提示模板:使用
GenInferencer(生成式推理器)并设置max_out_len=512,prompt 模板为Complete the following python code:\n{prompt},只要求模型补全函数体; - 输出列:
reader_cfg中output_column='task_id',即评测时以task_id作为参照(reference),用于与 HumanEval 官方格式对齐; - 后处理:
pred_postprocessor=dict(type=humaneval_postprocess_v2),用于从模型回复中提取纯代码。查看 opencompass/datasets/humaneval.py 可以看到其实现——它用正则```\w*\n(.*?)```提取 Markdown 代码块内容,若无代码块则返回去除首尾空白的原始文本; - k 参数:
k=<a href="https://link.gitcode.com/i/c22c93d31834f698c1a1574a3d8f2f7f" target="_blank">1, 10, 100]是 HumanEval 评测器的专属参数(注释中明确说明the parameter only for humaneval),只有每个问题生成足够多条回复时对应 k 值才会被实际计算(源码中通过if (task_total >= k).all()判断,见 [opencompass/datasets/LCBench.py 中同类实现)。
1.2 MBPP 标准配置
配置文件位于 opencompass/configs/datasets/mbpp/deprecated_mbpp_gen_1e1056.py(仓库中该文件已被标记为 deprecated,即废弃版本,仅保留用于 pass@1 基础演示),其核心结构如下:
mbpp_reader_cfg = dict(input_columns=['text', 'test_list'], output_column='test_list_2')
mbpp_infer_cfg = dict(
prompt_template=dict(
type=PromptTemplate,
template=dict(
round=[
# ... 若干 HUMAN/BOT 少样本示例轮次 ...
dict(role='HUMAN', prompt='You are an expert Python programmer, and here is your task: {text} Your code should pass these tests:\n\n {test_list} \n'),
dict(role='BOT', prompt='[BEGIN]\n'),
],
),
),
retriever=dict(type=ZeroRetriever),
inferencer=dict(type=GenInferencer, max_out_len=512),
)
mbpp_eval_cfg = dict(evaluator=dict(type=MBPPEvaluator), pred_role='BOT')
mbpp_datasets = [
dict(
type=MBPPDataset,
abbr='mbpp',
path='./data/mbpp/mbpp.jsonl',
reader_cfg=mbpp_reader_cfg,
infer_cfg=mbpp_infer_cfg,
eval_cfg=mbpp_eval_cfg,
)
]
与 HumanEval 不同,MBPP 的 prompt 内置了多个 HUMAN/BOT 少样本示例轮次,最后一个 HUMAN 轮使用 {text} 和 {test_list} 两个占位符注入题目描述与测试断言,<a href="https://link.gitcode.com/i/0347df80d4b0bb38a4f7834abbe9eeab" target="_blank">BEGIN]\n 提示模型开始输出代码;数据来源是本地 JSONL 文件 ./data/mbpp/mbpp.jsonl(若未提前下载需按 [docs/zh_cn/get_started/quick_start.md 中的数据准备步骤放置)。
二、pass@1:单回复代码能力快速评测
如果只需要生成单条回复来评测 pass@1 性能,无需任何额外改动:直接使用上述两份标准数据集配置,再参考通用的快速上手流程组装 datasets、models 与 infer 三块配置即可。
一个最小可运行的评测脚本骨架如下(完整参考 examples/eval_code_passk.py 中的模型与推理配置写法):
from mmengine.config import read_base
from opencompass.models import HuggingFaceCausalLM
from opencompass.partitioners import SizePartitioner
from opencompass.runners import LocalRunner
from opencompass.tasks import OpenICLInferTask
with read_base():
from opencompass.configs.datasets.humaneval.humaneval_gen_8e312c import \
humaneval_datasets
from opencompass.configs.datasets.mbpp.deprecated_mbpp_gen_1e1056 import \
mbpp_datasets
datasets = []
datasets += humaneval_datasets
datasets += mbpp_datasets
models = [
dict(
type=HuggingFaceCausalLM,
abbr='Your-Model',
path='your/model-path',
max_out_len=1024,
max_seq_len=2048,
batch_size=8,
generation_kwargs=dict(do_sample=False),
run_cfg=dict(num_gpus=1, num_procs=1),
),
]
infer = dict(
partitioner=dict(type=SizePartitioner, max_task_size=300),
runner=dict(type=LocalRunner,
max_num_workers=16,
task=dict(type=OpenICLInferTask)),
)
要点:
- 采样关闭:pass@1 通常采用贪心解码(
do_sample=False),保证评测确定性; - 运行方式:将上述脚本保存为
eval_code.py后执行python run.py configs/eval_code.py(run.py 位于仓库根目录 run.py),即可在本地完成推理与评分; - 多语言评测:如果需要评测多语言代码能力,请参考 多语言代码评测教程。
三、pass@k:单条输入生成多条回复(模型支持多回复)
pass@k 的含义是:每个问题生成 n 条候选回复(n ≥ k),统计"k 条候选回复中至少有一条通过全部单元测试"的概率估计。对于绝大多数 HF 模型,其 generation 支持 num_return_sequences 参数,可直接一次返回多条回复,无需改动数据集。
3.1 配置模板(以 10 条回复为例)
from opencompass.datasets import MBPPDatasetV2, MBPPPassKEvaluator
with read_base():
from .datasets.humaneval.humaneval_gen_8e312c import humaneval_datasets
from .datasets.mbpp.deprecated_mbpp_gen_1e1056 import mbpp_datasets
mbpp_datasets[0]['type'] = MBPPDatasetV2
mbpp_datasets[0]['eval_cfg']['evaluator']['type'] = MBPPPassKEvaluator
mbpp_datasets[0]['reader_cfg']['output_column'] = 'test_column'
datasets = []
datasets += humaneval_datasets
datasets += mbpp_datasets
models = [
dict(
type=HuggingFaceCausalLM,
...,
generation_kwargs=dict(
num_return_sequences=10,
do_sample=True,
top_p=0.95,
temperature=0.8,
),
...,
)
]
3.2 逐字段解读
MBPPDatasetV2与MBPPPassKEvaluator:MBPP 数据集和评测器在 pass@k 场景下需要全新实现,因此必须同步替换type、eval_cfg.evaluator.type两个字段。源码层面,MBPPDatasetV2在 opencompass/datasets/mbpp.py 中定义,其load()会额外生成一个test_column字段——一个同时包含test_list_2(拼接后的测试断言)与task_id的字典,供评测器按题目聚合多条候选回复;MBPPPassKEvaluator继承自MBPPEvaluator(见 opencompass/datasets/mbpp.py),其estimate_pass_at_k静态方法实现了标准的 pass@k 无偏估计器;reader_cfg.output_column = 'test_column':评测参照列从原始的test_list_2改为test_column,以便评测器能够拿到task_id对同一题目的多条生成结果进行分组;generation_kwargs必须开启随机采样:do_sample=True、top_p=0.95、temperature=0.8是仓库示例中的推荐组合(见 examples/eval_code_passk.py),只有采样才能保证多次生成结果的多样性,否则多条回复完全相同,pass@k 退化为 pass@1;num_return_sequences必须 ≥ k:pass@k 本质是概率估计,n 条样本(这里 n=num_return_sequences)必须不少于 k,否则无从计算"k 条中至少一条通过"的概率。例如要报告 pass@10,至少生成 10 条回复。
3.3 仓库中的完整参考实现
仓库在 examples/eval_code_passk.py 中提供了可直接运行的完整脚本。它使用专门为 pass@k 定制的数据集配置而非运行时改字段,更推荐直接继承:
- HumanEval 侧:
opencompass.configs.datasets.humaneval.humaneval_passk_gen_8e312c(对应文件 humaneval_passk_gen_8e312c.py,其abbr='openai_humaneval_passk',k=[1, 10, 100]保持不变); - MBPP 侧:
deprecated_mbpp_passk_gen_1e1056(对应文件 deprecated_mbpp_passk_gen_1e1056.py,内部已经完成MBPPDatasetV2、MBPPPassKEvaluator、output_column='test_column'三处替换)以及deprecated_sanitized_mbpp_passk_gen_1e1056(sanitized 清洗版)。
完整脚本中的模型配置示例如下:
models = [
dict(
type=HuggingFaceCausalLM,
abbr='CodeLlama-7b-Python',
path='codellama/CodeLlama-7b-Python-hf',
tokenizer_path='codellama/CodeLlama-7b-Python-hf',
tokenizer_kwargs=dict(
padding_side='left',
truncation_side='left',
trust_remote_code=True,
),
max_out_len=1024,
max_seq_len=2048,
batch_size=8,
model_kwargs=dict(trust_remote_code=True, device_map='auto'),
generation_kwargs=dict(
num_return_sequences=10,
do_sample=True,
top_p=0.95,
temperature=0.8,
),
run_cfg=dict(num_gpus=1, num_procs=1),
),
]
注意这里 tokenizer_kwargs 中 padding_side='left' 与 truncation_side='left' 的配合:生成式推理按左填充处理 batch,保证多回复生成时每条序列都在最右侧输出。
3.4 HumanEval 侧的评测如何工作
当 HumanEvalEvaluator.score() 收到多条回复时,它会将每条 (task_id, completion) 展开写入符合官方格式的 jsonl,再调用 human_eval 库的 evaluate_functional_correctness() 完成沙箱执行与评分,最终输出 humaneval_pass@k 指标(见 opencompass/datasets/humaneval.py)。这也解释了为什么仓库在 HumanEval 一侧只需保持 k=[1, 10, 100] 即可——官方评测器原生支持多个 k 值的同时计算。
四、pass@k 替代方案:数据集重复构造(模型不支持多回复)
部分 API 模型或功能不完整的 HF 模型不支持 num_return_sequences。此时无法一次拿到多条回复,但可以"重复构造数据集":让同一个题目被推理 N 次,每次生成一条回复,等效于为该题生成 N 条候选样本。
4.1 配置模板(以 10 次重复为例)
from opencompass.datasets import MBPPDatasetV2, MBPPPassKEvaluator
with read_base():
from .datasets.humaneval.humaneval_gen_8e312c import humaneval_datasets
from .datasets.mbpp.deprecated_mbpp_gen_1e1056 import mbpp_datasets
humaneval_datasets[0]['abbr'] = 'openai_humaneval_pass10'
humaneval_datasets[0]['num_repeats'] = 10
mbpp_datasets[0]['abbr'] = 'mbpp_pass10'
mbpp_datasets[0]['num_repeats'] = 10
mbpp_datasets[0]['type'] = MBPPDatasetV2
mbpp_datasets[0]['eval_cfg']['evaluator']['type'] = MBPPPassKEvaluator
mbpp_datasets[0]['reader_cfg']['output_column'] = 'test_column'
datasets = []
datasets += humaneval_datasets
datasets += mbpp_datasets
models = [
dict(
type=HuggingFaceCausalLM,
...,
generation_kwargs=dict(
do_sample=True,
top_p=0.95,
temperature=0.8,
),
...,
)
]
4.2 需要修改的字段
由于数据集的 prompt 本身没有变化,我们通过替换字段来达到重复数据集的目的,核心是以下两个字段:
num_repeats:数据集重复的次数。在源码层面,HumanevalDataset.load()读取数据时会对每一行extend(<a href="https://link.gitcode.com/i/ff602f19d23adf33d31ba2c8e7325c8c" target="_blank">json.loads(line.strip()) for _ in range(num_repeats)])(见 [opencompass/datasets/humaneval.py),MBPPDatasetV2.load()同样以concatenate_datasets(<a href="https://link.gitcode.com/i/5801319196d37be0bf76ec56480923d5" target="_blank">test] * num_repeats)的方式成倍复制测试集(见 [opencompass/datasets/LCBench.py 中同类逻辑,以及 opencompass/datasets/apps.py 中 APPS 数据集的同款实现)。因此该机制是 OpenCompass 多数据集通用的;abbr:数据集缩写最好随重复次数一并修改(例如openai_humaneval→openai_humaneval_pass10)。因为数据集数量发生变化,若不改abbr,会与.cache/dataset_size.json中缓存的样本数出现差异,可能引发潜在问题。
MBPP 侧依旧要同步修改 type、eval_cfg.evaluator.type、reader_cfg.output_column 三个字段(原因与 3.2 节相同)。同时,为了让重复采样产生有效多样性,generation_kwargs 仍须开启随机采样(do_sample=True、top_p=0.95、temperature=0.8),但不再设置 num_return_sequences。
4.3 仓库中的完整参考实现
仓库在 examples/eval_code_passk_repeat_dataset.py 中提供了完整脚本,它直接继承仓库预置的"重复 10 次"数据集配置:
- humaneval_repeat10_gen_8e312c.py:
abbr='openai_humaneval_repeat10'、num_repeats=10; - deprecated_mbpp_repeat10_gen_1e1056.py:
abbr='mbpp_repeat10'、num_repeats=10,且已替换为MBPPDatasetV2+MBPPPassKEvaluator+test_column。
该示例的模型部分使用 InternLM Chat 系列模型,并显式给出 meta_template(对话角色模板),适合聊天类模型:
_meta_template = dict(round=[
dict(role='HUMAN', begin='<|User|>:', end='\n'),
dict(role='BOT', begin='<|Bot|>:', end='<eoa>\n', generate=True),
], )
models = [
dict(
abbr='internlm-chat-7b-hf-v11',
type=HuggingFaceCausalLM,
path='internlm/internlm-chat-7b-v1_1',
tokenizer_path='internlm/internlm-chat-7b-v1_1',
tokenizer_kwargs=dict(
padding_side='left',
truncation_side='left',
use_fast=False,
trust_remote_code=True,
),
max_seq_len=2048,
meta_template=_meta_template,
model_kwargs=dict(trust_remote_code=True, device_map='auto'),
generation_kwargs=dict(
do_sample=True,
top_p=0.95,
temperature=0.8,
),
run_cfg=dict(num_gpus=1, num_procs=1),
batch_size=8,
)
]
五、pass@k 原理与底层实现解析
5.1 无偏估计公式
无论采用哪种生成方式,最终评分都依赖同一套 pass@k 无偏估计公式(源自 Codex 论文,Chen et al., 2021):
pass@k = E[ 1 - C(n - c, k) / C(n, k) ]
其中 n 为每个问题生成的样本数,c 为通过测试的样本数,k 为目标命中数。OpenCompass 在 opencompass/datasets/mbpp.py 的 MBPPPassKEvaluator.estimate_pass_at_k 以及 opencompass/datasets/apps.py 中都有该估计器的实现,并在评分时通过 if (task_total >= k).all() 过滤掉样本数不足 k 的题目,再对所有题目取均值换算为百分制(* 100)。这正是"num_return_sequences 必须 ≥ k"这一约束的数学根源。
5.2 两种方案的本质区别
| 维度 | 方案一:num_return_sequences |
方案二:数据集重复 |
|---|---|---|
| 适用模型 | 支持 HF generation 多回复的模型 | API 模型、功能缺失的 HF 模型 |
| 生成方式 | 单次前向传播返回 n 条回复 | 同一题目被推理 n 次,各得 1 条回复 |
| 数据集改动 | 仅 MBPP 换 MBPPDatasetV2 等 |
设置 num_repeats,并同步修改 abbr |
| 采样要求 | do_sample=True + 温度/top_p |
同左 |
| 推理开销 | 较低(一次前向传播) | 较高(n 倍前向传播) |
两种方案在评测端是统一的:HumanEvalEvaluator.score() 与 MBPPPassKEvaluator 都会把同一 task_id 的多条回复聚合成列表后按题目计算概率(opencompass/datasets/humaneval.py 中 if not isinstance(preds, list): preds = [preds] 的兼容逻辑即为两种方案服务)。
六、常见问题与注意事项
num_return_sequences小于 k:无法计算对应 k 的 pass@k,评测结果中会缺失该指标,请保证 n ≥ k;- 忘记开启采样:
do_sample=False时多次生成结果完全相同,pass@k 退化为 pass@1,指标失真; - MBPP 字段三件套:切换到 pass@k 时必须同时修改
type、eval_cfg.evaluator.type、reader_cfg.output_column,三者缺一不可,否则评测器无法聚合task_id下的多条回复; - 数据集重复后务必改
abbr:否则与.cache/dataset_size.json中缓存的样本数不一致,可能触发潜在异常; - 沙箱依赖:HumanEval 评分依赖
human_eval官方库(HumanEvalEvaluator.__init__中会检查导入并给出HUMANEVAL_IMPORT_ERROR提示),请先完成依赖安装;MBPP 评测器则直接在当前进程内执行断言,需要注意执行环境的隔离与超时控制; - 数据准备:MBPP 标准配置使用本地文件
./data/mbpp/mbpp.jsonl,HumanEval 从opencompass/humaneval数据集加载,运行前请按 docs/zh_cn/get_started/quick_start.md 完成数据下载与目录放置。
通过本文的三种配置方案,你可以在 OpenCompass 上完成从 pass@1 到 pass@k 的完整代码能力评测闭环;如需扩展多语言场景,可继续阅读 多语言代码评测教程,并结合 examples/eval_code_passk.py 与 examples/eval_code_passk_repeat_dataset.py 两份现成脚本快速起步。