OpenCompass 中的 MBPP-pro 评测:多问题依赖代码生成与 pass@1 实战指南
OpenCompass 中的 MBPP-pro 评测:多问题依赖代码生成与 pass@1 实战指南
导读:MBPP-pro(MBPP Professional)是 OpenCompass 内置的进阶版代码生成评测集,与经典 MBPP 不同,它要求模型解决的问题之间存在“单次或多次调用前一解法”的依赖关系,用于检验模型在多函数协同场景下的真实编码能力。本文以 MBPP-pro 数据集配置 为骨架,结合仓库内的数据集实现与评测器源码,完整讲解数据集结构、提示词模板、评测配置参数、pass@1 结果含义,以及如何在 OpenCompass 中一键复现该评测。
一、MBPP-pro 是什么:从 MBPP 到“专业版”的升级
MBPP(Mostly Basic Python Problems)是代码生成领域广泛使用的基准,考察模型根据自然语言描述编写 Python 函数的能力。MBPP-pro 则在此基础上进一步增加了难度与真实性:后一个问题的解法需要单次或多次调用前一个问题的解法,形成多函数、多文件级的协作编程场景。
这一点在 OpenCompass 的提示词模板中写得非常明确(见 mbpp_pro_gen_3dc067.py):
PROMPT_WRAPPER = """You are an exceptionally intelligent coding assistant that consistently delivers accurate and reliable responses to user instructions.
Write a solution of python file to the following problems, the solution of the second problem requires single or multiple calls to the first solution.
```python
{raw_problem}
{new_problem}
Please put the two solutions within the Python code block provided below, and make sure that the block contains no other unrelated content:
"""
提示词要求模型一次性输出**两个解决方案**:`raw_problem` 为基础问题,`new_problem` 为依赖前者结果的新问题。这一设定使得 MBPP-pro 不再只是“单函数生成”,而是考验模型对问题间依赖关系的理解与跨函数调用能力。
### 1.1 数据集字段与加载方式
从配置中的 `reader_cfg`(<a href="https://link.gitcode.com/i/2921f96350ca90c45a5dfa1413f15daa" target="_blank">mbpp_pro_gen_3dc067.py</a>)可以看到:
```python
mbpppro_reader_cfg = dict(
input_columns=['raw_problem', 'new_problem'], output_column='test_code')
- 输入字段:
raw_problem(基础问题)、new_problem(依赖问题); - 输出字段:
test_code,即用于判定解答正确性的测试代码; - 每个样本还包含
id(唯一标识,去重依据)等元数据。
数据集的底层加载逻辑位于 MBPPProDataset:它从 JSONL 文件逐行读取,每行是一个 JSON 对象,最终转换为 HuggingFace Dataset 供 OpenCompass 使用:
class MBPPProDataset(BaseDataset):
@staticmethod
def load(path, local_mode=False):
path = get_data_path(path, local_mode=local_mode)
dataset = []
with open(path, encoding='utf-8') as f:
for line in f:
dataset.append(json.loads(line.strip()))
return Dataset.from_list(dataset)
1.2 数据获取与本地路径
配置中数据集路径为 opencompass/mbpp_pro。在 datasets_info.py 中记录了对应的本地数据约定:
"opencompass/mbpp_pro": {
"ms_id": "",
"hf_id": "",
"local": "./data/mbpp_pro/mbpp_pro.json"
}
同时在 datasets_info.py 中还登记了数据集压缩包的下载地址入口(http://opencompass.oss-cn-shanghai.aliyuncs.com/datasets/data/mbpp_pro.zip)。实际运行时 OpenCompass 会依据 get_data_path 解析路径:优先读取本地 ./data/mbpp_pro/mbpp_pro.json,也可通过 local_mode 切换加载方式。评测前请确保数据已按该约定放置或已通过 OpenCompass 的数据下载流程就绪。
二、评测配置全解析:如何用 OpenCompass 跑 MBPP-pro
MBPP-pro 在仓库中提供了一套开箱即用的评测配置,文件组织如下:
| 文件 | 作用 |
|---|---|
| mbpp_pro_gen.py | 入口配置,复用 3dc067 版本的数据集定义 |
| mbpp_pro_gen_3dc067.py | 主配置,包含 prompt、retriever、inferencer、evaluator |
| mbpp_pro_repeat_gen_3dc067.py | 数据集重复版本,支持 pass@k 统计(n=5, k=3) |
入口配置 mbpp_pro_gen.py 非常简洁,通过 mmengine 的 read_base 机制继承主配置:
from mmengine.config import read_base
with read_base():
from .mbpp_pro_gen_3dc067 import mbpppro_datasets # noqa: F401, F403
2.1 推理配置:PromptTemplate + ZeroRetriever + GenInferencer
完整的 infer_cfg 如下(mbpp_pro_gen_3dc067.py):
mbpppro_infer_cfg = dict(
prompt_template=dict(
type=PromptTemplate,
template=dict(round=[
dict(
role='HUMAN',
prompt=PROMPT_WRAPPER),
])),
retriever=dict(type=ZeroRetriever),
inferencer=dict(type=GenInferencer))
三个组件的职责:
- PromptTemplate:将
PROMPT_WRAPPER作为单轮HUMAN消息,通过{raw_problem}、{new_problem}占位符注入样本内容; - ZeroRetriever:零样本检索,不做示例拼接,直接使用完整提示词(对应零样本代码生成评测范式);
- GenInferencer:生成式推理器,让模型自由输出 Python 代码块,而非分类/打分式作答。
2.2 评测配置:远程代码评测服务
评测环节是 MBPP-pro 与常规客观题评测最大的不同点——它需要真实执行代码来判定正确性。配置如下(mbpp_pro_gen_3dc067.py):
mbpppro_eval_cfg = dict(
evaluator=dict(type=MBPPProEvaluator,
ip_address='https://opencompass-multiple-evaluator.hf.space'),
)
type=MBPPProEvaluator:OpenCompass 为 MBPP-pro 定制的评测器;ip_address:指向远程代码评测服务地址。注意:运行该评测需要远程服务可用,这是该数据集评测的前提条件之一。
2.3 pass@k 变体:n=5 / k=3
若需要统计 pass@k(如 pass@3),可使用重复数据集版本 mbpp_pro_repeat_gen_3dc067.py,其数据集定义末尾追加了采样参数:
mbpppro_datasets = [
dict(
abbr='mbpp_pro',
type=MBPPProDataset,
path='opencompass/mbpp_pro',
reader_cfg=mbpppro_reader_cfg,
infer_cfg=mbpppro_infer_cfg,
eval_cfg=mbpppro_eval_cfg,
n=5,
k=3)
]
n=5:对每个问题采样生成 5 个候选解答;k=3:统计 5 个候选中至少 1 个通过的概率(pass@3)。
这与仓库中 mbpp 数据集的 repeat 配置(注释“This config is used for pass@k evaluation with dataset repetition”)所采用的“数据集重复 + n/k 采样”思路一致。
三、MBPPProEvaluator 源码级原理:从生成到执行的完整链路
评测器实现在 opencompass/datasets/mbpp_pro.py,它继承自通用代码评测器 CodeEvaluator(opencompass/openicl/icl_evaluator/code_evaluator.py)。评测流程分为三步:
3.1 第一步:组装可执行代码
processed_completion = self._process_completions(completion)
code = processed_completion + '\n' + test_case['test_code']
sub_data_dict = {
'name': int(test_case['id']),
'language': self.language,
'code': code,
}
all_test_cases.append(sub_data_dict)
- 用
_extract_code(正则r'```\w*\n(.*?)```')从模型输出中抽取首个 Python 代码块,去除多余文本; - 将抽取出的解答与数据集自带的
test_code拼接,组成完整可执行脚本; - 以
id作为唯一标识(drop_duplicates去重,见score方法第 52 行),确保每道题只评一次。
3.2 第二步:批量送评 + 重试机制
success, outputs, error_message = self._evaluate(all_test_cases)
_evaluate 位于 code_evaluator.py,内置最多 retry=5 次的重试:请求失败时等待 30 秒后重试,直至成功或耗尽次数。底层通过 gradio_client.Client(ip_address) 调用远程服务的 /evaluate 接口(_code_eval_service 方法),并将结果解析为 dict/list 或 JSON 字符串。
3.3 第三步:统计 pass@1
_process_results(code_evaluator.py)按执行结果归类:
status == 'OK':记为正确(correct=True);- 其余状态(timeout、failed、wrong_answer 等):记为错误。
最终指标即 pass@1:
return {f'pass@1': 100 * correct / total_count, 'details': details}
除了总体通过率,返回结果中还包含 details,逐条记录每道题的执行状态与对应 prompt,便于失败案例分析。
四、评测结果解读:OpenCompass vs CodeEval-pro 对比
仓库 MBPP-pro README 公开了三款模型在 OpenCompass(OC) 与 CodeEval-pro 两套评测管线下的 pass@1 结果,可作为基准参考:
OC(OpenCompass)结果
| 模型 | pass@1 |
|---|---|
| qwen2.5-coder-7b-instruct-hf | 66 |
| qwen2.5-14b-instruct-hf | 64 |
| deepseek-v2-lite-chat-hf | 36 |
CodeEval-pro 结果
| 模型 | pass@1 |
|---|---|
| qwen2.5-coder-7b-instruct-hf | 65 |
| qwen2.5-14b-instruct-hf | 65 |
| deepseek-v2-lite-chat-hf | 39 |
从数据可以看出两个要点:
- 专精编程的模型(qwen2.5-coder-7b)在 OC 管线上以 66 分领先,且其参数规模小于 qwen2.5-14b 通用模型,说明 MBPP-pro 对“代码专项能力 + 多问题依赖推理”非常敏感;
- 两套评测管线结果高度接近(同模型差距在 1~3 个百分点内),说明 pass@1 指标在合理的执行环境与提示词规范下具备跨管线可比性,也侧面验证了 OpenCompass 评测流程的稳定性。
注意:以上数字为仓库 README 记录的既定评测结果,具体得分可能随数据版本、模型权重更新与远程评测服务状态变化;复现时应以当前环境实际输出为准。
五、从零复现:在 OpenCompass 中运行 MBPP-pro 评测
5.1 前置条件
- 已按 安装指南 完成 OpenCompass 环境安装;
- 具备可访问的模型推理后端(本地权重或 API,参考 models 使用指南);
- 网络可访问配置中指定的远程代码评测服务地址;
- 数据集就位:本地
./data/mbpp_pro/mbpp_pro.json(或通过 OpenCompass 数据下载机制拉取mbpp_pro.zip)。
5.2 编写评测配置并运行
在已有的模型配置(如 models/qwen2.5_coder_7b_instruct.py)基础上,组合数据集配置即可。运行方式为 OpenCompass 标准入口:
python run.py \
--models models/qwen2.5_coder_7b_instruct.py \
--datasets configs/datasets/mbpp_pro/mbpp_pro_gen.py \
--work-dir outputs/mbpp_pro
--models:指定待测模型;--datasets:直接引用mbpp_pro_gen.py入口配置,自动继承 3dc067 主配置;--work-dir:指定输出目录,评测结果(含 pass@1 与 details)会写入其中。
若需统计 pass@3,则将 --datasets 换为 configs/datasets/mbpp_pro/mbpp_pro_repeat_gen_3dc067.py。
5.3 结果查看与失败分析
评测完成后:
- 汇总结果中的
mbpp_pro/pass@1即为最终指标; - 打开
details明细,可逐题查看status(OK / timeout / failed / wrong_answer 等),定位模型在“多问题依赖”场景中的薄弱环节; - 结合
prompt字段回放输入,判断是提示词理解问题、函数调用错误还是测试用例边界问题。
六、小结
MBPP-pro 是 OpenCompass 代码评测能力中极具代表性的进阶基准:它通过“第二题依赖第一题解法”的题目结构,把评测焦点从单函数生成提升到多函数协作层面。结合仓库实现可以看到,OpenCompass 通过 MBPPProDataset(JSONL 加载)、MBPPProEvaluator(远程执行 + 重试 + pass@1 统计)与三件套配置文件(mbpp_pro_gen.py 入口 / 3dc067 主配置 / repeat 变体)提供了完整闭环:数据解析 → 提示词组装 → 生成式推理 → 代码执行 → 指标统计。无论是复现公开基线,还是横向对比代码模型的多问题推理能力,都可以直接基于上述配置快速上手。
延伸阅读
- MBPP 基础版配置与评测:对比经典 MBPP 的 pass@1 及错误类型明细;
- HumanEval-pro 配置:另一类进阶代码生成基准;
- HumanEval 配置:入门级代码生成评测参考;
- CodeEvaluator 通用实现:理解远程代码执行与重试机制;
- 自定义数据集指南:如何将新代码评测集接入 OpenCompass。