OpenCompass 中的 MBPP-pro 评测:多问题依赖代码生成与 pass@1 实战指南

原创2026-09-28 11:04:531,957 阅读
文章标签:人工智能大模型模型评测AI 评测排行榜机器学习深度学习开发者工具

OpenCompass 中的 MBPP-pro 评测:多问题依赖代码生成与 pass@1 实战指南

导读:MBPP-pro(MBPP Professional)是 OpenCompass 内置的进阶版代码生成评测集,与经典 MBPP 不同,它要求模型解决的问题之间存在“单次或多次调用前一解法”的依赖关系,用于检验模型在多函数协同场景下的真实编码能力。本文以 MBPP-pro 数据集配置 为骨架,结合仓库内的数据集实现与评测器源码,完整讲解数据集结构、提示词模板、评测配置参数、pass@1 结果含义,以及如何在 OpenCompass 中一键复现该评测。

一、MBPP-pro 是什么:从 MBPP 到“专业版”的升级

MBPP(Mostly Basic Python Problems)是代码生成领域广泛使用的基准,考察模型根据自然语言描述编写 Python 函数的能力。MBPP-pro 则在此基础上进一步增加了难度与真实性:后一个问题的解法需要单次或多次调用前一个问题的解法,形成多函数、多文件级的协作编程场景。

这一点在 OpenCompass 的提示词模板中写得非常明确(见 mbpp_pro_gen_3dc067.py):

PROMPT_WRAPPER = """You are an exceptionally intelligent coding assistant that consistently delivers accurate and reliable responses to user instructions.
Write a solution of python file to the following problems, the solution of the second problem requires single or multiple calls to the first solution.
```python
{raw_problem}
{new_problem}

Please put the two solutions within the Python code block provided below, and make sure that the block contains no other unrelated content:

"""


提示词要求模型一次性输出**两个解决方案**:`raw_problem` 为基础问题,`new_problem` 为依赖前者结果的新问题。这一设定使得 MBPP-pro 不再只是“单函数生成”,而是考验模型对问题间依赖关系的理解与跨函数调用能力。

### 1.1 数据集字段与加载方式

从配置中的 `reader_cfg`(<a href="https://link.gitcode.com/i/2921f96350ca90c45a5dfa1413f15daa" target="_blank">mbpp_pro_gen_3dc067.py</a>)可以看到:

```python
mbpppro_reader_cfg = dict(
    input_columns=['raw_problem', 'new_problem'], output_column='test_code')
  • 输入字段:raw_problem(基础问题)、new_problem(依赖问题);
  • 输出字段:test_code,即用于判定解答正确性的测试代码;
  • 每个样本还包含 id(唯一标识,去重依据)等元数据。

数据集的底层加载逻辑位于 MBPPProDataset:它从 JSONL 文件逐行读取,每行是一个 JSON 对象,最终转换为 HuggingFace Dataset 供 OpenCompass 使用:

class MBPPProDataset(BaseDataset):

    @staticmethod
    def load(path, local_mode=False):
        path = get_data_path(path, local_mode=local_mode)
        dataset = []
        with open(path, encoding='utf-8') as f:
            for line in f:
                dataset.append(json.loads(line.strip()))
        return Dataset.from_list(dataset)

1.2 数据获取与本地路径

配置中数据集路径为 opencompass/mbpp_pro。在 datasets_info.py 中记录了对应的本地数据约定:

"opencompass/mbpp_pro": {
    "ms_id": "",
    "hf_id": "",
    "local": "./data/mbpp_pro/mbpp_pro.json"
}

同时在 datasets_info.py 中还登记了数据集压缩包的下载地址入口(http://opencompass.oss-cn-shanghai.aliyuncs.com/datasets/data/mbpp_pro.zip)。实际运行时 OpenCompass 会依据 get_data_path 解析路径:优先读取本地 ./data/mbpp_pro/mbpp_pro.json,也可通过 local_mode 切换加载方式。评测前请确保数据已按该约定放置或已通过 OpenCompass 的数据下载流程就绪。

二、评测配置全解析:如何用 OpenCompass 跑 MBPP-pro

MBPP-pro 在仓库中提供了一套开箱即用的评测配置,文件组织如下:

文件 作用
mbpp_pro_gen.py 入口配置,复用 3dc067 版本的数据集定义
mbpp_pro_gen_3dc067.py 主配置,包含 prompt、retriever、inferencer、evaluator
mbpp_pro_repeat_gen_3dc067.py 数据集重复版本,支持 pass@k 统计(n=5, k=3)

入口配置 mbpp_pro_gen.py 非常简洁,通过 mmengine 的 read_base 机制继承主配置:

from mmengine.config import read_base

with read_base():
    from .mbpp_pro_gen_3dc067 import mbpppro_datasets  # noqa: F401, F403

2.1 推理配置:PromptTemplate + ZeroRetriever + GenInferencer

完整的 infer_cfg 如下(mbpp_pro_gen_3dc067.py):

mbpppro_infer_cfg = dict(
    prompt_template=dict(
        type=PromptTemplate,
        template=dict(round=[
            dict(
                role='HUMAN',
                prompt=PROMPT_WRAPPER),
        ])),
    retriever=dict(type=ZeroRetriever),
    inferencer=dict(type=GenInferencer))

三个组件的职责:

  • PromptTemplate:将 PROMPT_WRAPPER 作为单轮 HUMAN 消息,通过 {raw_problem}、{new_problem} 占位符注入样本内容;
  • ZeroRetriever:零样本检索,不做示例拼接,直接使用完整提示词(对应零样本代码生成评测范式);
  • GenInferencer:生成式推理器,让模型自由输出 Python 代码块,而非分类/打分式作答。

2.2 评测配置:远程代码评测服务

评测环节是 MBPP-pro 与常规客观题评测最大的不同点——它需要真实执行代码来判定正确性。配置如下(mbpp_pro_gen_3dc067.py):

mbpppro_eval_cfg = dict(
    evaluator=dict(type=MBPPProEvaluator,
                   ip_address='https://opencompass-multiple-evaluator.hf.space'),
)
  • type=MBPPProEvaluator:OpenCompass 为 MBPP-pro 定制的评测器;
  • ip_address:指向远程代码评测服务地址。注意:运行该评测需要远程服务可用,这是该数据集评测的前提条件之一。

2.3 pass@k 变体:n=5 / k=3

若需要统计 pass@k(如 pass@3),可使用重复数据集版本 mbpp_pro_repeat_gen_3dc067.py,其数据集定义末尾追加了采样参数:

mbpppro_datasets = [
    dict(
        abbr='mbpp_pro',
        type=MBPPProDataset,
        path='opencompass/mbpp_pro',
        reader_cfg=mbpppro_reader_cfg,
        infer_cfg=mbpppro_infer_cfg,
        eval_cfg=mbpppro_eval_cfg,
        n=5,
        k=3)
]
  • n=5:对每个问题采样生成 5 个候选解答;
  • k=3:统计 5 个候选中至少 1 个通过的概率(pass@3)。

这与仓库中 mbpp 数据集的 repeat 配置(注释“This config is used for pass@k evaluation with dataset repetition”)所采用的“数据集重复 + n/k 采样”思路一致。

三、MBPPProEvaluator 源码级原理:从生成到执行的完整链路

评测器实现在 opencompass/datasets/mbpp_pro.py,它继承自通用代码评测器 CodeEvaluator(opencompass/openicl/icl_evaluator/code_evaluator.py)。评测流程分为三步:

3.1 第一步:组装可执行代码

processed_completion = self._process_completions(completion)
code = processed_completion + '\n' + test_case['test_code']
sub_data_dict = {
    'name': int(test_case['id']),
    'language': self.language,
    'code': code,
}
all_test_cases.append(sub_data_dict)
  • 用 _extract_code(正则 r'```\w*\n(.*?)```')从模型输出中抽取首个 Python 代码块,去除多余文本;
  • 将抽取出的解答与数据集自带的 test_code 拼接,组成完整可执行脚本;
  • 以 id 作为唯一标识(drop_duplicates 去重,见 score 方法第 52 行),确保每道题只评一次。

3.2 第二步:批量送评 + 重试机制

success, outputs, error_message = self._evaluate(all_test_cases)

_evaluate 位于 code_evaluator.py,内置最多 retry=5 次的重试:请求失败时等待 30 秒后重试,直至成功或耗尽次数。底层通过 gradio_client.Client(ip_address) 调用远程服务的 /evaluate 接口(_code_eval_service 方法),并将结果解析为 dict/list 或 JSON 字符串。

3.3 第三步:统计 pass@1

_process_results(code_evaluator.py)按执行结果归类:

  • status == 'OK':记为正确(correct=True);
  • 其余状态(timeout、failed、wrong_answer 等):记为错误。

最终指标即 pass@1:

return {f'pass@1': 100 * correct / total_count, 'details': details}

除了总体通过率,返回结果中还包含 details,逐条记录每道题的执行状态与对应 prompt,便于失败案例分析。

四、评测结果解读:OpenCompass vs CodeEval-pro 对比

仓库 MBPP-pro README 公开了三款模型在 OpenCompass(OC) 与 CodeEval-pro 两套评测管线下的 pass@1 结果,可作为基准参考:

OC(OpenCompass)结果

模型 pass@1
qwen2.5-coder-7b-instruct-hf 66
qwen2.5-14b-instruct-hf 64
deepseek-v2-lite-chat-hf 36

CodeEval-pro 结果

模型 pass@1
qwen2.5-coder-7b-instruct-hf 65
qwen2.5-14b-instruct-hf 65
deepseek-v2-lite-chat-hf 39

从数据可以看出两个要点:

  1. 专精编程的模型(qwen2.5-coder-7b)在 OC 管线上以 66 分领先,且其参数规模小于 qwen2.5-14b 通用模型,说明 MBPP-pro 对“代码专项能力 + 多问题依赖推理”非常敏感;
  2. 两套评测管线结果高度接近(同模型差距在 1~3 个百分点内),说明 pass@1 指标在合理的执行环境与提示词规范下具备跨管线可比性,也侧面验证了 OpenCompass 评测流程的稳定性。

注意:以上数字为仓库 README 记录的既定评测结果,具体得分可能随数据版本、模型权重更新与远程评测服务状态变化;复现时应以当前环境实际输出为准。

五、从零复现:在 OpenCompass 中运行 MBPP-pro 评测

5.1 前置条件

  • 已按 安装指南 完成 OpenCompass 环境安装;
  • 具备可访问的模型推理后端(本地权重或 API,参考 models 使用指南);
  • 网络可访问配置中指定的远程代码评测服务地址;
  • 数据集就位:本地 ./data/mbpp_pro/mbpp_pro.json(或通过 OpenCompass 数据下载机制拉取 mbpp_pro.zip)。

5.2 编写评测配置并运行

在已有的模型配置(如 models/qwen2.5_coder_7b_instruct.py)基础上,组合数据集配置即可。运行方式为 OpenCompass 标准入口:

python run.py \
    --models models/qwen2.5_coder_7b_instruct.py \
    --datasets configs/datasets/mbpp_pro/mbpp_pro_gen.py \
    --work-dir outputs/mbpp_pro
  • --models:指定待测模型;
  • --datasets:直接引用 mbpp_pro_gen.py 入口配置,自动继承 3dc067 主配置;
  • --work-dir:指定输出目录,评测结果(含 pass@1 与 details)会写入其中。

若需统计 pass@3,则将 --datasets 换为 configs/datasets/mbpp_pro/mbpp_pro_repeat_gen_3dc067.py。

5.3 结果查看与失败分析

评测完成后:

  • 汇总结果中的 mbpp_pro/pass@1 即为最终指标;
  • 打开 details 明细,可逐题查看 status(OK / timeout / failed / wrong_answer 等),定位模型在“多问题依赖”场景中的薄弱环节;
  • 结合 prompt 字段回放输入,判断是提示词理解问题、函数调用错误还是测试用例边界问题。

六、小结

MBPP-pro 是 OpenCompass 代码评测能力中极具代表性的进阶基准:它通过“第二题依赖第一题解法”的题目结构,把评测焦点从单函数生成提升到多函数协作层面。结合仓库实现可以看到,OpenCompass 通过 MBPPProDataset(JSONL 加载)、MBPPProEvaluator(远程执行 + 重试 + pass@1 统计)与三件套配置文件(mbpp_pro_gen.py 入口 / 3dc067 主配置 / repeat 变体)提供了完整闭环:数据解析 → 提示词组装 → 生成式推理 → 代码执行 → 指标统计。无论是复现公开基线,还是横向对比代码模型的多问题推理能力,都可以直接基于上述配置快速上手。

延伸阅读

登录后查看全文
opencompass