MBPP中test_setup_code与challenge_test_list详解:让代码生成评测更严谨

原创2026-10-29 12:20:39503 阅读
文章标签:数据集模型评测

MBPP中test_setup_code与challenge_test_list详解:让代码生成评测更严谨

MBPP(Mostly Basic Python Problems)是 Google Research 发布的经典 Python 代码生成评测数据集,共收录约 1000 道由众包方式编写、面向初级程序员的编程题。每个题目除了包含任务描述与参考代码外,还附带自动化测试用例。其中 test_setup_code 与 challenge_test_list 两个字段,正是让代码生成评测结果更严谨、更具区分度的关键,也是很多使用者容易忽略的细节。本文带你快速读懂 MBPP 的数据结构,并讲透这两个字段的正确用法。

一、MBPP 数据集一览:先搞清楚"考卷长什么样"

MBPP 最初随论文《Program Synthesis with Large Language Models》(Austin et al., 2021)一同发布,用于评测模型"根据自然语言描述生成可运行 Python 代码"的能力。

数据集分为两个配置(config):

配置 字段 特点
full task_id、text、code、test_list、test_setup_code、challenge_test_list 原始完整版,题目约 974 道
sanitized source_file、task_id、prompt、code、test_imports、test_list` 经过第二轮人工润色,题面表达更清晰

每个配置下都有 4 个切分(split),对应仓库中的 parquet 文件:

Split 用途 示例文件
train 训练 full/train-00000-of-00001.parquet
test 评测 full/test-00000-of-00001.parquet
validation 验证 full/validation-00000-of-00001.parquet
prompt Few-shot 提示样例(不参与训练) full/prompt-00000-of-00001.parquet

💡 sanitized 版本对应的文件位于 sanitized/ 目录,如 sanitized/test-00000-of-00001.parquet。字段定义详见 README.md。

以 full 中 task_id=1 为例,一条样本大致如下:

  • text:任务描述,如"写一个函数求从 (0,0) 到 (m,n) 的最低成本路径"
  • code:参考解答
  • test_list:3 条 assert 断言,逐条验证函数输出
  • test_setup_code:本例为空字符串 ''
  • challenge_test_list:本例为空列表 []

看到空值,你可能会问:既然经常是空的,这两个字段还有存在意义吗? 这正是下面两节要解答的问题。

二、test_setup_code:为测试环境"铺路"的初始化代码

test_setup_code 是执行测试前需要先运行的准备代码,README 中对其的定义是:

test_setup_code/test_imports:necessary code imports to execute tests(执行测试所需的代码导入)

典型内容包括:

  • 导入题目未显式提及但测试用到的库,例如 from math import gcd
  • 定义测试依赖的辅助变量或常量
  • 导入 numpy、pandas 等第三方包(此时评测环境需提前安装)

为什么它重要?

模型生成的代码通常只包含"答题区"的函数本体,并不知道测试还需要哪些前置依赖。如果没有 test_setup_code,测试会因为 NameError 或 ImportError 而非正常失败——模型可能写得完全正确,分数却被错杀。

一个规范的评测流程应是这样拼装执行环境:

  1. 执行 test_setup_code(准备依赖)
  2. 执行模型生成的代码
  3. 逐条执行 test_list 中的断言
  4. 若使用挑战测试,再逐条执行 challenge_test_list

这样,"环境问题"与"代码能力问题"被清晰分开,评测结论才可信。

三、challenge_test_list:更难、更刁钻的"加试题"

challenge_test_list 是 README 中定义的一组更有挑战性的测试用例(a list of more challenging tests to further probe solution),用于进一步探测解答的健壮性。

它与 test_list 的区别在于难度定位:

字段 定位 出题意图
test_list 基础正确性 常规输入下函数是否算得对
challenge_test_list 边界与压力测试 大输入、特殊值、边界条件、易错的等价语义

基础测试全过,不等于解答真正健壮。例如一个排序函数,普通数组能过测试,但遇到包含重复元素、负数或空输入的"加试题"就可能露出马脚。challenge_test_list 正是用来暴露这类"表面正确、实则脆弱"的解答。

实战建议:报告成绩时分开统计两层通过率,例如"基础测试通过率 90%,含挑战测试通过率 78%",这比单一分数更能反映模型真实水平,也更容易被同行复核。

四、如何用它做严谨评测:完整步骤清单

以下是一套可落地的 MBPP 评测步骤:

  1. 加载数据:读取 test 切分(full 配置),确认字段齐全
  2. 生成代码:把 text(或 sanitized 版的 prompt)作为提示,让模型生成解答;few-shot 样例取自 prompt 切分
  3. 隔离执行:在沙箱或独立进程中运行生成代码(⚠️ 官方在 README.md 中特别提醒:生成的代码可能有危害,务必在安全环境中执行)
  4. 拼装环境:按上文顺序注入 test_setup_code → 生成代码 → test_list
  5. 加试探测:追加执行 challenge_test_list,单独记录结果
  6. 统计指标:常用论文中提出的 pass@k 指标,衡量"采样 k 次至少有一次通过全部测试"的无偏概率
  7. 对照说明:在报告中注明使用的配置(full 或 sanitized)与测试层级,保证结果可复现

五、常见坑与避坑指南

  • 忽略空字段的差异:test_setup_code 为空字符串、challenge_test_list 为空列表时,直接跳过即可;不要把空字符串当代码执行。
  • sanitized 配置没有挑战测试:sanitized 版的字段是 test_imports(列表形式,与 test_setup_code 功能对应),但不含 challenge_test_list。跨配置对比成绩时务必注明这一点。
  • 第三方依赖缺失:若 test_setup_code 导入了 numpy 等包,请先在评测环境中安装依赖,否则测试会误判失败。
  • 题面歧义:full 版的任务描述可能不够严谨,sanitized 版通过第二轮标注改善了这一点(README 的"Other Known Limitations"一节有说明)。做严格学术对比时,建议同时报告两个配置的结果。

六、小结:两个小字段,决定评测可信度

回到开头的核心问题:

  • test_setup_code 负责"搭台"——保证测试在正确的依赖环境下运行,避免环境因素干扰评分;
  • challenge_test_list 负责"加压"——用更难的边界用例检验解答的健壮性,拉开不同模型之间的差距。

正确使用这两个字段,你的代码生成评测才能从"跑通了"升级为"评得准"。

📎 相关数据文件:full/test-00000-of-00001.parquet | sanitized/prompt-00000-of-00001.parquet | 字段与切分说明:README.md

登录后查看全文
mbpp