MBPP中test_setup_code与challenge_test_list详解:让代码生成评测更严谨
MBPP中test_setup_code与challenge_test_list详解:让代码生成评测更严谨
MBPP(Mostly Basic Python Problems)是 Google Research 发布的经典 Python 代码生成评测数据集,共收录约 1000 道由众包方式编写、面向初级程序员的编程题。每个题目除了包含任务描述与参考代码外,还附带自动化测试用例。其中 test_setup_code 与 challenge_test_list 两个字段,正是让代码生成评测结果更严谨、更具区分度的关键,也是很多使用者容易忽略的细节。本文带你快速读懂 MBPP 的数据结构,并讲透这两个字段的正确用法。
一、MBPP 数据集一览:先搞清楚"考卷长什么样"
MBPP 最初随论文《Program Synthesis with Large Language Models》(Austin et al., 2021)一同发布,用于评测模型"根据自然语言描述生成可运行 Python 代码"的能力。
数据集分为两个配置(config):
| 配置 | 字段 | 特点 |
|---|---|---|
full |
task_id、text、code、test_list、test_setup_code、challenge_test_list |
原始完整版,题目约 974 道 |
sanitized |
source_file、task_id、prompt、code、test_imports、test_list` |
经过第二轮人工润色,题面表达更清晰 |
每个配置下都有 4 个切分(split),对应仓库中的 parquet 文件:
| Split | 用途 | 示例文件 |
|---|---|---|
train |
训练 | full/train-00000-of-00001.parquet |
test |
评测 | full/test-00000-of-00001.parquet |
validation |
验证 | full/validation-00000-of-00001.parquet |
prompt |
Few-shot 提示样例(不参与训练) | full/prompt-00000-of-00001.parquet |
💡
sanitized版本对应的文件位于 sanitized/ 目录,如 sanitized/test-00000-of-00001.parquet。字段定义详见 README.md。
以 full 中 task_id=1 为例,一条样本大致如下:
text:任务描述,如"写一个函数求从 (0,0) 到 (m,n) 的最低成本路径"code:参考解答test_list:3 条assert断言,逐条验证函数输出test_setup_code:本例为空字符串''challenge_test_list:本例为空列表[]
看到空值,你可能会问:既然经常是空的,这两个字段还有存在意义吗? 这正是下面两节要解答的问题。
二、test_setup_code:为测试环境"铺路"的初始化代码
test_setup_code 是执行测试前需要先运行的准备代码,README 中对其的定义是:
test_setup_code/test_imports:necessary code imports to execute tests(执行测试所需的代码导入)
典型内容包括:
- 导入题目未显式提及但测试用到的库,例如
from math import gcd - 定义测试依赖的辅助变量或常量
- 导入
numpy、pandas等第三方包(此时评测环境需提前安装)
为什么它重要?
模型生成的代码通常只包含"答题区"的函数本体,并不知道测试还需要哪些前置依赖。如果没有 test_setup_code,测试会因为 NameError 或 ImportError 而非正常失败——模型可能写得完全正确,分数却被错杀。
一个规范的评测流程应是这样拼装执行环境:
- 执行
test_setup_code(准备依赖) - 执行模型生成的代码
- 逐条执行
test_list中的断言 - 若使用挑战测试,再逐条执行
challenge_test_list
这样,"环境问题"与"代码能力问题"被清晰分开,评测结论才可信。
三、challenge_test_list:更难、更刁钻的"加试题"
challenge_test_list 是 README 中定义的一组更有挑战性的测试用例(a list of more challenging tests to further probe solution),用于进一步探测解答的健壮性。
它与 test_list 的区别在于难度定位:
| 字段 | 定位 | 出题意图 |
|---|---|---|
test_list |
基础正确性 | 常规输入下函数是否算得对 |
challenge_test_list |
边界与压力测试 | 大输入、特殊值、边界条件、易错的等价语义 |
基础测试全过,不等于解答真正健壮。例如一个排序函数,普通数组能过测试,但遇到包含重复元素、负数或空输入的"加试题"就可能露出马脚。challenge_test_list 正是用来暴露这类"表面正确、实则脆弱"的解答。
实战建议:报告成绩时分开统计两层通过率,例如"基础测试通过率 90%,含挑战测试通过率 78%",这比单一分数更能反映模型真实水平,也更容易被同行复核。
四、如何用它做严谨评测:完整步骤清单
以下是一套可落地的 MBPP 评测步骤:
- 加载数据:读取
test切分(full配置),确认字段齐全 - 生成代码:把
text(或sanitized版的prompt)作为提示,让模型生成解答;few-shot 样例取自prompt切分 - 隔离执行:在沙箱或独立进程中运行生成代码(⚠️ 官方在 README.md 中特别提醒:生成的代码可能有危害,务必在安全环境中执行)
- 拼装环境:按上文顺序注入
test_setup_code→ 生成代码 →test_list - 加试探测:追加执行
challenge_test_list,单独记录结果 - 统计指标:常用论文中提出的 pass@k 指标,衡量"采样 k 次至少有一次通过全部测试"的无偏概率
- 对照说明:在报告中注明使用的配置(
full或sanitized)与测试层级,保证结果可复现
五、常见坑与避坑指南
- 忽略空字段的差异:
test_setup_code为空字符串、challenge_test_list为空列表时,直接跳过即可;不要把空字符串当代码执行。 - sanitized 配置没有挑战测试:
sanitized版的字段是test_imports(列表形式,与test_setup_code功能对应),但不含challenge_test_list。跨配置对比成绩时务必注明这一点。 - 第三方依赖缺失:若
test_setup_code导入了numpy等包,请先在评测环境中安装依赖,否则测试会误判失败。 - 题面歧义:
full版的任务描述可能不够严谨,sanitized版通过第二轮标注改善了这一点(README 的"Other Known Limitations"一节有说明)。做严格学术对比时,建议同时报告两个配置的结果。
六、小结:两个小字段,决定评测可信度
回到开头的核心问题:
test_setup_code负责"搭台"——保证测试在正确的依赖环境下运行,避免环境因素干扰评分;challenge_test_list负责"加压"——用更难的边界用例检验解答的健壮性,拉开不同模型之间的差距。
正确使用这两个字段,你的代码生成评测才能从"跑通了"升级为"评得准"。
📎 相关数据文件:full/test-00000-of-00001.parquet | sanitized/prompt-00000-of-00001.parquet | 字段与切分说明:README.md