MBPP数据字段全解析:逐字读懂task_id、code、test_list等核心字段
MBPP数据字段全解析:逐字读懂task_id、code、test_list等核心字段
MBPP(Mostly Basic Python Problems)是 Google Research 发布的 Python 代码生成评测数据集,包含约 1000 道入门级编程题。本文带你逐字读懂 MBPP 数据集的全部核心字段——task_id、text、code、test_list、challenge_test_list 等,帮你在 5 分钟内彻底搞懂 MBPP 数据结构,轻松上手代码生成评测与微调任务。
MBPP 数据集是什么?
🐍 MBPP 全称 Mostly Basic Python Problems(大部分基础 Python 问题),最初随论文 Program Synthesis with Large Language Models 一起发布,专门用于评估大语言模型的 代码生成能力(code-generation)。
它的核心特点是"小而精":
- 📚 约 1000 道众包编程题,难度面向初级程序员,覆盖 Python 基础语法与标准库
- 🧪 每道题都附带题目描述、参考解答代码和 3 条自动化测试断言
- 🧹 提供了
full和sanitized两个版本,后者经过人工二次校验,题目描述更清晰 - 📄 采用 CC-BY-4.0 许可证,可自由用于研究和商业用途
官方字段说明可直接查阅数据集卡片 README.md。
MBPP 数据集目录结构一览
整个仓库非常简洁,数据以 Parquet 格式存储,按 版本(config) 和 数据划分(split) 两个维度组织:
| 目录/文件 | 说明 |
|---|---|
| full/train-00000-of-00001.parquet | 完整版训练集,374 条 |
| full/test-00000-of-00001.parquet | 完整版测试集,500 条 |
| full/validation-00000-of-00001.parquet | 完整版验证集,90 条 |
| full/prompt-00000-of-00001.parquet | 完整版 few-shot 提示样例,10 条 |
| sanitized/train-00000-of-00001.parquet | 清洗版训练集,120 条 |
| sanitized/test-00000-of-00001.parquet | 清洗版测试集,257 条 |
| sanitized/validation-00000-of-00001.parquet | 清洗版验证集,43 条 |
| sanitized/prompt-00000-of-00001.parquet | 清洗版 few-shot 提示样例,7 条 |
💡 两个版本各含 4 个 split:
train、test、validation用于训练和评估,prompt则专门存放用于 few-shot prompting(少样本提示) 的样例,不参与训练。
核心字段速查表
先看全局,两个版本的字段对照如下:
| 字段 | 数据类型 | 所属版本 | 含义 |
|---|---|---|---|
task_id |
int32 | full / sanitized | 题目唯一编号,用于对齐两个版本 |
text / prompt |
string | full / sanitized | 编程任务的文字描述(出题 Prompt) |
code |
string | full / sanitized | 该题的参考解答代码 |
test_list |
sequence<string> | full / sanitized | 3 条 assert 断言,用于验证代码正确性 |
test_setup_code |
string | full | 运行测试前需要的额外导入/准备代码 |
challenge_test_list |
sequence<string> | full | 更有挑战性的附加测试用例 |
source_file |
string | sanitized | 记录该题来源的校验笔记本文件名 |
test_imports |
sequence<string> | sanitized | 运行测试所需的 import 语句列表 |
full 版本字段逐个解析
full 是 MBPP 的默认版本(load_dataset("mbpp") 加载的就是它),共 974 条题目。下面逐字拆解每个字段。
task_id:题目的"身份证号"
task_id 是 int32 类型的整数编号,从 1 开始递增。它最重要的作用是在 full 与 sanitized 两个版本之间对齐题目——同一道题在两个版本里 task_id 相同,你可以用它做 join 操作。
text:题目描述(Prompt 的核心)
text 是一段英文自然语言,完整描述要实现的函数:输入什么、输出什么。例如 task_id 为 1 的题目:
Write a function to find the minimum cost path to reach (m, n) from (0, 0) for the given cost matrix...
这正是代码生成任务中模型要读取的 prompt。full 版本的描述由众包人员编写,个别题目表述可能不够精确。
code:参考解答代码
code 字段保存的是这道题的标准解法,通常是可直接运行的 Python 函数定义。以上题为例,code 就是完整的 min_cost(cost, m, n) 动态规划实现。在训练数据集中它是模型的学习标签(label),在评测中则常作为对比基线。
test_list:自动判题的"标准答案"
test_list 是一个字符串列表,固定包含 3 条 assert 断言,例如:
assert min_cost([[1, 2, 3], [4, 8, 2], [1, 5, 3]], 2, 2) == 8
assert min_cost([[2, 3, 4], [5, 9, 3], [2, 6, 4]], 2, 2) == 12
assert min_cost([[3, 4, 5], [6, 10, 4], [3, 7, 5]], 2, 2) == 16
这是 MBPP 最核心的字段:把生成的代码与 test_list 一起执行,全部通过即判为正确。它让评测完全自动化,无需人工逐题核对。
test_setup_code:测试前置代码
test_setup_code 是一段在运行测试断言前需要执行的准备代码,最常见的是 import 语句。大部分题目该字段为空字符串 '',表示不需要额外准备。
challenge_test_list:加试题
challenge_test_list 是可选的挑战性测试列表。README 注明其用途是"进一步探查解法的健壮性"(further probe solution)。很多题目该字段为空列表 [],说明没有加试题;当它非空时,可用于更严格的模型能力评测。
sanitized 版本字段差异解读
sanitized 是 MBPP 的清洗版,只保留了经过人工二次校验的题目子集(共 427 条),字段结构有所调整:
prompt替代text:字段名更直观,内容则是二次标注后的题目描述,歧义更少test_imports替代test_setup_code:从一段自由文本变为结构化的导入语句列表,如[]表示无需额外导入- 新增
source_file:记录题目来源的校验笔记本,示例值为Benchmark Questions Verification V2.ipynb,方便溯源
📌 选型建议:做严谨的学术评测选
sanitized;想要更大的数据量用于训练或对比实验,用full。
数据划分(Splits)怎么用?
两个版本都划分为同样的 4 个 split,各 split 的定位如下:
- train:用于模型训练或提示工程调优
- test:主评测集,论文中的准确率指标基本基于它计算
- validation:验证集,用于超参选择与调优
- prompt:few-shot 提示样例池。做 zero-shot / few-shot 评测时,从这里取样拼入提示词,且不要把它混入训练数据,否则会造成数据泄漏
各 split 的具体样例可在 README.md 的 Data Instances 一节找到真实数据实例。
快速上手:5 行代码加载 MBPP 数据
使用 HuggingFace Datasets 库即可直接加载:
from datasets import load_dataset
# 默认加载 full 版本
mbpp_full = load_dataset("mbpp")
# 加载清洗版(需要指定 config 名 "sanitized")
mbpp_sanitized = load_dataset("mbpp", "sanitized")
# 查看第一条数据的所有字段
print(mbpp_full["train"][0])
加载后你就能看到本文解析过的全部字段:task_id、text、code、test_list、test_setup_code、challenge_test_list。
⚠️ 安全提示:评测时模型生成的代码可能在 test_list 执行中被触发,请务必在沙箱等安全环境中运行生成的代码——这是 README 官方明确给出的注意事项。
常见问题 FAQ
Q1:full 和 sanitized 怎么选?
full 有 974 题但描述质量参差不齐;sanitized 只有 427 题但每道题都经过人工复核。追求评测公信力选 sanitized,追求样本量选 full,也可以用 task_id 做关联对齐。
Q2:test_list 里为什么只有 3 条断言? MBPP 设计之初就规定每题配 3 条自动化测试,覆盖典型输入即可判断正确性,兼顾了标注成本与评测效率。
Q3:sanitized 里为什么没有 challenge_test_list? 清洗版聚焦于"描述清晰、测试可靠"的基础题集,附加挑战测试仅保留在 full 版本中。
Q4:prompt split 可以直接用来训练吗? 不建议。它专为 few-shot prompting 设计,混入训练集会破坏评测的公平性。
写在最后
🎯 MBPP 虽然只有千题规模,但"题目描述 + 参考代码 + 自动测试断言"的三段式结构,是代码生成数据集的经典范式。理解 task_id 做对齐、text/prompt 做输入、code 做标签、test_list 做判分,你就能灵活地把 MBPP 用到模型评测、提示词实验和微调训练等各种场景。
核心资料回顾:
- 数据集卡片与字段说明:README.md
- full 版数据文件:full/train-00000-of-00001.parquet
- sanitized 版数据文件:sanitized/train-00000-of-00001.parquet