MBPP数据字段全解析:逐字读懂task_id、code、test_list等核心字段

原创2026-10-29 22:40:481,656 阅读
文章标签:数据集模型评测

MBPP数据字段全解析:逐字读懂task_id、code、test_list等核心字段

MBPP(Mostly Basic Python Problems)是 Google Research 发布的 Python 代码生成评测数据集,包含约 1000 道入门级编程题。本文带你逐字读懂 MBPP 数据集的全部核心字段——task_id、text、code、test_list、challenge_test_list 等,帮你在 5 分钟内彻底搞懂 MBPP 数据结构,轻松上手代码生成评测与微调任务。

MBPP 数据集是什么?

🐍 MBPP 全称 Mostly Basic Python Problems(大部分基础 Python 问题),最初随论文 Program Synthesis with Large Language Models 一起发布,专门用于评估大语言模型的 代码生成能力(code-generation)。

它的核心特点是"小而精":

  • 📚 约 1000 道众包编程题,难度面向初级程序员,覆盖 Python 基础语法与标准库
  • 🧪 每道题都附带题目描述、参考解答代码和 3 条自动化测试断言
  • 🧹 提供了 full 和 sanitized 两个版本,后者经过人工二次校验,题目描述更清晰
  • 📄 采用 CC-BY-4.0 许可证,可自由用于研究和商业用途

官方字段说明可直接查阅数据集卡片 README.md。

MBPP 数据集目录结构一览

整个仓库非常简洁,数据以 Parquet 格式存储,按 版本(config) 和 数据划分(split) 两个维度组织:

目录/文件 说明
full/train-00000-of-00001.parquet 完整版训练集,374 条
full/test-00000-of-00001.parquet 完整版测试集,500 条
full/validation-00000-of-00001.parquet 完整版验证集,90 条
full/prompt-00000-of-00001.parquet 完整版 few-shot 提示样例,10 条
sanitized/train-00000-of-00001.parquet 清洗版训练集,120 条
sanitized/test-00000-of-00001.parquet 清洗版测试集,257 条
sanitized/validation-00000-of-00001.parquet 清洗版验证集,43 条
sanitized/prompt-00000-of-00001.parquet 清洗版 few-shot 提示样例,7 条

💡 两个版本各含 4 个 split:train、test、validation 用于训练和评估,prompt 则专门存放用于 few-shot prompting(少样本提示) 的样例,不参与训练。

核心字段速查表

先看全局,两个版本的字段对照如下:

字段 数据类型 所属版本 含义
task_id int32 full / sanitized 题目唯一编号,用于对齐两个版本
text / prompt string full / sanitized 编程任务的文字描述(出题 Prompt)
code string full / sanitized 该题的参考解答代码
test_list sequence<string> full / sanitized 3 条 assert 断言,用于验证代码正确性
test_setup_code string full 运行测试前需要的额外导入/准备代码
challenge_test_list sequence<string> full 更有挑战性的附加测试用例
source_file string sanitized 记录该题来源的校验笔记本文件名
test_imports sequence<string> sanitized 运行测试所需的 import 语句列表

full 版本字段逐个解析

full 是 MBPP 的默认版本(load_dataset("mbpp") 加载的就是它),共 974 条题目。下面逐字拆解每个字段。

task_id:题目的"身份证号"

task_id 是 int32 类型的整数编号,从 1 开始递增。它最重要的作用是在 full 与 sanitized 两个版本之间对齐题目——同一道题在两个版本里 task_id 相同,你可以用它做 join 操作。

text:题目描述(Prompt 的核心)

text 是一段英文自然语言,完整描述要实现的函数:输入什么、输出什么。例如 task_id 为 1 的题目:

Write a function to find the minimum cost path to reach (m, n) from (0, 0) for the given cost matrix...

这正是代码生成任务中模型要读取的 prompt。full 版本的描述由众包人员编写,个别题目表述可能不够精确。

code:参考解答代码

code 字段保存的是这道题的标准解法,通常是可直接运行的 Python 函数定义。以上题为例,code 就是完整的 min_cost(cost, m, n) 动态规划实现。在训练数据集中它是模型的学习标签(label),在评测中则常作为对比基线。

test_list:自动判题的"标准答案"

test_list 是一个字符串列表,固定包含 3 条 assert 断言,例如:

assert min_cost([[1, 2, 3], [4, 8, 2], [1, 5, 3]], 2, 2) == 8
assert min_cost([[2, 3, 4], [5, 9, 3], [2, 6, 4]], 2, 2) == 12
assert min_cost([[3, 4, 5], [6, 10, 4], [3, 7, 5]], 2, 2) == 16

这是 MBPP 最核心的字段:把生成的代码与 test_list 一起执行,全部通过即判为正确。它让评测完全自动化,无需人工逐题核对。

test_setup_code:测试前置代码

test_setup_code 是一段在运行测试断言前需要执行的准备代码,最常见的是 import 语句。大部分题目该字段为空字符串 '',表示不需要额外准备。

challenge_test_list:加试题

challenge_test_list 是可选的挑战性测试列表。README 注明其用途是"进一步探查解法的健壮性"(further probe solution)。很多题目该字段为空列表 [],说明没有加试题;当它非空时,可用于更严格的模型能力评测。

sanitized 版本字段差异解读

sanitized 是 MBPP 的清洗版,只保留了经过人工二次校验的题目子集(共 427 条),字段结构有所调整:

  • prompt 替代 text:字段名更直观,内容则是二次标注后的题目描述,歧义更少
  • test_imports 替代 test_setup_code:从一段自由文本变为结构化的导入语句列表,如 [] 表示无需额外导入
  • 新增 source_file:记录题目来源的校验笔记本,示例值为 Benchmark Questions Verification V2.ipynb,方便溯源

📌 选型建议:做严谨的学术评测选 sanitized;想要更大的数据量用于训练或对比实验,用 full。

数据划分(Splits)怎么用?

两个版本都划分为同样的 4 个 split,各 split 的定位如下:

  1. train:用于模型训练或提示工程调优
  2. test:主评测集,论文中的准确率指标基本基于它计算
  3. validation:验证集,用于超参选择与调优
  4. prompt:few-shot 提示样例池。做 zero-shot / few-shot 评测时,从这里取样拼入提示词,且不要把它混入训练数据,否则会造成数据泄漏

各 split 的具体样例可在 README.md 的 Data Instances 一节找到真实数据实例。

快速上手:5 行代码加载 MBPP 数据

使用 HuggingFace Datasets 库即可直接加载:

from datasets import load_dataset

# 默认加载 full 版本
mbpp_full = load_dataset("mbpp")

# 加载清洗版(需要指定 config 名 "sanitized")
mbpp_sanitized = load_dataset("mbpp", "sanitized")

# 查看第一条数据的所有字段
print(mbpp_full["train"][0])

加载后你就能看到本文解析过的全部字段:task_id、text、code、test_list、test_setup_code、challenge_test_list。

⚠️ 安全提示:评测时模型生成的代码可能在 test_list 执行中被触发,请务必在沙箱等安全环境中运行生成的代码——这是 README 官方明确给出的注意事项。

常见问题 FAQ

Q1:full 和 sanitized 怎么选? full 有 974 题但描述质量参差不齐;sanitized 只有 427 题但每道题都经过人工复核。追求评测公信力选 sanitized,追求样本量选 full,也可以用 task_id 做关联对齐。

Q2:test_list 里为什么只有 3 条断言? MBPP 设计之初就规定每题配 3 条自动化测试,覆盖典型输入即可判断正确性,兼顾了标注成本与评测效率。

Q3:sanitized 里为什么没有 challenge_test_list? 清洗版聚焦于"描述清晰、测试可靠"的基础题集,附加挑战测试仅保留在 full 版本中。

Q4:prompt split 可以直接用来训练吗? 不建议。它专为 few-shot prompting 设计,混入训练集会破坏评测的公平性。

写在最后

🎯 MBPP 虽然只有千题规模,但"题目描述 + 参考代码 + 自动测试断言"的三段式结构,是代码生成数据集的经典范式。理解 task_id 做对齐、text/prompt 做输入、code 做标签、test_list 做判分,你就能灵活地把 MBPP 用到模型评测、提示词实验和微调训练等各种场景。

核心资料回顾:

登录后查看全文
mbpp