Codex Tool-Use Trajectories是什么?437条AI编码智能体真实轨迹数据集完全解析
Codex Tool-Use Trajectories是什么?437条AI编码智能体真实轨迹数据集完全解析
📦 Codex Tool-Use Trajectories 是一个开源的 AI 编码智能体工具调用轨迹数据集:它收录了 OpenAI Codex 编码智能体在真实 Windows 工作区中完成编码任务时产生的 437 条完整多步轨迹(含 12,121 次工具调用),以及 314 组"子智能体任务简报-最终报告"配对数据。如果你正在寻找训练或研究 function calling / agent 轨迹 的真实语料,这份数据集从 12.5GB 原始会话日志中清洗、脱敏而来,是少有的"真实世界"编码智能体轨迹数据源。
一、数据集概览:一句话看懂它是什么
一句话概括:这是"编码智能体真实干活的完整录像带"——每一条记录都是一次完整的智能体回合,从用户下达任务,到智能体反复调用 shell_command、apply_patch、decompile 等工具,再到最终交付答案的全过程。
| 核心指标 | 数值 |
|---|---|
| 轨迹总数 | 437 条(403 训练 / 34 测试) |
| 任务简报-报告配对 | 314 组 |
| 工具调用总次数 | 12,121 次(覆盖 24 种工具) |
| 工具调用失败率 | 4.7%(569 次失败,含真实报错与恢复过程) |
| 原始日志规模 | 361 个文件 / 12.5GB / 111 万行 |
| 清洗后输出 | 约 46.5MB |
| 许可证 | MIT |
🎯 与"人工示范数据"不同,这些轨迹是模型(主要是 gpt-5.5)在真实项目里跑出来的,包含失败的命令、重复的调用甚至错误的结论——这正是研究智能体行为与工具使用(tool-use)时最有价值的部分。
二、数据从哪里来:一条 9,286 → 400 → 437 的清洗漏斗
数据集由一位开发者机器上的 Codex Desktop 原始 rollout 日志构建(记录时间 2026-05-06 ~ 2026-06-01),原始日志中 9,286 个"回合实例"经过多轮严格筛选,最终只留下真正"完成了任务且至少调用过一次工具"的 400 个回合:
| 清洗阶段 | 数量 | 说明 |
|---|---|---|
| 扫描到的回合实例 | 9,286 | 其中大量是子会话中内嵌的父会话历史副本 |
| 完成任务且有工具调用 | 395 | 自动规则筛选 |
| 手动恢复的损坏回合 | +5 | 日志被 NUL 字节损坏后人工抢救 |
| 最终保留回合 | 400 | 其中 31 个回合在上下文压缩点被切分 |
| 切分后的轨迹行数 | 437 | 每个压缩段成为一行独立轨迹 |
💡 为什么 400 个回合变成 437 行?因为长回合在触发上下文压缩(compaction)时会被切段,每一段都是一条独立的、结构完整的轨迹行。
完整的过程记录、每一条验证检查的通过情况,都可以在 REPORT.md 中查阅,汇总计数在 manifest.json 里逐条列出。
三、三大配置:trajectories、pairs、traces 怎么选
数据集提供三种加载配置,面向不同用途:
| 配置 | 内容 | 推荐用途 |
|---|---|---|
trajectories |
437 行完整对话(OpenAI chat 格式) | 训练与建模(推荐) |
pairs |
314 组"父智能体简报 → 子智能体报告" | 研究多智能体委派(delegation) |
traces |
同样 437 条轨迹,重建为 Codex rollout 文件(traces/train/、traces/test/ 各一文件一条) |
浏览与查看(scripts/to_codex.py 生成) |
加载方式(trajectories 训练集为 trajectories.train.jsonl,测试集为 trajectories.eval.jsonl):
from datasets import load_dataset
traj = load_dataset("israellaguan/codex-tool-use-trajectories", "trajectories")
pairs = load_dataset("israellaguan/codex-tool-use-trajectories", "pairs")
traces = load_dataset("israellaguan/codex-tool-use-trajectories", "traces")
四、一条轨迹长什么样:字段与质量标记
每行 trajectories 记录都带有丰富的元数据,方便按需过滤:
关键元数据字段
| 字段 | 含义 |
|---|---|
id / session_id / turn_id |
轨迹、会话、回合的唯一标识(<turn_id>#<segment>) |
segment / segments_total |
被压缩切分后的第 k / n 段 |
model / effort |
产生该回合的模型与推理强度(411/437 行为 gpt-5.5) |
task_source |
任务来源:user / goal / reconstructed |
n_tool_calls / n_failed_calls |
工具调用次数与失败次数 |
flags |
质量标记,见下表 |
质量标记(flags)速查 🚩
| 标记 | 数量 | 含义 |
|---|---|---|
large_patch |
8 | 含超过 2 万字符的大补丁 |
manual_recovery |
11 | 由人工从损坏日志中恢复 |
high_dup_calls |
4 | 超过 10% 的调用是重复调用 |
short_final |
2 | 最终答案不足 200 字符 |
ends_on_tool_output |
3 | 运行被截断,没有最终答案 |
消息与工具细节
- 消息遵循标准 OpenAI chat 格式:
system→user任务 →assistant(可带tool_calls)→tool(工具输出)循环往复; - 共 24 种工具,其中 PowerShell 的
shell_command占 10,343 次,其余包括apply_patch、update_plan以及decompile、disasm、list_funcs等逆向工程工具; - 每行中位数 37 条消息、22 次工具调用;最大一条含 241 条消息、136 次调用;
- 超过 4,000 字符的工具输出会被截断为首尾各 2,000 字符,图片以
[image omitted]占位。
🔍 想看真实样例?REPORT.md 第 7 节收录了短、中、长三档轨迹的逐条消息摘要,配合 scripts/view.py 的紧凑视图格式,几分钟就能建立直观印象。
五、脱敏与验证:这些数据可以放心用吗?
数据发布前经过自动模式匹配脱敏与 13 项独立验证(12 项通过,1 项为规格内已知的构造性例外),每条脱敏记录都写入 redactions.jsonl(只存 SHA-256 哈希,不存原始值):
| 脱敏类型 | 替换次数 |
|---|---|
| Windows 用户目录路径 | 881 |
sk- 样式密钥模式(实为连字符单词误报) |
62 |
| OneDrive 组织名 | 6 |
| IPv4 地址 | 8 |
| 邮箱地址 | 3 |
验证扫描确认:AWS、GitHub、OpenAI 风格密钥、PEM 私钥、Bearer 凭证零残留。脱敏逻辑可参考 scripts/redact.py,验证流程在 scripts/validate.py。
⚠️ 但请注意未被脱敏的内容:项目名与文件名(M:\Codex\...)、厂商产品名、commit 哈希,以及 25 个"疑似电话"字符串(绝大多数其实是视频编码器的分辨率/帧数数字)。脱敏是尽力而为,不构成"绝对无敏感信息"的保证。
六、快速上手:克隆仓库并加载数据
git clone https://gitcode.com/hf_mirrors/israellaguan/codex-tool-use-trajectories
随后按上文 load_dataset 的三种配置加载即可。若只想翻阅单条轨迹,traces/train/ 与 traces/test/ 下每条轨迹对应一个独立文件(如 traces/train/ 下的 <turn_id>_<segment>.jsonl),按 session_meta → turn_context → response_item 的记录类型逐行阅读即可。
七、避坑指南:使用前必读的 6 个限制
- 单一开发者、单一领域:几乎所有行都来自同一个 Windows 项目(视频编码器逆向),320/334 个会话同源于一个父线程,语言与任务覆盖面偏窄;
- 测试集不完全独立:按会话切分(seed 42,约 10%),但测试会话与训练会话常来自同一父线程,
test只宜作回归集,别当泛化能力基准; - 未按质量筛选:轨迹只按"完成 + 用了工具"筛选,不代表智能体做对了;
- 上下文不完整:缺失原始系统提示、推理过程与压缩摘要;建议用
segment == segments_total且n_tool_calls > 0筛选完整运行; - 第三方内容:工具输出含反编译器/反汇编输出及专有软件相关内容,再发布或训练前请自行确认权利;
- 不可信内容:数据含真实 shell 命令与安装操作,不要直接执行其中的命令。
🧹 另外,6 行数据的任务文本是因原始日志损坏而由审阅者事后重建的(task_source == "reconstructed"),如需纯正原始提示词请过滤掉这 6 行(恢复明细见 scripts/manual_recoveries.json)。
八、关键文件速查表 🗂
| 文件 | 用途 |
|---|---|
| trajectories.train.jsonl / trajectories.eval.jsonl | 主数据集(403 + 34 行轨迹) |
| pairs.train.jsonl / pairs.eval.jsonl | 314 组简报-报告配对 |
| traces/train/ 与 traces/test/ | 逐文件轨迹(Codex rollout 格式) |
| redactions.jsonl | 960 条脱敏审计记录 |
| manifest.json | 构建计数、切分参数与验证结果 |
| REPORT.md | 完整清洗报告(漏斗、验证、样例行) |
| README.md | 字段说明与使用建议 |
| scripts/ | 构建管线:extract.py、redact.py、validate.py、to_codex.py、view.py 等 |
总结
Codex Tool-Use Trajectories 以 MIT 协议开放了 437 条编码智能体的真实多步工具调用轨迹,覆盖 12,121 次工具调用、含失败与恢复过程,配套 314 组委派配对与完整的脱敏/验证审计链路。对于想研究 agent 轨迹建模、function calling 行为分析或多智能体协作的研究者与工程师,这是一份"真实感"十足的起点——只需留意它的单领域来源与测试集独立性限制,就能安全地把它纳入你的实验。