Codex Tool-Use Trajectories是什么?437条AI编码智能体真实轨迹数据集完全解析

原创2026-11-10 14:58:331,838 阅读
文章标签:数据集数据脱敏数据清洗代码智能体人工智能

Codex Tool-Use Trajectories是什么?437条AI编码智能体真实轨迹数据集完全解析

📦 Codex Tool-Use Trajectories 是一个开源的 AI 编码智能体工具调用轨迹数据集:它收录了 OpenAI Codex 编码智能体在真实 Windows 工作区中完成编码任务时产生的 437 条完整多步轨迹(含 12,121 次工具调用),以及 314 组"子智能体任务简报-最终报告"配对数据。如果你正在寻找训练或研究 function calling / agent 轨迹 的真实语料,这份数据集从 12.5GB 原始会话日志中清洗、脱敏而来,是少有的"真实世界"编码智能体轨迹数据源。


一、数据集概览:一句话看懂它是什么

一句话概括:这是"编码智能体真实干活的完整录像带"——每一条记录都是一次完整的智能体回合,从用户下达任务,到智能体反复调用 shell_command、apply_patch、decompile 等工具,再到最终交付答案的全过程。

核心指标 数值
轨迹总数 437 条(403 训练 / 34 测试)
任务简报-报告配对 314 组
工具调用总次数 12,121 次(覆盖 24 种工具)
工具调用失败率 4.7%(569 次失败,含真实报错与恢复过程)
原始日志规模 361 个文件 / 12.5GB / 111 万行
清洗后输出 约 46.5MB
许可证 MIT

🎯 与"人工示范数据"不同,这些轨迹是模型(主要是 gpt-5.5)在真实项目里跑出来的,包含失败的命令、重复的调用甚至错误的结论——这正是研究智能体行为与工具使用(tool-use)时最有价值的部分。

二、数据从哪里来:一条 9,286 → 400 → 437 的清洗漏斗

数据集由一位开发者机器上的 Codex Desktop 原始 rollout 日志构建(记录时间 2026-05-06 ~ 2026-06-01),原始日志中 9,286 个"回合实例"经过多轮严格筛选,最终只留下真正"完成了任务且至少调用过一次工具"的 400 个回合:

清洗阶段 数量 说明
扫描到的回合实例 9,286 其中大量是子会话中内嵌的父会话历史副本
完成任务且有工具调用 395 自动规则筛选
手动恢复的损坏回合 +5 日志被 NUL 字节损坏后人工抢救
最终保留回合 400 其中 31 个回合在上下文压缩点被切分
切分后的轨迹行数 437 每个压缩段成为一行独立轨迹

💡 为什么 400 个回合变成 437 行?因为长回合在触发上下文压缩(compaction)时会被切段,每一段都是一条独立的、结构完整的轨迹行。

完整的过程记录、每一条验证检查的通过情况,都可以在 REPORT.md 中查阅,汇总计数在 manifest.json 里逐条列出。

三、三大配置:trajectories、pairs、traces 怎么选

数据集提供三种加载配置,面向不同用途:

配置 内容 推荐用途
trajectories 437 行完整对话(OpenAI chat 格式) 训练与建模(推荐)
pairs 314 组"父智能体简报 → 子智能体报告" 研究多智能体委派(delegation)
traces 同样 437 条轨迹,重建为 Codex rollout 文件(traces/train/、traces/test/ 各一文件一条) 浏览与查看(scripts/to_codex.py 生成)

加载方式(trajectories 训练集为 trajectories.train.jsonl,测试集为 trajectories.eval.jsonl):

from datasets import load_dataset

traj = load_dataset("israellaguan/codex-tool-use-trajectories", "trajectories")
pairs = load_dataset("israellaguan/codex-tool-use-trajectories", "pairs")
traces = load_dataset("israellaguan/codex-tool-use-trajectories", "traces")

四、一条轨迹长什么样:字段与质量标记

每行 trajectories 记录都带有丰富的元数据,方便按需过滤:

关键元数据字段

字段 含义
id / session_id / turn_id 轨迹、会话、回合的唯一标识(<turn_id>#<segment>)
segment / segments_total 被压缩切分后的第 k / n 段
model / effort 产生该回合的模型与推理强度(411/437 行为 gpt-5.5)
task_source 任务来源:user / goal / reconstructed
n_tool_calls / n_failed_calls 工具调用次数与失败次数
flags 质量标记,见下表

质量标记(flags)速查 🚩

标记 数量 含义
large_patch 8 含超过 2 万字符的大补丁
manual_recovery 11 由人工从损坏日志中恢复
high_dup_calls 4 超过 10% 的调用是重复调用
short_final 2 最终答案不足 200 字符
ends_on_tool_output 3 运行被截断,没有最终答案

消息与工具细节

  • 消息遵循标准 OpenAI chat 格式:system → user 任务 → assistant(可带 tool_calls)→ tool(工具输出)循环往复;
  • 共 24 种工具,其中 PowerShell 的 shell_command 占 10,343 次,其余包括 apply_patch、update_plan 以及 decompile、disasm、list_funcs 等逆向工程工具;
  • 每行中位数 37 条消息、22 次工具调用;最大一条含 241 条消息、136 次调用;
  • 超过 4,000 字符的工具输出会被截断为首尾各 2,000 字符,图片以 [image omitted] 占位。

🔍 想看真实样例?REPORT.md 第 7 节收录了短、中、长三档轨迹的逐条消息摘要,配合 scripts/view.py 的紧凑视图格式,几分钟就能建立直观印象。

五、脱敏与验证:这些数据可以放心用吗?

数据发布前经过自动模式匹配脱敏与 13 项独立验证(12 项通过,1 项为规格内已知的构造性例外),每条脱敏记录都写入 redactions.jsonl(只存 SHA-256 哈希,不存原始值):

脱敏类型 替换次数
Windows 用户目录路径 881
sk- 样式密钥模式(实为连字符单词误报) 62
OneDrive 组织名 6
IPv4 地址 8
邮箱地址 3

验证扫描确认:AWS、GitHub、OpenAI 风格密钥、PEM 私钥、Bearer 凭证零残留。脱敏逻辑可参考 scripts/redact.py,验证流程在 scripts/validate.py。

⚠️ 但请注意未被脱敏的内容:项目名与文件名(M:\Codex\...)、厂商产品名、commit 哈希,以及 25 个"疑似电话"字符串(绝大多数其实是视频编码器的分辨率/帧数数字)。脱敏是尽力而为,不构成"绝对无敏感信息"的保证。

六、快速上手:克隆仓库并加载数据

git clone https://gitcode.com/hf_mirrors/israellaguan/codex-tool-use-trajectories

随后按上文 load_dataset 的三种配置加载即可。若只想翻阅单条轨迹,traces/train/ 与 traces/test/ 下每条轨迹对应一个独立文件(如 traces/train/ 下的 <turn_id>_<segment>.jsonl),按 session_meta → turn_context → response_item 的记录类型逐行阅读即可。

七、避坑指南:使用前必读的 6 个限制

  1. 单一开发者、单一领域:几乎所有行都来自同一个 Windows 项目(视频编码器逆向),320/334 个会话同源于一个父线程,语言与任务覆盖面偏窄;
  2. 测试集不完全独立:按会话切分(seed 42,约 10%),但测试会话与训练会话常来自同一父线程,test 只宜作回归集,别当泛化能力基准;
  3. 未按质量筛选:轨迹只按"完成 + 用了工具"筛选,不代表智能体做对了;
  4. 上下文不完整:缺失原始系统提示、推理过程与压缩摘要;建议用 segment == segments_total 且 n_tool_calls > 0 筛选完整运行;
  5. 第三方内容:工具输出含反编译器/反汇编输出及专有软件相关内容,再发布或训练前请自行确认权利;
  6. 不可信内容:数据含真实 shell 命令与安装操作,不要直接执行其中的命令。

🧹 另外,6 行数据的任务文本是因原始日志损坏而由审阅者事后重建的(task_source == "reconstructed"),如需纯正原始提示词请过滤掉这 6 行(恢复明细见 scripts/manual_recoveries.json)。

八、关键文件速查表 🗂

文件 用途
trajectories.train.jsonl / trajectories.eval.jsonl 主数据集(403 + 34 行轨迹)
pairs.train.jsonl / pairs.eval.jsonl 314 组简报-报告配对
traces/train/ 与 traces/test/ 逐文件轨迹(Codex rollout 格式)
redactions.jsonl 960 条脱敏审计记录
manifest.json 构建计数、切分参数与验证结果
REPORT.md 完整清洗报告(漏斗、验证、样例行)
README.md 字段说明与使用建议
scripts/ 构建管线:extract.py、redact.py、validate.py、to_codex.py、view.py 等

总结

Codex Tool-Use Trajectories 以 MIT 协议开放了 437 条编码智能体的真实多步工具调用轨迹,覆盖 12,121 次工具调用、含失败与恢复过程,配套 314 组委派配对与完整的脱敏/验证审计链路。对于想研究 agent 轨迹建模、function calling 行为分析或多智能体协作的研究者与工程师,这是一份"真实感"十足的起点——只需留意它的单领域来源与测试集独立性限制,就能安全地把它纳入你的实验。

登录后查看全文
codex-tool-use-trajectories