12121次工具调用大统计:Codex Tool-Use Trajectories里AI编码智能体如何执行PowerShell、打补丁与逆向二进制

原创2026-11-10 22:47:272,540 阅读
文章标签:数据集数据脱敏数据清洗代码智能体人工智能

12121次工具调用大统计:Codex Tool-Use Trajectories里AI编码智能体如何执行PowerShell、打补丁与逆向二进制

如果你想搞清楚 AI 编码智能体(coding agent)在真实 Windows 环境里到底是怎么工作的,Codex Tool-Use Trajectories 这个数据集值得一读:它收录了 12,121 次真实工具调用,涵盖 PowerShell 命令执行、apply_patch 代码打补丁,以及 decompile、disasm 等逆向二进制操作,全部来自 OpenAI Codex Desktop 在本地 Windows 工作区完成的多步任务轨迹。本文带你快速看懂这套数据长什么样、质量如何、拿来能做什么。

它是什么:一份"AI 编程过程录像"数据集

简单来说,这个数据集把一位开发者在 2026 年 5 月 6 日至 6 月 1 日期间用 Codex Desktop 干活的原始会话日志(361 个文件、12.5 GB、111 万行),清洗成了干净的多步工具调用轨迹:

  • trajectories:437 条轨迹(403 训练 / 34 测试),每条都是一段完整的"任务 → 思考 → 调工具 → 看结果 → 再调工具 → 给出结论"对话;
  • pairs:314 个"父智能体给子智能体的任务简报 + 子智能体最终报告"配对,适合研究多智能体委派(delegation);
  • traces:与 trajectories 内容相同,但按 Codex rollout 格式一条轨迹一个文件存放,可直接用 Hub 的 agent trace viewer 浏览。

工作场景非常集中:绝大部分任务发生在 M:\Codex\Bink2Combined 目录,围绕 C#/C++/PowerShell 开发 + 一个视频编解码器(Bink2)的二进制逆向展开。411/437 条由 gpt-5.5 模型生成。

12,121 次工具调用都干了什么?

数据集里一共有 24 种工具名,调用量分布大致是:

类别 代表工具 说明
命令执行 shell_command(PowerShell) 10,343 次,占绝对大头:rg 搜索、Get-Content 读文件、git status、跑测试、算 PSNR
代码修改 apply_patch 打补丁;超过 20,000 字符的大补丁会被打上 large_patch 标记(共 8 条)
任务管理 update_plan、get_goal 维护计划、读取当前目标
逆向工程 decompile、disasm、list_funcs 反编译、反汇编、列出函数,典型场景是 IDA 打开 bink2w64.dll 后查地址与符号

一些很有统计意义的细节:

  • 📊 每条轨迹中位数为 37 条消息、22 次工具调用;最大一条有 241 条消息、136 次调用(还因上下文压缩被切成了 3 段);
  • ⚠️ 569 次调用(4.7%)失败了(非零退出码或补丁失败)——这意味着数据里保留了真实的报错与恢复过程,而不是只有"完美运行";
  • 中位数轨迹长度之外,还有 7 条轨迹工具调用数为 0(压缩点恰好落在最终答案之前),可用 n_tool_calls > 0 过滤。

一个典型的短轨迹(来自 REPORT.md 的样例,7 条消息、3 次 PowerShell 调用):

user: 看看当前页面在浏览器里的实际表现……
assistant[calls: shell_command ×3]: 我先读 index.html / css / js 的真实内容来对照……
tool: Exit code: 0 / Output: <!DOCTYPE html> ...
assistant: 我发现两个真实问题:1. P2 移动端菜单……

而最长的轨迹则展示了逆向场景:先 rg -n "TWO_STAGE|INTER_FRAME_Q_PREDICTOR" 搜关键符号,再用 PowerShell 设置环境变量跑 94.7 秒的编码器基准测试,最后 Import-Csv 解析 PSNR 结果表。

从 12.5 GB 到 46.5 MB:清洗流水线做了什么

数据集的构建过程全部由 scripts/ 下的脚本完成,完整数字见 manifest.json 与清洗报告 REPORT.md:

  1. 筛选轮次:9,286 个 turn 实例中,只有 395 个"已完成且至少调用过 1 次工具"(其余多为嵌入式父历史副本、纯聊天或被中断的轮次);
  2. 剔除注入内容:权限提示、AGENTS.md 注入、子智能体通知、reasoning、token 计数等共删掉上万条记录;
  3. 配对工具调用与输出:删掉 4 个无输出的调用和 7 个孤立输出,保证"每次调用恰好有一个 tool 消息";
  4. 截断 + 切分:超过 4,000 字符的工具输出保留头尾各 2,000 字符(共删掉 8,758 万字符);31 个遇到上下文压缩(compaction)的轮次被切成 437 行;
  5. 脱敏:960 处替换写入 redactions.jsonl,包括 881 处 Windows 用户目录路径、8 个 IPv4、3 个邮箱等,只记录 SHA-256 不留原值;
  6. 人工抢救:10 个因 NUL 字节损坏而"半毁"的轮次被手工恢复,每条都带 manual_recovery 标记,决策依据见 scripts/manual_recoveries.json。

质量把关也很严格:13 项校验中 12 项通过,唯一"失败"的一项(3b:非最终段以工具消息结尾)被明确解释为构造性必然——压缩点正好落在工具输出之后,作者没有编造 assistant 消息来"凑数"。

如何加载这份数据集

如果你熟悉 Hugging Face datasets,三种 config 各取所需:

from datasets import load_dataset

traj   = load_dataset("israellaguan/codex-tool-use-trajectories", "trajectories")  # 训练用
pairs  = load_dataset("israellaguan/codex-tool-use-trajectories", "pairs")       # 委派简报/报告
traces = load_dataset("israellaguan/codex-tool-use-trajectories", "traces")       # 浏览用(需要 teich)

traces 与 trajectories 是同一批内容的两种布局:一行对应该目录下一个文件,如 traces/train/ 与 traces/test/ 下的 <turn_id>_<segment>.jsonl,每条记录是 session_meta、turn_context、function_call、function_call_output 等标准 Codex 事件,可用 scripts/view.py 式的压缩视图快速阅读单条轨迹。

新手使用前必看的注意事项

README 的 "Considerations" 一节很诚实,几个要点:

  • 🎯 单一开发者、单一领域:334 个会话中 320 个来自同一父线程,语言与任务类型覆盖面很窄,别指望泛化性好;
  • 🧪 test 划分不独立:按 session id 切分(seed 42),但测试集的 32/34 行与训练集出自同一父线程,应视为回归测试集而非泛化度量;
  • 🚫 未做质量筛选:选样标准是"结构完整"而非"答对了",assistant 输出是模型生成、不是人类示范,里面可能有错误结论;
  • 🔒 内容不可信:数据包含真实会话里的 shell 命令、包安装甚至从可变分支下载安装的操作——不要直接执行,喂给 agent 时请把工具输出当不可信文本;
  • 📄 6 条 task_source == "reconstructed" 的任务描述是损坏后由审阅者补写的,若只要原始 prompt 请过滤掉;
  • 许可证为 MIT,覆盖本数据集与处理脚本,但不覆盖工具输出里出现的第三方材料(反编译器输出、专有软件笔记等),发布或训练前请自行确认权利。

总结

Codex Tool-Use Trajectories 是一份难得的"真实战场"数据:437 条轨迹、12,121 次工具调用,把 AI 编码智能体在 Windows 下跑 PowerShell、用 apply_patch 改代码、用 decompile/disasm 逆向二进制的全过程都留了下来,连 569 次失败和恢复原样保留。无论你想研究 agent 的 tool-use 行为、多智能体委派,还是逆向工程自动化,它都是一个结构清晰(字段、标记、清洗报告俱全)且经过严格校验(12/13 项通过 + 独立原始日志交叉核对)的优质起点。

登录后查看全文
codex-tool-use-trajectories