12121次工具调用大统计:Codex Tool-Use Trajectories里AI编码智能体如何执行PowerShell、打补丁与逆向二进制
12121次工具调用大统计:Codex Tool-Use Trajectories里AI编码智能体如何执行PowerShell、打补丁与逆向二进制
如果你想搞清楚 AI 编码智能体(coding agent)在真实 Windows 环境里到底是怎么工作的,Codex Tool-Use Trajectories 这个数据集值得一读:它收录了 12,121 次真实工具调用,涵盖 PowerShell 命令执行、apply_patch 代码打补丁,以及 decompile、disasm 等逆向二进制操作,全部来自 OpenAI Codex Desktop 在本地 Windows 工作区完成的多步任务轨迹。本文带你快速看懂这套数据长什么样、质量如何、拿来能做什么。
它是什么:一份"AI 编程过程录像"数据集
简单来说,这个数据集把一位开发者在 2026 年 5 月 6 日至 6 月 1 日期间用 Codex Desktop 干活的原始会话日志(361 个文件、12.5 GB、111 万行),清洗成了干净的多步工具调用轨迹:
trajectories:437 条轨迹(403 训练 / 34 测试),每条都是一段完整的"任务 → 思考 → 调工具 → 看结果 → 再调工具 → 给出结论"对话;pairs:314 个"父智能体给子智能体的任务简报 + 子智能体最终报告"配对,适合研究多智能体委派(delegation);traces:与 trajectories 内容相同,但按 Codex rollout 格式一条轨迹一个文件存放,可直接用 Hub 的 agent trace viewer 浏览。
工作场景非常集中:绝大部分任务发生在 M:\Codex\Bink2Combined 目录,围绕 C#/C++/PowerShell 开发 + 一个视频编解码器(Bink2)的二进制逆向展开。411/437 条由 gpt-5.5 模型生成。
12,121 次工具调用都干了什么?
数据集里一共有 24 种工具名,调用量分布大致是:
| 类别 | 代表工具 | 说明 |
|---|---|---|
| 命令执行 | shell_command(PowerShell) |
10,343 次,占绝对大头:rg 搜索、Get-Content 读文件、git status、跑测试、算 PSNR |
| 代码修改 | apply_patch |
打补丁;超过 20,000 字符的大补丁会被打上 large_patch 标记(共 8 条) |
| 任务管理 | update_plan、get_goal |
维护计划、读取当前目标 |
| 逆向工程 | decompile、disasm、list_funcs |
反编译、反汇编、列出函数,典型场景是 IDA 打开 bink2w64.dll 后查地址与符号 |
一些很有统计意义的细节:
- 📊 每条轨迹中位数为 37 条消息、22 次工具调用;最大一条有 241 条消息、136 次调用(还因上下文压缩被切成了 3 段);
- ⚠️ 569 次调用(4.7%)失败了(非零退出码或补丁失败)——这意味着数据里保留了真实的报错与恢复过程,而不是只有"完美运行";
- 中位数轨迹长度之外,还有 7 条轨迹工具调用数为 0(压缩点恰好落在最终答案之前),可用
n_tool_calls > 0过滤。
一个典型的短轨迹(来自 REPORT.md 的样例,7 条消息、3 次 PowerShell 调用):
user: 看看当前页面在浏览器里的实际表现……
assistant[calls: shell_command ×3]: 我先读 index.html / css / js 的真实内容来对照……
tool: Exit code: 0 / Output: <!DOCTYPE html> ...
assistant: 我发现两个真实问题:1. P2 移动端菜单……
而最长的轨迹则展示了逆向场景:先 rg -n "TWO_STAGE|INTER_FRAME_Q_PREDICTOR" 搜关键符号,再用 PowerShell 设置环境变量跑 94.7 秒的编码器基准测试,最后 Import-Csv 解析 PSNR 结果表。
从 12.5 GB 到 46.5 MB:清洗流水线做了什么
数据集的构建过程全部由 scripts/ 下的脚本完成,完整数字见 manifest.json 与清洗报告 REPORT.md:
- 筛选轮次:9,286 个 turn 实例中,只有 395 个"已完成且至少调用过 1 次工具"(其余多为嵌入式父历史副本、纯聊天或被中断的轮次);
- 剔除注入内容:权限提示、
AGENTS.md注入、子智能体通知、reasoning、token 计数等共删掉上万条记录; - 配对工具调用与输出:删掉 4 个无输出的调用和 7 个孤立输出,保证"每次调用恰好有一个 tool 消息";
- 截断 + 切分:超过 4,000 字符的工具输出保留头尾各 2,000 字符(共删掉 8,758 万字符);31 个遇到上下文压缩(compaction)的轮次被切成 437 行;
- 脱敏:960 处替换写入 redactions.jsonl,包括 881 处 Windows 用户目录路径、8 个 IPv4、3 个邮箱等,只记录 SHA-256 不留原值;
- 人工抢救:10 个因 NUL 字节损坏而"半毁"的轮次被手工恢复,每条都带
manual_recovery标记,决策依据见 scripts/manual_recoveries.json。
质量把关也很严格:13 项校验中 12 项通过,唯一"失败"的一项(3b:非最终段以工具消息结尾)被明确解释为构造性必然——压缩点正好落在工具输出之后,作者没有编造 assistant 消息来"凑数"。
如何加载这份数据集
如果你熟悉 Hugging Face datasets,三种 config 各取所需:
from datasets import load_dataset
traj = load_dataset("israellaguan/codex-tool-use-trajectories", "trajectories") # 训练用
pairs = load_dataset("israellaguan/codex-tool-use-trajectories", "pairs") # 委派简报/报告
traces = load_dataset("israellaguan/codex-tool-use-trajectories", "traces") # 浏览用(需要 teich)
traces 与 trajectories 是同一批内容的两种布局:一行对应该目录下一个文件,如 traces/train/ 与 traces/test/ 下的 <turn_id>_<segment>.jsonl,每条记录是 session_meta、turn_context、function_call、function_call_output 等标准 Codex 事件,可用 scripts/view.py 式的压缩视图快速阅读单条轨迹。
新手使用前必看的注意事项
README 的 "Considerations" 一节很诚实,几个要点:
- 🎯 单一开发者、单一领域:334 个会话中 320 个来自同一父线程,语言与任务类型覆盖面很窄,别指望泛化性好;
- 🧪 test 划分不独立:按 session id 切分(seed 42),但测试集的 32/34 行与训练集出自同一父线程,应视为回归测试集而非泛化度量;
- 🚫 未做质量筛选:选样标准是"结构完整"而非"答对了",assistant 输出是模型生成、不是人类示范,里面可能有错误结论;
- 🔒 内容不可信:数据包含真实会话里的 shell 命令、包安装甚至从可变分支下载安装的操作——不要直接执行,喂给 agent 时请把工具输出当不可信文本;
- 📄 6 条
task_source == "reconstructed"的任务描述是损坏后由审阅者补写的,若只要原始 prompt 请过滤掉; - 许可证为 MIT,覆盖本数据集与处理脚本,但不覆盖工具输出里出现的第三方材料(反编译器输出、专有软件笔记等),发布或训练前请自行确认权利。
总结
Codex Tool-Use Trajectories 是一份难得的"真实战场"数据:437 条轨迹、12,121 次工具调用,把 AI 编码智能体在 Windows 下跑 PowerShell、用 apply_patch 改代码、用 decompile/disasm 逆向二进制的全过程都留了下来,连 569 次失败和恢复原样保留。无论你想研究 agent 的 tool-use 行为、多智能体委派,还是逆向工程自动化,它都是一个结构清晰(字段、标记、清洗报告俱全)且经过严格校验(12/13 项通过 + 独立原始日志交叉核对)的优质起点。