为什么同一批算子要采两批轨迹:dsv41-fastfirst-whole-round-256k-cann91-20261022-v3的fastfirst与batch100数据源对比
为什么同一批算子要采两批轨迹:dsv41-fastfirst-whole-round-256k-cann91-20261022-v3的fastfirst与batch100数据源对比
dsv41-fastfirst-whole-round-256k-cann91-20261022-v3 是一套面向 NPU 算子开发的完整轨迹 SFT 训练数据仓库:它对同一批 100 个算子分别采集了 fastfirst 与 batch100 两批原始轨迹,最终清洗出 332 条训练记录。这篇文章用最直白的方式讲清楚:两批数据分别怎么采的、长在哪里、为什么要各采一批,以及它们各自在最终训练集中扮演什么角色。
一、两批轨迹数据源一张表看懂
先给结论:两批数据回答的是两个不同的训练问题——“从零写出第一版工程”要学 batch100,“从失败一路修到编译通过”要学 fastfirst。
| 对比维度 | fastfirst | batch100 |
|---|---|---|
| 来源批次 | tasks/dsv41_fastfirst_100_20261019 |
tasks/batch100-20261017 |
| 题量 | 100 题,每题 5 次实际提交(共 500 轮) | 100 题,同会话内多轮迭代 |
| 会话方式 | 每轮 fresh session,后轮恢复上一轮实际提交的源码与反馈 | 同一 Pi 会话内连续迭代,末轮输入自带此前完整对话历史 |
| 协议约束 | 要求尽快生成第一版,每轮最多一次实际 POST | 允许先设计、查资料,同会话继续迭代 |
| 末轮结果口径 | 98 题编译通过、84 题精度全过 | passed 42 / performance_unmet 24 / accuracy_failed 22 / compile_failed 9 / performance_missing 3 |
| 在最终训练集中的用途 | 251 条合格独立轮次 + 29 条完整编译修复链(63 个 session) | 52 条首次实际提交即编译通过的首轮轨迹 |
| 原始末轮快照 | raw-final/fastfirst100/,99 条工具闭环 + 1 条标记缺失 | raw-final/batch100/,100 条消息/工具全部成对 |
💡 两批原始快照只做审计与人工查看,不参与训练,也不会自动混入 train/dev。
二、fastfirst:fresh-session 多轮实采是怎么个采法
fastfirst 的核心特点是**“每轮都是新会话”**:
- 100 题各做 5 轮,每轮一个 fresh session,最多提交一次;
- 后续轮次只能看到上一轮实际提交的源码和真实编译反馈,看不到上一轮的聊天历史;
- 全部 500 轮都有唯一 job、源码 hash 与回执绑定,无超预算、无未知提交。
这种“失忆式”迭代天然会产生大量首轮编译失败 → 下一轮修复的连续过程。采集结束后(见 raw-final/fastfirst100/source-summary/report.md),100 题中首轮精度全对的只有 26 题,历史最佳正确为 95 题,末轮为 84 题——也就是说,绝大部分轮次都花在“拿着报错继续修”上。
原始末轮快照存放在 raw-final/fastfirst100/,每个算子一个 <operator>.jsonl 单行文件,保存最后一轮的原生会话,未清洗、未截断。其中 exp_smooth_l1_loss_v2 的原始末尾缺少一次 bash 工具返回,被如实标记为 complete=false,没有回退轮次或补造回执——这条边界说明可以在 raw-final/fastfirst100/README.md 的“已知原始末尾缺失”一节查到。
三、batch100:同会话多轮迭代会带来什么不同
batch100 走的是相反路线:同一会话内持续迭代。
- 模型可以在一个会话里先设计方案、查阅资料、连续改代码,末轮输入天然包含此前全部对话历史;
- 迭代持续到预算用尽为止,8 题出现
Code iteration budget exhausted的原生拒绝回执,均原样保留(清单见 raw-final/batch100/summary.json); - 因为协议更宽松,模型的首次实际提交质量明显更高:100 题中 55 题首次提交
compiled=true,经严格筛选(规则违规、回执无法绑定、源码无法精确回放各排除若干)后保留 52 条。
这 52 条就是训练集里“首轮”信号的主要来源:从原生会话开头一直保留到首次 submit 的终态回执,不拼接后续修复冒充首轮。其中 26 条首轮精度全对,26 条仅编译通过(目标标签里已区分,不能当全正确样本用)。筛选规则与每条证据文件见 evidence/batch100/ 及 docs/data/archive/batch100-first-compile-20261022.md。
另外,batch100 的 52 条还做了一次逐条指令精简:删除 35 份无依赖的 CPU 教程、34 份五轮预算说明等旧环境片段,共减少 41,562 token,且清理前后监督 token ID 完全一致;每处删/留都有原文与依赖证据,审计材料在 batch100-prompt-cleaning-audit.json。
四、为什么同一批算子要采两批轨迹
这是本文的核心问题。答案在于旧数据暴露出的一个分布缺陷,以及两种协议各自“擅长”的训练信号。
1. 旧数据的问题:首轮监督太少
早期的 268 条版本里,263 条训练数据中首轮只有 26 条,首轮监督仅 460,467 token,占比 4.68%——其余大多是“拿着已有源码和反馈做修复或优化”。这与“从零生成第一版即可编译”的评测目标明显不匹配(背景见 docs/data/README.md 第 2.2 节)。
2. 两批数据源互补:首轮生成能力 + 编译修复能力
- fastfirst 每轮失忆、限时首版,首轮失败率高,于是自然沉淀出大量“失败 → 看反馈 → 修复”的完整链路:29 条编译修复链覆盖 63 个原生 session,链内失败轮也参与监督,模型能学到的是从错误版本走到编译通过版本的完整过程;
- batch100 协议宽松、允许先设计后动手,首次提交编译通过率高,恰好补上“从零写出第一版工程”这种 fastfirst 里稀缺的监督。
两批合入后,train 首轮相关监督提升到 2,372,453 token,占比 19.09%(见 summary.json),且没有复制样本或隐式 oversampling。
3. 最终 332 条训练记录的构成
| 组成 | 数量 | 端点标签 |
|---|---|---|
| fastfirst 合格独立轮次 | 251 | 精度全正确 |
| fastfirst 完整编译修复链 | 29(合 63 个 session) | 17 条端点精度全对,12 条仅编译通过 |
| batch100 首轮 | 52 | 26 条精度全对,26 条仅编译通过 |
| 合计 | 332(325 train / 7 dev,98 个算子) | 含 366 个原生 session 文档 |
五、两批原始末轮快照长得不一样
虽然都是“每题一份末轮快照”,但形态完全不同,这也是两批协议差异最直观的体现:
- fastfirst 快照(
raw-final/fastfirst100/):每题取最后实际提交的 r5 会话,97 条 g01、3 条 g02;请求历史前缀逐条连续、工具调用闭环,仅 1 条带complete=false标记; - batch100 快照(
raw-final/batch100/samples/):每题取最后一条原生 request/response,此前多轮历史全部包含在这份文件里,因此不能把 batch100 的末轮单独拆成孤立样本使用。
两者都未做 prompt 迁移、token 截断或训练 mask 标注,直接拼进 train.jsonl 会破坏训练约定——正确读法见 docs/data/format-and-validation.md。
六、快速验收:三条命令核对两批数据
拿到仓库后,可以按下面的顺序快速核验完整性(数据文件通过 Git LFS 分发,先 git lfs pull):
python tools/verify_release.py # 校验 332 条训练数据与发布文件 hash
python tools/verify_raw_final.py # 校验 200 份原始末轮快照与完整度标记
python raw-final/fastfirst100/export_validate.py --verify # 独立复算 fastfirst 批次
带 tokenizer 的深度重算(重新计算 canonical token 与 mask)可用 python tools/verify_release.py --tokenizer /path/to/matching/Qwen3.5-9B,需与 tokenizer_reference.json 匹配。验收结果与发布标记记录在 validation.json 和 QUALIFIED.json。
七、小结
- fastfirst:fresh-session、固定 5 轮实采,擅长提供独立正确轮次与“失败→修复”完整链路,末轮 98 编译通过 / 84 精度全过;
- batch100:同会话多轮迭代,擅长提供“首次提交即编译通过”的首轮生成监督,末轮 passed 42;
- 两批合入后得到 332 条训练记录(251 + 29 + 52),首轮相关监督占比从 4.68% 提升到 19.09%,让训练分布对齐“从零写第一版 + 从报错修到通过”的双重目标;
- 想精读具体轨迹,可以从 review/index.md 入手:3 条 batch100 首轮和 2 条完整修复链的逐字审阅包都放在那里。
📌 关键数字一句话记忆:100 题 × 2 批 = 200 份末轮快照;训练集 332 条 = 251 独立轮次 + 29 修复链 + 52 首轮。