Squadra selftest与challenge实战:如何用回归挑战证明AI的修复真的有效

原创2026-10-29 12:42:451,643 阅读

Squadra selftest与challenge实战:如何用回归挑战证明AI的修复真的有效

Squadra 是一款开源的 AI 编码团队协作工具,让 Claude Code、Codex 和 Cursor 多个窗口像一支小队一样共同开发。当 AI 说"我修好了这个 bug",你该信吗?Squadra 内置了两条"证据命令":squadra selftest 自检工具链是否健康,squadra challenge 用一次回归挑战证明修复真的有效——同一个断言,在修复前的代码上必须失败,在修复后的代码上必须通过。

为什么"测试通过"不等于"修复有效"

AI 编码窗口修完 bug 后,最常见的汇报是"测试全绿了"。但这有一类经典陷阱:

  • 测试本身写得有问题,本来就该失败,AI 顺手"修"了测试而不是修了代码;
  • 测试在改动后的代码上通过,但从未在出问题的原始代码上失败过——你无法排除它只是碰巧通过的;
  • 窗口自己声称"已验证",而验证过程没有任何留痕。

回归挑战(regression challenge)的思路非常直白:红变绿才算数。同一个探测断言,先在原始缺陷代码上跑,必须是断言失败(红);再在修复后的代码上跑,必须通过(绿)。两份结果都由工具冻结存档,而不是窗口口头汇报。

selftest 快速上手:一条命令体检工具链

selftest 是 Squadra 的自检命令,它不调用任何模型,只检查工具链本身(Git、SQLite、本地 HTTP、JavaScript、模拟客户端等),帮你确认当前环境能可靠地执行后续的所有证据流程。

squadra selftest --output /durable/selftest-001

运行结束后,输出文件夹里会留下 RESULT.json 和完整的 stdout/stderr 日志。只有当进程正常退出、全部用例执行完毕且数量与收集数一致时,状态才会被标记为 passed(判定逻辑见 scripts/selftest.py),测试由并行运行器 tools/parallel_tests.py 驱动。

⚠️ 注意边界:selftest 验证的是 Squadra 工具包本身,不是你的产品代码,也不评估任何模型的质量。它需要 Node.js 环境;没有 Node.js 时相关检查会直接失败,而不是被跳过。安装后的基础验证流程参考 SETUP.md。

Challenge 的三输入:原始、修复、对照

独立的 challenge 命令接收三个干净的 Git 仓库和一个探测脚本:

输入 含义 期望结果
--original 含缺陷的原始代码 断言失败(红)
--remedy AI 修复后的代码 断言通过(绿)
--positive 已知正确的对照代码 断言通过(绿)
squadra challenge --actor reviewer --oracle /evidence/oracle.py \
  --original /checkouts/defect --remedy /checkouts/remedy \
  --positive /checkouts/control \
  --output /evidence/challenge-001 --timeout 30

探测脚本只需要一个 check(repo) 函数,里面写真实的断言。Squadra 会把三个仓库的受跟踪字节通过 git archive 抽取到私有副本中执行,原始代码不会被触碰(实现见 scripts/challenge.py)。

只有满足全部条件时,结果才会标记为 matched(scripts/challenge.py):

  1. 原始代码上发生 AssertionError(断言失败,而非导入错误);
  2. 修复代码与对照代码都干净通过;
  3. 三次运行全部正常完成,没有超时或不确定状态。

换句话说:导入错误、文件缺失、超时都不算"证明了缺陷存在"。工具还会记录每份代码的 SHA、执行的归档指纹、参数、耗时、退出码和日志——一次挑战只证明一件事,它不是全面审计。

Squadra 仪表盘任务页面:Squadra challenge 回归挑战对应的任务卡片与证明步骤

defect-fix 完整流程:声明、注册、证明

在真实的任务流里,回归挑战是绑在任务上的,由协调者(coordinator)声明:

  1. 声明:协调者创建任务时加 task --defect-fix,标题里写"fix"不算数,声明是单向且仅协调者可做的;
  2. 注册契约:登记这次回归要跑哪些测试。默认运行器 python-unittest-v1 直接用修复附带的测试方法本身,契约长这样:
{"ids":["test_value.ValueTest.test_value"],"files":["tests/test_value.py"]}
squadra challenge --actor coord --task T1 --register \
  --contract-file /evidence/regression.json --reason "Value regression"
  1. 执行:构建者(builder)在冻结的候选版本上运行,工具会自动把同一批测试文件"铺"到原始基线和候选两边分别执行——基线上每个选中方法必须断言失败,候选上必须全部通过;
  2. 把关:check 和 close 会强制要求存在这份匹配的凭证及对应的独立阅读(由另一个没有写代码的窗口完成),直接跳过会被关闭命令拒绝。

如果某个缺陷实在无法自动化复现(比如只在特定硬件上出现),协调者可以登记一个带理由的例外:

squadra challenge --actor coord --task T1 --exception \
  --reason "Hardware-only failure; manual evidence in report"

例外会显示在证明旁边、绑定到候选版本、必须由独立读者检查,而且永远不会被显示为一次成功的 challenge。完整的规则细节在 references/work.md 的 "Defect fixes" 章节,references/benchmark.md 还介绍了离线对比框架(bench-example/run/score)。

Squadra 仪表盘任务故事页:按时间顺序展示 Squadra challenge 回归挑战、证明与审阅记录

在仪表盘上查看证据

打开仪表盘(squadra dash --open),挑战的结果或例外会紧挨着普通证明展示:原始提交号、修复指纹、两份日志一应俱全。任务的"故事"页按时间顺序回放每一步,谁在什么时候证明了什么,一目了然。

Squadra 仪表盘阅读对话框:查看 Squadra challenge 相关的报告原文与证据

常见问题

Q1:selftest 能证明我的代码没问题吗? 不能。它只证明 Squadra 工具链(Git、SQLite、JS 检查等)在你机器上运转正常,与你的产品代码和模型质量无关。

Q2:challenge 会修改我的代码吗? 不会。三个输入都必须干净且已提交,工具只操作 git archive 生成的私有副本,并校验结束后源仓库的快照与之前一致。

Q3:测试在原始代码上没失败,challenge 会算通过吗? 不算。基线上"碰巧通过"、导入错误、跳过的测试、超时,都不能构成断言失败的证据,结果不会标记为 matched。

Q4:修复后代码有变动,之前的 challenge 还算数吗? 不算。源文件漂移会使旧的证明、阅读和挑战失效,需要重新绑定再跑一遍——这正是"绑定到精确代码"的意义。

小结

Squadra 的核心哲学是"证据优先":AI 窗口可以负责写代码,但证明修复有效这件事交给可复现的工具。squadra selftest 先确保体检环境可信,squadra challenge 再用"基线红、候选绿"的回归挑战把"我修好了"变成留档可查的结论。两者都不消耗任何模型调用,跑一次只要几十秒。

更多参考:SKILL.md、references/benchmark.md、references/work.md、scripts/selftest.py、scripts/challenge.py、scripts/fix_challenge.py

登录后查看全文
squadra