AHE 如何证明你的修改真的有效?交错代际设计与 change_evaluation 自动回滚机制全解析
AHE 如何证明你的修改真的有效?交错代际设计与 change_evaluation 自动回滚机制全解析
AHE(Agentic Harness Engineering)是一个可观测性驱动的编码 Agent 自动演化框架:基座模型保持不变,被不断进化的是包裹模型的 harness(系统提示词、工具描述、工具实现、middleware、skills、长期记忆等组件)。但自动演化最大的信任难题是:LLM 自己改完 harness 之后,怎么证明这次修改真的有效,而不是碰巧? AHE 用「交错代际设计(staggered generations)」+「change_evaluation 自动归因与回滚」两个机制给出了完整答案。
上图是 AHE 的核心闭环:组件可观测(Component Observability)把 harness 拆成 7 个文件级组件,每个改动都 git 可审计;经验可观测(Experience Observability)由 Agent Debugger 把约 1000 万 token 的原始 trace 蒸馏成带引用的分析报告;决策可观测(Decision Observability)则要求 Evolve Agent 的每次修改都携带证据、可被下一轮评估证伪。本文聚焦最后一步——修改如何被证明有效、如何被自动回滚。
1. 为什么演化系统必须自带"有效性证明"
自演化 Agent 有一个天然的坏毛病:改得越多,越容易把原本能做的任务改坏。只看过往 pass rate 的人无法回答三个问题:
- 归因:这一轮涨的 3 个任务,到底是上一轮哪个改动带来的?
- 证伪:上一轮说"这个改动会修复任务 X",X 真的修复了吗?
- 止损:如果预测错了、甚至出现回归,怎么快速退回到已知最好的状态?
AHE 对这三问的回应分别落在三个工件上:change_manifest.json(预测台账)、change_evaluation.json(归因报告)、best_ever.json + workspace 快照(回滚基线),它们都由主循环编排器 evolve.py 在每轮迭代中自动生产和消费。
2. 交错代际设计:一个迭代目录里住"两代人"
AHE 主循环的每一轮都是 evaluate → analyze → improve,但目录结构上有一个精妙的错位设计:每个 runs/iteration_NNN/ 同时容纳两个代际:
| 目录 | 代际含义 | 何时被评估 |
|---|---|---|
input/ |
第 NNN−1 轮产出的 workspace(上一代) | 本轮评估 |
evolve/ |
第 NNN 轮写入的 workspace(下一代) | 下一轮评估 |
也就是说,评估永远在验证"上一轮的修改",而修改永远是为"下一轮"准备的。这个错位带来两个关键能力:
- 天然的对照实验:本轮评估产生的 pass↔fail 翻转(flips),恰好是上一轮修改的"考试成绩",不需要任何额外的 A/B 实验设计;
- 修改必留证据:Evolve Agent 每轮必须提交一份 change_manifest.json,每个改动都要写明
failure_evidence(失败证据)、root_cause(根因)、targeted_fix(针对性修复)和预测影响——predicted_fixes(预期修复的任务)和risk_tasks(可能回归的任务)。预测一旦写下,下一轮就必须接受检验。
同时,每轮开始都会把当前 workspace 完整拷贝到 input/workspace/ 作为快照(见 evolve.py),并在 git 里打 iteration_N_before 标签——这是后面自动回滚的"救生圈"。
3. change_evaluation:五档判定的自动归因引擎
第 N 轮评估完成后,主循环会加载第 N−1 轮的 change_manifest.json,并执行归因评估(evaluate_changes):
第一步:计算任务状态迁移矩阵。 compute_iteration_diff 会把本轮与上一轮的每个任务对比,分成 9 种状态——flipped(fail→pass,真实能力提升)、regressed(pass→fail,真实能力回退)、stable_pass、stable_fail,以及超时/基础设施异常相关的状态。这样"涨分"和"基础设施抖动"被严格区分开。
第二步:逐条核对预测。 对 manifest 中的每个改动,检查它的 predicted_fixes 是否真的出现在 flipped 里、risk_tasks 是否真的出现在 regressed 里,然后给出五档判定:
| Verdict | 触发条件 | 建议动作 |
|---|---|---|
| ✅ EFFECTIVE | 预期修复全部命中 | 保留 |
| ⚠️ PARTIALLY_EFFECTIVE | 部分命中 | 保留并继续观察 |
| ⚠️ MIXED | 有修复也踩中了风险回归 | 保留有效部分,回滚有害部分 |
| 🔸 INEFFECTIVE | 预期修复一个都没命中 | 回滚或重新设计 |
| ❌ HARMFUL | 零修复 + 踩中风险回归 | 必须回滚 |
第三步:找出"黑天鹅"。 任何不在所有改动预测/风险清单里却发生回归的任务,会被列入 unattributed_regressions 并明确警告——这通常是多个改动交互产生的副作用,是下一轮优先排查对象。
归因结果写入 runs/iteration_NNN/input/change_evaluation.json(save_change_evaluation),并原封不动地注入下一轮 Evolve Agent 的查询中,要求它"必须依据此报告决定回滚"。至此,修改 → 预测 → 评估 → 判定 → 回滚形成了完整闭环。
这条曲线最能说明问题:AHE 的单轮 pass@1(虚线)在迭代 7 明显下滑,但 best-so-far(实线)从不下降——因为下滑轮次的改动被归因判为 INEFFECTIVE/HARMFUL 并回滚,最终交付的永远是历史最优版本(best_ever.json 指向的最佳快照)。这正是"自动回滚"存在的意义:允许试错,但不交付错误。
4. 自动回滚机制的三道防线
回滚不是单一动作,而是三层递进的安全网:
第一道:Evolve Agent 的主动回滚决策。 evolve_prompt.md 要求演化 Agent 在第 2 轮起必须基于归因报告做出 KEEP / IMPROVE / ROLLBACK + PIVOT 三选一决策。其中 ROLLBACK + PIVOT 尤其值得注意:不是简单撤销,而是换一个组件层级重新解决同一类失败(比如提示词层面的约束屡修不好,就回滚掉它、改用 middleware 或新工具实现)。配套的 回滚策略文档 还给出了更细的 keep / revert / partial 三种 verdict 与"防止无效回滚"清单——比如"不要因为 1 个 P2 回归就 revert 全部修改,优先 partial"。
第二道:workspace 快照自动恢复。 perform_auto_rollback 可以把当前 workspace 一键恢复到 best_ever 指向的那一轮的 input/workspace/ 快照——它先备份 git 历史,再用快照文件整体替换 workspace,保证回滚不丢失审计轨迹。
第三道:实验元数据一致性回滚。 当你用 --start-iteration N 从某轮恢复实验时,rollback_experiment_metadata 会把 iteration_scores、task_history.json、evolution_history.md、best_ever.json 等全部元数据截断到第 N 轮之前的状态,防止"工作区回滚了、但历史记录还残留着坏轮次数据"这种半回滚状态。
上图展示了演化过程中真实产生的三类修改(middleware 层、prompt 层、工具层)。每个改动都遵循同一纪律:先有失败证据,再有根因,最后才是修改——这正是它敢把回滚自动化、且能精确回滚到单文件的原因。
5. 实战结果:GPT-5.4 十轮从 69.7% 提到 77.0%
这套"证明 + 回滚"机制不是纸上谈兵。在 Terminal-Bench 2 上,AHE 用 GPT-5.4 经过 10 轮 evaluate → analyze → improve:
| 方法 | Terminal-Bench 2 pass@1 |
|---|---|
| NexAU 初始种子 | 69.7% |
| 手写 Codex harness | 71.9% |
| TF-GRPO(无训练强化学习基线) | 72.3% |
| ACE(自演化基线) | 68.9% |
| AHE(GPT-5.4,10 轮演化) | 77.0% |
更关键的是泛化性:在 GPT-5.4 上演化出的"冻结 harness",不做任何再进化,直接迁移到其他基座模型上仍有 +5.1 ~ +10.1 的提升:
这说明演化沉淀的是通用工程经验(契约式工作流、状态保护、超时调优等),而非对基准任务的过拟合——而这一切的前提,正是每轮修改都被严格验证过。
6. 核心文件索引
| 想理解什么 | 看哪里 |
|---|---|
| 主循环、归因与回滚编排 | evolve.py |
| 修改清单格式(含预测字段) | change-manifest-schema.json |
| 回滚策略与最佳实践 | rollback-strategy.md |
| Evolve Agent 的交付物规范 | evolve_prompt.md |
| 演化实验配置(target_pass_rate 等) | configs/base.yaml |
| 项目总览与快速上手 | README.md |
📌 一句话总结
AHE 的回答其实很朴素:让修改"立军令状"(预测修复与风险任务),用错位一轮的评估来"对账"(change_evaluation 五档判定),再用快照 + git 双保险兜底(自动回滚到 best-so-far)。预测被证伪的改动自动消失,被验证的经验永久沉淀——这就是自动演化系统能跑得比人工更快、却不必更冒险的原因。



