autocontext上下文门控晋升机制:为什么Agent的自我修改必须经过A/B验证

原创2026-10-13 22:33:081,952 阅读

autocontext上下文门控晋升机制:为什么Agent的自我修改必须经过A/B验证

autocontext 是一个面向 Agent 递归自我改进的开源框架(recursive self-improving harness)。它的核心能力之一,是用「上下文门控 + A/B 验证」来决定 Agent 的自我修改能否真正上线。本文带你快速理解这套机制:Agent 改动的 prompt、playbook 为什么不能直接生效,以及门控晋升机制如何防止"看似有效、实际有害"的修改。

为什么 Agent 的自我修改不能直接生效?

一个正在自我改进的 Agent 会不断产出新的想法:改一段 prompt、加一条 hint、更新 playbook。听起来很美好,但直接放行会带来两个经典问题:

  • 过拟合假象:新改法恰好在这一次任务里碰巧有效,换个任务就翻车
  • 回归风险:改 A 提示词的同时悄悄破坏了 B 能力,单次观察根本发现不了

autocontext 的答案是:把完整的 prompt 与 harness 状态打包成不可变的 ContextBundle,任何修改都只是一个"候选者"(candidate),必须通过 A/B 对照试验才能晋升为"现任"(incumbent)。 这套机制的完整设计见 docs/context-bundles.md。

1:门控晋升的生命周期:5 个状态一目了然

autocontext 给每个 ContextBundle 定义了清晰的升级路径:

proposed -> screened -> confirmed -> active -> superseded
     |          |
     +----------+-> rejected
状态 含义
proposed Architect/Coach 产出的新候选,仅存放在 candidates/<digest>/ 下
screened 通过廉价初筛
confirmed 通过自适应匹配确认,置信区间越过最小效应阈值
active 原子替换 active.json,正式进入线上 prompt
rejected / superseded 被否决 / 被更新版本取代

关键点:候选者只是"被写入",并不会因为当前策略表现好就自动进入下一次 prompt。晋升协调器 ContextBundlePromotionCoordinator 是整个评估边界的实现,位于 autocontext/src/autocontext/context_bundles/promotion.py,核心入口是 evaluate_candidate()。

2:三级 A/B 验证流水线是怎么跑的?

autocontext 的 A/B 验证不是"跑一次看看分数",而是一条三阶段流水线,全部使用匹配配对(matched pairs):候选与现任在完全相同的 fixture、seed、cohort 和评估器 epoch 上成对对比。

阶段一:低成本初筛(Screen)

用最便宜的匹配配对快速淘汰明显不行的候选。如果候选在这里就输了,整个流程直接终止,省下大量评估成本。

阶段二:自适应确认(Confirmation)

只有初筛过关的候选才进入确认阶段。系统持续采样配对,直到置信区间明确越过最小效应阈值——要么提前确认,要么提前否决。这套统计逻辑的核心实现是 autocontext/src/autocontext/context_bundles/comparison.py 中的 evaluate_matched_trials()。

阶段三:留出集回归检查(Held-out)

最后,候选必须在从未见过的留出配对上不出现回归。三组试验块(screen / confirmation / held-out)严格互斥,防止同一个样本既用于"证明有效"又用于"证明无害"。

通过后,晋升提交只是对 active.json 的一次原子替换:读取方要么看到完整的现任版本,要么看到完整的候选版本,绝不会出现半新半旧的状态。每次晋升都会把确切的候选、现任、评估器 epoch、策略与回滚目标记录到 context_bundles/promotions/ 下。

3:防止"幸运晋升":虚假晋升预算

A/B 试验还有一个隐蔽陷阱:如果一次 campaign 里连续挑战多个候选,总会有一次是"运气好"通过了统计检验。autocontext 用持久化 alpha 预算解决这个问题:

  • 每个候选按 familywise_alpha × 分配衰减 预分错误概率,且在评估开始前就持久化——重启或换生成器都无法重置预算
  • 被否决的候选不退还未使用的 alpha
  • 校准数据(1000 个模拟 campaign)显示:空假设下的实际晋升率约 0.012,而效应 0.40 的明显赢家晋升率为 1.000

完整的统计设定与实测数据见 docs/false-promotion-calibration.md,实现位于 autocontext/src/autocontext/context_bundles/false_promotion.py。

更有意思的是"失败也有账本":被否决或证据不足的候选会写一份不可变的 negative_result.json 台账,绑定确切的 bundle、epoch、种子与证据摘要,避免同一个坏想法换个名字再来挑战。台账实现见 autocontext/src/autocontext/analytics/negative_result_ledger.py。

4:Playbook 人工审批门:最后一道保险

除了自动门控,autocontext 还提供可选的人工拦截门:开启 require_playbook_approval 后,curator 批准的 playbook 不会直接写入,而是落成 playbook.pending.md。此时 read_playbook 仍返回上一版已批准的 playbook——被搁置的"学习"无法在批准前进入任何 prompt。

  • POST /api/knowledge/{scenario}/playbook/approve:晋升为正式 playbook
  • POST /api/knowledge/{scenario}/playbook/reject:清空待定内容,不动已批准版本

详见 docs/playbook-approval-gate.md。

5:如何上手体验?

  • 开启门控晋升只需一个环境变量:AUTOCONTEXT_CONTEXT_BUNDLE_PROMOTION_ENABLED=true,CLI、server、MCP 等入口的 GenerationRunner 会自动构造协调器
  • 用 Python API 直接评估候选:coordinator.evaluate_candidate("support", candidate_digest),完整示例见 docs/context-bundles.md 的 "Python API" 一节
  • 想理解"哪些改动可以归因为因果效应"(而非仅相关),读 docs/context-attribution.md

小结

autocontext 的上下文门控晋升机制回答了一个朴素却关键的问题:Agent 的自我修改凭什么可信? 答案是——不可变候选 + 匹配 A/B 配对 + 三级验证 + 持久化错误预算 + 人工审批门。每一步都可回放、可审计、可回滚。这正是"递归自我改进"从口号走向工程现实的分水岭。

登录后查看全文
autocontext