什么是autocontext?让AI Agent越跑越强的递归自我改进框架,一篇读懂
什么是autocontext?让AI Agent越跑越强的递归自我改进框架,一篇读懂
autocontext 是一个开源的 AI Agent 递归自我改进框架(harness):给它一个目标,它就让智能体反复尝试任务、用评估器(verifier)打分、留下有用经验、丢弃死路,让 AI Agent 越跑越强。本篇用最少代码、最通俗的方式,一篇带你读懂它是什么、如何工作、以及新手如何 30 秒上手。
一句话读懂 autocontext:给 AI Agent 装上"进化引擎" 🎯
用过 ChatGPT 或各类 AI Agent 工具的你,可能都有过这样的体验:任务跑得越多,Agent 还是"一条水平线"——它不会从上一次失败里学到东西,经验跑完就丢。
autocontext 正是为解决这个问题而生。它的设计思想用一个词概括:递归自我改进(recursive self-improvement)。
给 autocontext 一个目标 → 它运行任务并对照评估打分 → 保留有用的教训、丢弃死路 → 把 playbook、hints、数据集、训练产物留给下一次运行。
它把"经验"沉淀成文件化的知识资产(playbook、hints、lessons),甚至可以把高分轨迹蒸馏成更便宜的小模型,让下一轮运行的 Agent 自动用上。整个过程无需人工介入,这就是"递归"的含义:本轮的产物,就是下轮的起点。
官方概念模型(Scenario / Task / Mission / Run / Verifier / Knowledge 等核心名词)详见 docs/concept-model.md。
递归自我改进闭环:AI Agent 如何越跑越强 🔄
autocontext 的核心是一个不断转动的飞轮,共 5 步:
- 设定目标:用一句自然语言描述你要什么(
autoctx solve "...")。 - Agent 尝试:Agent 生成策略/方案,在场景(Scenario)中执行。
- Verifier 打分:场景自带的评估器给每个尝试打分——这是唯一的外部信号,它只打分、不生成。
- 知识沉淀:高分策略变成 playbook 和 lessons,失败的尝试记入"死路台账"(negative result ledger),避免下次踩同一个坑。
- 下一轮更强:新一轮运行自动读取这些知识;如果开启了训练钩子,高分轨迹还会蒸馏成本地小模型(LoRA),由模型注册表自动解析并服务。
整个设计是 filesystem-first(文件系统优先) 的:所有产物都是普通文件,你可以检查它、对比它、回放它、导出它,直接喂给训练流程。
项目入口与完整说明见 README.md 与 Python 包指南 autocontext/README.md。
真实案例:43 秒完成一轮自我进化,策略质量 +41.9% 🚀
autocontext 不是概念演示,而是有可复现的闭环案例。官方在单台 Mac(本地 MLX)上跑通了完整循环:
| 阶段 | 平均 Verifier 得分 | 有效 JSON 率 |
|---|---|---|
| 第 N 轮:基础模型 | 0.5809 | 75% |
| 第 N+1 轮:自动服务的 LoRA 适配器 | 0.8241 | 100% |
| 提升 | +0.2432(+41.9%) | — |
整个"训练 → 发布 → 自动解析 → 服务 → 重新测量"的循环只用 43 秒。更关键的是:下一轮运行不需要任何人告诉它该用哪个模型,它从注册表里自动找到刚训练好的适配器并启用。
此外还有"多代自举"实验:gen 0 → gen 3 平均分 0.5767 → 0.6194,仅靠自己的 verifier 输出、无外部数据、无人工参与,逐代单调提升——这正印证了"递归"二字的分量。
完整案例与复现脚本见 autocontext/docs/case-study-recursive-loop.md(复现脚本 demo_recursive_loop.py)。
新手 30 秒快速上手:安装与第一条命令
第一步:安装
autocontext 提供 Python 与 TypeScript 双实现,Python CLI 是主力控制面:
uv tool install autocontext==0.19.1
安装完成后,命令行工具名为 autoctx。
第二步:跑一次自我改进循环
AUTOCONTEXT_AGENT_PROVIDER=pi \
AUTOCONTEXT_PI_COMMAND=pi \
autoctx solve "improve customer-support replies for billing disputes" --iterations 3
--iterations 3 表示迭代 3 轮。把 pi 换成 anthropic、openai-compatible、claude-cli、codex 等即可切换 Agent 运行时;没有 API Key 时也可以用 Ollama 等自托管模型。完整运行时矩阵见 autocontext/docs/agent-integration.md。
常用命令速查
| 命令 | 用途 |
|---|---|
autoctx solve "..." --iterations 3 |
从一句自然语言目标开始改进循环 |
autoctx run <scenario> --iterations 3 |
改进一个已保存的场景 |
autoctx status <run-id> --json |
查看某次运行的快照 |
autoctx watch <run-id> --ndjson |
流式观察运行过程 |
autoctx show <run-id> --best --json |
查看表现最好的那一代 |
autoctx serve mcp |
把 autocontext 能力暴露给 MCP 客户端 |
autoctx train --scenario <name> --data <jsonl> |
把稳定行为蒸馏成更便宜的本地模型 |
一次运行留下哪些知识资产?📦
autocontext 每次运行结束,都会在磁盘留下可审计的成果:
runs/<run_id>/
├── trace.jsonl # 完整运行轨迹
├── generations/<n>/strategy.json # 每一代的策略与分析
├── report.md # 运行报告
└── artifacts/ # 产物
knowledge/<scenario>/
├── playbook.md # 沉淀出的"操作手册"
├── hints.md # 经验提示
└── context_bundles/ # 上下文包及其晋升记录
值得留意的一点:agent 对提示词或运行行为的修改不会立即生效——它们先以不可变的候选上下文包(ContextBundle)形式被暂存,必须通过配对试验、确认与留出集评估后才能晋升激活。这种"fail-closed(失败即关闭)"的晋升机制,避免了 Agent 自己给自己"抬轿子",是自我改进能可信、可复现的关键。机制细节见 docs/context-bundles.md。
支持哪些 AI Agent 运行时?
- Pi:最低摩擦的接入方式,复用你本地 Agent 的认证。
- Anthropic / OpenAI 兼容 / OpenRouter / claude-cli / codex 等主流运行时。
- 自托管模型:vLLM、Ollama 或任意 OpenAI 兼容端点,autocontext/docs/self-hosted-models.md 覆盖整个本地闭环。
- MCP 客户端:运行
autoctx serve mcp,即可把 autocontext 的工具面接入 Claude Code、Cursor 等 MCP 客户端。 - Python SDK:以库的形式直接嵌入你自己的代码。
三种集成面(CLI、MCP、SDK)的推荐用法见 autocontext/docs/agent-integration.md。
autocontext 常见问题 FAQ ❓
它和 LangChain 之类的 Agent 框架有什么区别? autocontext 不是"编排 Agent 干活"的框架,而是"让 Agent 越干越强"的改进 harness。你仍用现有 Agent 运行时执行任务,autocontext 负责评估、沉淀知识、蒸馏模型、管理下一轮上下文。
没有 GPU 能玩吗? 能。核心循环只需要任意一个 LLM provider;GPU/Apple Silicon 只在你想把高分轨迹蒸馏成本地小模型时才用得上(支持 MLX 与 CUDA,见 autocontext/docs/mlx-training.md)。
知识资产安全吗? 是的,一切落在你自己的文件系统与本地 SQLite 中;HTTP/WebSocket 控制面默认只绑定本机回环地址,跨网络暴露有明确的令牌安全模型。
延伸阅读:文档与示例路径
- 概念模型与核心术语:docs/concept-model.md
- 文档总索引:docs/README.md
- 可复制粘贴的示例集:examples/README.md
- 变更历史:CHANGELOG.md
- 贡献指南:CONTRIBUTING.md
总结:autocontext 把"Agent 的经验"从一次性对话里解放出来,变成可检查、可回放、可训练的知识资产。跑一次它不亏,跑十次它才真正开始发光——这正是"递归自我改进"的意义所在。