从0.34到0.89:Agent Apprenticeship如何让AI Agent任务平均分提升55%的秘密

原创2026-10-11 18:10:491,751 阅读

从0.34到0.89:Agent Apprenticeship如何让AI Agent任务平均分提升55%的秘密

Agent Apprenticeship 是一个开源的「AI Agent 实习体系」:它让 AI Agent 通过"执行 → 评估 → 改进"的工作流循环完成任务,由 Mentor Agent 或人类专家评估打分,并把完成的真实工作沉淀为可复用的工作经验(Experience Compilation),用于提升未来的 Agent。在仓库自带的 ALE 基准演示中,7 个专业任务的平均分从 0.34 提升到 0.89——这正是本文要拆解的秘密。

一、0.34 → 0.89:这组数字是怎么跑出来的?

先看看官方演示目录 selected_ale_tasks_demo/ 里记录的实测结果:

任务 基线分 提升后 增量
TCGA BRCA DEG 0.35 0.80 +0.45
pseudotime DE 0.25 0.95 +0.70
spatial transcriptomics domains 0.15 1.00 +0.85
IDP ensemble scoring 0.10 1.00 +0.90
cell translocation analysis 0.40 0.60 +0.20

汇总数据(见 score_table.md 与 results.json):

  • ✅ 7 个任务全部提升:improved: 7,无持平、无回退
  • 📈 平均分:0.3429 → 0.8929,平均提升 0.55(约 55%)
  • 🔒 leakage_check: passed(无数据泄漏)、runtime_training_used: true(确实使用了经验训练)

注意:这些任务都是生物信息学等专业领域的"镜像迁移任务",难度不低。提升不是靠换更大的模型,而是靠同一套 Agent 安装了前人沉淀的 Runtime Training 之后再次执行同类工作流。

二、Agent Apprenticeship 是什么?

Agent Apprenticeship 工作流程图:人类参与、学徒Agent执行Task Loop、Mentor评估、经验编译器输出给未来Agent

一句话理解:它给 AI Agent 建了一套"师徒制 + 经验资产化"的基建。

如图所示,整个生态由五个角色组成:

  1. Human in the loop:人类随时可以介入指导
  2. Apprentice Agent(学徒):Codex、Claude Code、Cursor 等本地 Agent 来干活
  3. Task Loop(任务循环):执行 → 反馈 → 修订,循环迭代
  4. Work Experience Compiler(经验编译器):把这次干活的完整记录编译成"工作经验"
  5. Future Agents:未来的 Agent 直接"安装"这些经验,起点更高

配套的种子数据集已包含 500+ 真实世界任务、495 条可复用 Agent 教训、1000+ 完整执行轨迹和 505 份完整经验编译包(详见 README.md)。

三、秘密拆解:把"干活"变成"资产"的三层循环

1. Task Loop:先试错,再修订

核心循环逻辑在 loop.py 中:Agent 先做一次 baseline(基线尝试),系统按 rubric 打分并由 verifier 核验,Mentor 给反馈,Agent 带着反馈做 revised(修订版),最后对比两轮表现选出更优的一版。

对新手来说,关键是理解"改进"不是玄学:每一轮迭代都会留下可追溯的证据——轨迹(trace)、评分、反馈、修订计划,全部结构化落盘。

2. Mentor 评估:机器专家或真人把关

Mentor 可以是模型(OpenAI / Anthropic / Gemini 等提供商),也可以是真人专家,支持 Autonomous、Expert-Led、Organization Custom 三种学徒模式。Agent 不能自己给自己打分——trace_prompt.py 中明确要求"no agent self-eval",结果由 grader、verifier、evaluator 角色独立评估,保证分数可信。

3. Experience Compilation:经验被"编译"成可安装的东西

这是 55% 提升的真正引擎。每次任务完成后,系统产出一份经验编译包,包含 6 个组件(见 experience_compilation.schema.json):执行轨迹、Runtime Training、训练数据、评估包、环境重放、来源证据映射。

以示例 runtime_training.json 为例,它把一次成功执行提炼成:

  • minimal_prompt_context:浓缩后的工作方法提示
  • output_contract:输出必须满足的契约(哪些文件、哪些字段)
  • prefinal_verification_checklist:交付前的自检清单

相当于把"老师傅的手感"打包成了一个可复用的"技能包"。

四、经验如何注入未来的 Agent?

在 learning.py 中,经验会被安装到本地的 installed_skills 目录。之后每次 apprentice run,系统会自动挑选相关的 Runtime Training 注入本次运行(CLI 中可通过 --use-installed-skills 强制启用,--no-installed-skills 关闭)。

这就是 ALE 演示中 runtime_training_used: true 的含义:Treatment 组不是更聪明的模型,而是"带着前辈经验上班"的同一个 Agent。 闭环由此形成:

执行任务 → 产生训练信号 → 编译成经验 → 安装进未来运行 → 未来运行得分更高 → 产生更多经验 🔄

五、新手快速上手:三步跑通

🚀 初始化环境:

npx agent-apprenticeship init

🏃 跑第一个任务(会自动执行 Task Loop 并生成经验编译包):

apprentice run "Create a short market map for AI procurement tools."

📦 把已有经验安装进本地,供后续任务复用:

apprentice learn install <experience_compilation_path>

Mentor 模型密钥存放在 ~/.agent-apprenticeship/.env.local,用 apprentice doctor 可一键检查配置。更多命令说明见 README.md。

六、想深入?核心资料地图

内容 路径
项目说明与全部命令 README.md
ALE 演示得分表 score_table.md
ALE 演示结果数据 results.json
循环核心逻辑 loop.py
经验安装逻辑 learning.py
Runtime Training 示例 runtime_training.json
经验编译包结构 experience_compilation.schema.json

总结:为什么这 55% 值得你关注

Agent Apprenticeship 的核心洞察是:Agent 的瓶颈往往不是模型能力,而是"没有工作经验"。 它用 Task Loop 制造改进机会,用 Mentor 评估保证质量,用 Experience Compilation 让每一次执行都沉淀为资产。当经验可以跨 Agent、跨用户流转时,整个生态会像复利一样增长——这正是"从 0.34 到 0.89"背后的系统性答案。

登录后查看全文
agent-apprenticeship