Munk AI 自我改进机制:执行证据、知识 Agent 与优化 Agent 的反馈闭环
Munk AI 自我改进机制:执行证据、知识 Agent 与优化 Agent 的反馈闭环
Munk AI 是一个本地优先的自我改进型 AI 测试引擎,覆盖 Android、iOS 与 Web 三端。它的核心能力不只是"跑测试",而是通过执行证据驱动知识 Agent 与优化 Agent 持续学习:每次失败都会沉淀为可复用的测试提示和知识卡片,让下一次执行更聪明。本文带你完整看懂这套反馈闭环的工作原理。
为什么需要"会学习"的测试引擎
传统的 AI 测试工作流里,人往往是最大的瓶颈:编译、点界面、看报错、截图、再把 bug 描述写回提示词,全靠手工。
Munk AI 的做法是把这个过程闭环化:
- 测试在真机 / 模拟器 / 浏览器上真实执行,产出截图、UI 树、运行日志等结构化证据;
- 执行失败或卡住时,引擎自动启动两个专职 Agent——Optimize Agent(优化 Agent) 和 Knowledge Agent(知识 Agent);
- 前者把失败经验改写成测试用例里的执行提示,后者把经验蒸馏成可检索的知识卡片。
下面是 Munk AI 与编码 Agent 协作、在真实设备上完成功能验证的演示:
一次失败的完整旅程:反馈闭环怎么运转
整个闭环可以拆成五个步骤,全部由执行证据驱动。
1. 执行证据:失败后的"验尸报告"
每条测试用例(case)执行结束后,Munk AI 会先做一次执行后分析(post-run analysis)。这一步的工作是:
- 从用例执行结果中定位"源 attempt"——即真正暴露问题的尝试(优先取失败或不确定的尝试);
- 汇总该尝试的产物:截图、UI 树、Judge 判定结果、重试记录、运行日志等;
- 生成结构化的 Agent 输入,作为后续两个学习 Agent 的"案卷"。
相关逻辑集中在 evidence.py 和 models.py。
2. 触发判定:什么时候开始"学习"
不是每次执行都会触发学习,引擎有一套明确的触发规则,见 trigger.py。典型触发信号包括:
| 触发信号 | 含义 |
|---|---|
needs_optimization |
Judge Agent 在判定结果中显式标记"需要优化" |
retried_terminal_failure |
用例失败/不确定,且已经重试过多次 |
retry_handoffs_present |
存在重试交接记录,说明过程反复 |
runner_protocol_error |
Runner 出现协议级错误 |
repeated_no_progress |
多次尝试重复出现相同的失败特征,原地打转 |
其中 Judge Agent 输出的优化触发器是一个轻量结构,包含"是否需要优化、优化哪些字段、优化理由、置信度"四个字段,定义在 orchestration_models.py。
3. 优化 Agent:把失败经验改写成执行提示
这是闭环中最"直接见效"的一环。Optimize Agent 拿到执行证据后,会分析失败原因,然后产出字段补丁(field patch),回写到测试用例的 AiGuidance(AI 提示)结构中。
AiGuidance 包含六类提示字段(定义在 testing/models.py):
objective_clarifications:目标澄清preflight_checks:执行前检查interaction_hints:交互提示disambiguation_rules:歧义消解规则recovery_hints:恢复提示(卡住时怎么办)judge_hints:给 Judge 的判定提示
回写并非"想到什么就改什么",operation_service.py 中有三道保险:
- 只改被授权的字段:补丁只能落在 Judge 标记的
optimization_fields范围内; - 置信度门槛:优化置信度必须 ≥ 0.7(见 policy.py 中的
DEFAULT_OPTIMIZATION_CONFIDENCE_THRESHOLD),低于门槛就跳过回写并记录low_confidence; - 内容清洗:每条提示最多 8 条、单条不超过 240 字符、自动去重,防止提示膨胀。
整个过程(请求、prompt、工具调用、LLM 转录、字段 diff、诊断信息)都会作为产物落盘,完整可追溯。
4. 知识 Agent:把经验蒸馏成知识卡片
优化 Agent 解决"这一条用例"的问题,知识 Agent 解决"这类问题"的问题。
它的运行入口在 knowledge/operation_service.py:如果 Judge 结果是"通过",则直接跳过;否则将执行证据交给知识 Agent(本地实现基于 Pydantic AI 构建,见 agent.py),让它从失败过程中蒸馏出候选知识——例如某个页面的结构、某条操作流的路径、某个组件的识别规则等。
5. 人工审批 + 知识召回:经验如何进入下一次执行
候选知识不会自动入库,而是进入待审队列,由人通过 CLI 审批(approve / reject),审批服务见 approval_service.py。只有被批准的知识才会合并进应用知识库。
下一次制定测试计划时,引擎会按用例描述 + 应用介绍做知识召回(recall.py):
- 知识库较小时全量注入上下文;
- 知识库较大时按查询检索,并对"页面 / 流程"类导航卡片做加权,最多召回 12 张卡片。
至此闭环完成:这次执行学到的东西,会变成下次计划的输入。
闭环全貌与关键文件速查
| 环节 | 职责 | 关键路径 |
|---|---|---|
| 执行后分析 | 提取执行证据、定位源尝试 | src/munk/services/post_run_analysis/ |
| 触发判定 | 判断是否需要学习 | src/munk/services/post_run_analysis/trigger.py |
| 优化 Agent | 生成并回写执行提示 | src/munk/services/optimization/ |
| 知识 Agent | 生成候选知识卡 | src/munk/services/knowledge/ |
| 人工审批 | 候选知识入库把关 | src/munk/services/knowledge/approval_service.py |
| 知识召回 | 经验注入新计划 | src/munk/services/knowledge/recall.py |
| Agent 契约 | Judge / Knowledge / Optimize API | packages/agents/ |
小结:Munk AI 自我改进机制的三个设计亮点
- 证据驱动,而非猜测驱动:一切学习都从结构化的执行证据(截图、UI 树、Judge 判定)出发,可追溯、可复现。
- 置信度门槛 + 最小写入:优化回写必须跨过 0.7 置信度、且只能改被授权字段,避免"越学越乱"。
- 人机分工清晰:机器负责从失败中提取模式,人负责审批知识入库——自动化提速,同时守住质量底线。
这正是"Self-improving AI testing engine"的完整含义:每一次失败,都在让引擎离下一次成功更近一步。
