Munk AI 自我改进机制:执行证据、知识 Agent 与优化 Agent 的反馈闭环

原创2026-10-14 10:20:121,870 阅读

Munk AI 自我改进机制:执行证据、知识 Agent 与优化 Agent 的反馈闭环

Munk AI 是一个本地优先的自我改进型 AI 测试引擎,覆盖 Android、iOS 与 Web 三端。它的核心能力不只是"跑测试",而是通过执行证据驱动知识 Agent 与优化 Agent 持续学习:每次失败都会沉淀为可复用的测试提示和知识卡片,让下一次执行更聪明。本文带你完整看懂这套反馈闭环的工作原理。

为什么需要"会学习"的测试引擎

传统的 AI 测试工作流里,人往往是最大的瓶颈:编译、点界面、看报错、截图、再把 bug 描述写回提示词,全靠手工。

Munk AI 的做法是把这个过程闭环化:

  • 测试在真机 / 模拟器 / 浏览器上真实执行,产出截图、UI 树、运行日志等结构化证据;
  • 执行失败或卡住时,引擎自动启动两个专职 Agent——Optimize Agent(优化 Agent) 和 Knowledge Agent(知识 Agent);
  • 前者把失败经验改写成测试用例里的执行提示,后者把经验蒸馏成可检索的知识卡片。

下面是 Munk AI 与编码 Agent 协作、在真实设备上完成功能验证的演示:

Munk AI 自我改进型 AI 测试引擎真机执行演示:编码 Agent 开发功能后,由 Munk AI 在 Android 真机上自动执行并回传执行证据

一次失败的完整旅程:反馈闭环怎么运转

整个闭环可以拆成五个步骤,全部由执行证据驱动。

1. 执行证据:失败后的"验尸报告"

每条测试用例(case)执行结束后,Munk AI 会先做一次执行后分析(post-run analysis)。这一步的工作是:

  • 从用例执行结果中定位"源 attempt"——即真正暴露问题的尝试(优先取失败或不确定的尝试);
  • 汇总该尝试的产物:截图、UI 树、Judge 判定结果、重试记录、运行日志等;
  • 生成结构化的 Agent 输入,作为后续两个学习 Agent 的"案卷"。

相关逻辑集中在 evidence.py 和 models.py。

2. 触发判定:什么时候开始"学习"

不是每次执行都会触发学习,引擎有一套明确的触发规则,见 trigger.py。典型触发信号包括:

触发信号 含义
needs_optimization Judge Agent 在判定结果中显式标记"需要优化"
retried_terminal_failure 用例失败/不确定,且已经重试过多次
retry_handoffs_present 存在重试交接记录,说明过程反复
runner_protocol_error Runner 出现协议级错误
repeated_no_progress 多次尝试重复出现相同的失败特征,原地打转

其中 Judge Agent 输出的优化触发器是一个轻量结构,包含"是否需要优化、优化哪些字段、优化理由、置信度"四个字段,定义在 orchestration_models.py。

3. 优化 Agent:把失败经验改写成执行提示

这是闭环中最"直接见效"的一环。Optimize Agent 拿到执行证据后,会分析失败原因,然后产出字段补丁(field patch),回写到测试用例的 AiGuidance(AI 提示)结构中。

AiGuidance 包含六类提示字段(定义在 testing/models.py):

  • objective_clarifications:目标澄清
  • preflight_checks:执行前检查
  • interaction_hints:交互提示
  • disambiguation_rules:歧义消解规则
  • recovery_hints:恢复提示(卡住时怎么办)
  • judge_hints:给 Judge 的判定提示

回写并非"想到什么就改什么",operation_service.py 中有三道保险:

  1. 只改被授权的字段:补丁只能落在 Judge 标记的 optimization_fields 范围内;
  2. 置信度门槛:优化置信度必须 ≥ 0.7(见 policy.py 中的 DEFAULT_OPTIMIZATION_CONFIDENCE_THRESHOLD),低于门槛就跳过回写并记录 low_confidence;
  3. 内容清洗:每条提示最多 8 条、单条不超过 240 字符、自动去重,防止提示膨胀。

整个过程(请求、prompt、工具调用、LLM 转录、字段 diff、诊断信息)都会作为产物落盘,完整可追溯。

4. 知识 Agent:把经验蒸馏成知识卡片

优化 Agent 解决"这一条用例"的问题,知识 Agent 解决"这类问题"的问题。

它的运行入口在 knowledge/operation_service.py:如果 Judge 结果是"通过",则直接跳过;否则将执行证据交给知识 Agent(本地实现基于 Pydantic AI 构建,见 agent.py),让它从失败过程中蒸馏出候选知识——例如某个页面的结构、某条操作流的路径、某个组件的识别规则等。

5. 人工审批 + 知识召回:经验如何进入下一次执行

候选知识不会自动入库,而是进入待审队列,由人通过 CLI 审批(approve / reject),审批服务见 approval_service.py。只有被批准的知识才会合并进应用知识库。

下一次制定测试计划时,引擎会按用例描述 + 应用介绍做知识召回(recall.py):

  • 知识库较小时全量注入上下文;
  • 知识库较大时按查询检索,并对"页面 / 流程"类导航卡片做加权,最多召回 12 张卡片。

至此闭环完成:这次执行学到的东西,会变成下次计划的输入。

闭环全貌与关键文件速查

环节 职责 关键路径
执行后分析 提取执行证据、定位源尝试 src/munk/services/post_run_analysis/
触发判定 判断是否需要学习 src/munk/services/post_run_analysis/trigger.py
优化 Agent 生成并回写执行提示 src/munk/services/optimization/
知识 Agent 生成候选知识卡 src/munk/services/knowledge/
人工审批 候选知识入库把关 src/munk/services/knowledge/approval_service.py
知识召回 经验注入新计划 src/munk/services/knowledge/recall.py
Agent 契约 Judge / Knowledge / Optimize API packages/agents/

小结:Munk AI 自我改进机制的三个设计亮点

  1. 证据驱动,而非猜测驱动:一切学习都从结构化的执行证据(截图、UI 树、Judge 判定)出发,可追溯、可复现。
  2. 置信度门槛 + 最小写入:优化回写必须跨过 0.7 置信度、且只能改被授权字段,避免"越学越乱"。
  3. 人机分工清晰:机器负责从失败中提取模式,人负责审批知识入库——自动化提速,同时守住质量底线。

这正是"Self-improving AI testing engine"的完整含义:每一次失败,都在让引擎离下一次成功更近一步。

登录后查看全文
munk-ai