Sentry 深度解读:让 LLM Agent 从失败中学会自愈的外部故障管理层,81.7% 恢复成功率

原创2026-11-06 00:09:471,967 阅读

Sentry 深度解读:让 LLM Agent 从失败中学会自愈的外部故障管理层,81.7% 恢复成功率

Sentry 是一个面向 LLM Agent 的外部运行时故障管理层:它不替换你的 Agent、环境或评估器,而是在 Agent 循环之外持续检测执行失败、引导恢复,并把经过验证的修复经验沉淀为可跨任务复用的 playbook,实测在 939 次检出故障中取得了 81.7% 的恢复成功率。

🧐 什么是 Sentry?

在真实任务里,LLM Agent 最常见的翻车姿势是三种:

  • 动作格式不合法,环境直接拒绝执行;
  • 原地打转、死循环,反复做同一件事没有新信息;
  • 推理"飘"了,偏离原始目标或凭空编造事实。

Sentry 的做法是给 Agent 请一位"随队医生"👨‍⚕️:它运行在 Agent 主循环外侧,对每一步"思考—动作—观察"周期做体检,发现问题就按故障类型路由到不同的修复策略,还会回头验证"这次修复到底有没有治好"。关键的一点是:只有验证通过的恢复经验才会被写进 playbook,供后续相似故障复用——所以 Sentry 是"边跑边学"的,而不是一套写死的规则补丁。

Sentry LLM Agent 故障恢复演示:GPT-4.1 在 AppWorld 基准中的实际运行录屏

⚙️ 核心原理:检测 → 修复 → 验证 → 学习 的四步闭环

Sentry LLM Agent 外部故障管理层架构图:故障检测、硬修复与软修复、恢复验证和 playbook 在线学习流程

对应架构图中从上到下的一条主线,Sentry 的工作流程分五步:

  1. 故障检测(Failure Detection):滚动观察最近 5 步的轨迹窗口,判定当前是否发生故障,并打上故障类型与细粒度标签;
  2. 硬修复(Hard Repair):动作格式不合法时,直接要求 Agent 按环境 schema 重试;
  3. 软修复(Soft Repair):进度类、推理类故障,从 playbook 中检索最相关的经验,给出定向提示;
  4. 恢复验证(Recovery Verification):在修复后的 10 步观察窗口内检查 Agent 是否真正摆脱故障;
  5. Playbook 在线学习:验证通过的软修复经验写入 playbook,成为跨任务可复用的"自愈课"。

7 类细粒度故障标签

Sentry 对"失败"做了非常细的分类,这直接决定了修复质量。分类定义见 Sentry/taxonomy.py:

故障大类 细粒度标签 典型症状
动作有效性 action_validity — 动作不可解析、不符合 schema、被环境拒绝
进度故障 progress repetition_or_looping 反复执行相同动作,没有新信息
planning_stall 看得见目标,却迟迟迈不出下一步
over_exploration 证据已经够了还在漫无目的地逛
termination_miscalibration 没做完就提前收工,或做完还在磨蹭
推理与依据 reasoning_grounding hallucination 编造不存在的事实、工具结果或文件内容
objective_drift 悄悄偏离用户的原始目标
reasoning_action_mismatch 实际动作和自己的推理自相矛盾

细分类的价值在于:修复指导不再是一句万能的"请重试",而是对症下药。

📊 基准测试成绩:37% 平均提升,81.7% 恢复成功率

Sentry 在 WebShop、AppWorld、SWE-bench Lite、Mind2Web Replay 四个基准上做了评测,核心数据(摘自 README.md):

指标 结果
对比最强运行时干预基线 平均提升 37%
对比最强上下文演化基线(保留集任务) 平均提升 39%
Token 消耗 仅 1.54× 基础 Agent(其他运行时方法最高 2.44×)
速度 SWE-bench Lite 每任务省 31.7s,AppWorld 省 45.6s
恢复成功率 939 次检出故障中 81.7%

除了"跑分高",论文还给出几个对工程实践很有启发的发现:

  • 无条件灌经验反而有害:把所有失败相关知识一直留在 Agent 上下文里会拉低表现。所以 Sentry 只在"匹配到相似故障"时才把相关经验端出来,按需取药而不是一股脑喂;
  • 检索必须精确匹配故障:无过滤检索、按粗粒度故障类型检索,效果都不如细粒度标签检索——这印证了 7 类标签划分的必要性;
  • 验证过的经验可以迁移:从已验证恢复中学到的经验在未见过的任务上依然有效,持续学习还能继续叠加收益;
  • 任务级学习与故障级学习互补:Sentry 与上下文演化方法叠加使用效果最好,两者各管各的事。

🚀 快速上手:3 步把 Sentry 装进你的 Agent

第 1 步:克隆仓库并安装

Sentry 要求 Python 3.10+,依赖很轻:

git clone https://gitcode.com/gh_mirrors/sentry25/Sentry
cd Sentry
python -m venv .venv
source .venv/bin/activate
python -m pip install -e .

仓库自带校验命令,可以先确认配置没问题:

sentry-validate configs/paper.yaml

第 2 步:理解配置参数

默认配置 configs/paper.yaml 参数很少,核心就几个:

参数 默认值 作用
trace.window_size 5 检测器回看最近几步轨迹
trace.post_rescue_horizon 10 修复后观察几步来验证恢复
retrieval.top_k 5 playbook 每次最多取几条经验
retrieval.primary_label_cap 2 限制单一标签的占比,避免经验"撞车"
model.model Qwen3.5-9B 驱动检测/修复/验证的模型
playbook.persist_path null playbook 持久化路径,null 为仅内存

如果想接入 OpenAI、Anthropic、Gemini 等模型,仓库在 configs/providers/ 下提供了多份现成的 provider YAML,复制一份改掉 key 即可。

第 3 步:接入 Agent 循环

接入的核心思路是:你的应用继续负责生成、校验和执行动作,Sentry 只负责旁观、诊断和出主意。最小集成示例:

from Sentry import SentryRunner, agent_step_from_parts

runner = SentryRunner.from_yaml("configs/providers/openai_compatible.yaml")
runner.start_task(
    objective=task_objective,
    action_schema=environment_action_schema,
)

try:
    step = agent_step_from_parts(
        step_id=0,
        reasoning=reasoning,
        raw_action=raw_action,
        tool_name=tool_name,
        tool_args=tool_args,
        observation=observation,
        parsed_ok=True,
        schema_valid=True,
        accepted_by_environment=True,
    )

    repair = runner.step(step, terminal=False)
    if repair is not None:
        agent_messages.append(repair.prompt_text)
finally:
    runner.finalize()

完整接口见 Sentry/integration.py:每完成一轮"Agent 与环境"的交互就调一次 runner.step(),返回 None 表示一切正常,返回 RescuePrompt 就把其中的 prompt_text 追加进 Agent 的对话即可。对 AppWorld 这类标准环境的完整评测脚本可以直接参考 benchmarks/appworld/。

📁 项目结构与源码导读

仓库当前版本包含项目概览、论文与核心实现,主要模块一览:

模块 职责
Sentry/Sentry.py 核心引擎 Sentry:任务生命周期、检测/修复/验证/更新的调度中枢
Sentry/detector.py SentryDetector:先做 schema 硬检查,再用模型判定软故障
Sentry/taxonomy.py 故障分类法:7 类标签、别名映射、恢复判定标准
Sentry/router.py route_rescue:按故障类型把事件路由到硬修复或软修复
Sentry/playbook.py PlaybookManager:只追加的经验库与确定性标签检索
Sentry/verifier.py 恢复验证:硬修复看执行标记,软修复看观察窗口
Sentry/updater.py PlaybookUpdater:把已验证恢复提炼成可复用经验
Sentry/models.py AgentStep 等数据模型
benchmarks/appworld/ AppWorld 官方环境与评估器的参考实现
assets/Sentry_paper.pdf 论文全文

几个值得展开的设计细节:

检测是"schema 优先"的。在 Sentry/detector.py 中,硬故障(动作不可解析、不符合 schema)直接由环境标记触发,不需要模型判断;只有软故障才交给模型分析轨迹窗口,省 token 也少误判。

验证决定经验能否"入库"。硬修复的验证很简单:修正后的动作是否 parsed_ok、schema_valid 且被环境接受(Sentry/verifier.py);软修复则要在 10 步观察窗口后由模型确认故障确实消失。只有验证通过的软修复才会进入 playbook——这是 81.7% 恢复成功率背后防止"错误经验污染记忆"的关键闸门。

Playbook 检索是确定性的。PlaybookManager.retrieve()(Sentry/playbook.py)按"故障类型 + 细粒度标签"做标签匹配与排序,完全命中才用,无命中才在同类故障内按时间回退,不引入模糊向量检索的不确定性。

✨ 总结

Sentry 给 LLM Agent 可靠性工程提供了一条清晰的路线:检测、修复、验证、沉淀,四件事一个都不省。它不侵入 Agent 本身、上下文开销克制(1.54× token),还能随任务不断积累"自愈经验"。如果你正在为一个频繁卡壳、跑偏或格式翻车的 LLM Agent 头疼,这套外部故障管理层值得一试 🛡️

登录后查看全文
Sentry