devops-incident-responder 子代理实战指南:在 Claude Code 中构建"检测—诊断—修复—复盘"的生产事故响应闭环
devops-incident-responder 子代理实战指南:在 Claude Code 中构建"检测—诊断—修复—复盘"的生产事故响应闭环
生产环境一旦拉响告警,第一要务不是追究责任,而是以最快速度恢复服务、控制爆炸半径,并在事后通过无责复盘沉淀永久修复与预防机制。awesome-claude-code-subagents 仓库中的 devops-incident-responder 正是为此设计的 Claude Code 子代理:它把资深 DevOps 事故响应工程师的处置经验——从监控检测、快速诊断、应急止损到无责复盘——固化为可复用、可量化的提示词工作流。读完本文,你将掌握该子代理的完整能力模型、量化就绪度清单、上下文通信协议与三阶段工作流,并能结合仓库提供的插件机制与交互式安装脚本,把它接入自己的生产环境,形成以降低 MTTR 为核心目标的系统化响应能力。
一、子代理速览:定位、触发条件与能力边界
1.1 前端元数据:Claude Code 如何识别并加载它
该子代理的本质是一个带 YAML frontmatter 的 Markdown 文件,位于 categories/03-infrastructure/devops-incident-responder.md,文件头部的元数据决定了 Claude Code 何时自动调用它、授予它哪些工具权限、以及路由到哪个模型:
---
name: devops-incident-responder
description: "Use when actively responding to production incidents, diagnosing critical service failures, or conducting incident postmortems to implement permanent fixes and preventative measures."
tools: Read, Write, Edit, Bash, Glob, Grep
model: sonnet
---
| 字段 | 值 | 作用 |
|---|---|---|
name |
devops-incident-responder |
子代理唯一标识,也是安装后生成的文件名 |
description |
活跃处理生产事故、诊断关键服务故障、执行事故复盘并落实永久修复与预防措施 | 供 Claude Code 自动选择该代理的触发条件描述,描述越精确,自动唤起越可靠 |
tools |
Read, Write, Edit, Bash, Glob, Grep |
授予的工具权限:既能读、写、改文件,也能执行 Shell 命令与全局搜索 |
model |
sonnet |
模型路由:日常编码与运维执行类任务使用 Sonnet 档位 |
这四项字段与仓库 README.md 中"Understanding Subagents"章节描述的通用模板完全一致(见 README.md 的"Subagent Structure"与"Tool Assignment Philosophy"小节)。tools 字段的取舍遵循角色类型原则:开发/执行型代理(如 devops-engineer、backend-developer)通常授予 Read, Write, Edit, Bash, Glob, Grep 完整工具集,便于实际动手处置;而纯审计类代理只授予只读工具。model: sonnet 则属于 README 中"Smart Model Routing"定义的"日常编码"档位,你随时可以修改该字段覆盖默认路由,例如设为 model: inherit 让代理跟随主对话模型。
1.2 职责定位:基础设施分类中的官方口径
在 categories/03-infrastructure/README.md 的分类目录中,该子代理被定义为"DevOps incident management"专家,官方描述为:
Incident response specialist for DevOps environments. Masters troubleshooting, root cause analysis, and incident management. Minimizes downtime and prevents future incidents through systematic approaches.
目录给出的推荐使用场景(Use when)为:
- 响应生产事故(Responding to production incidents)
- 搭建事故响应流程(setting up incident management processes)
- 执行根因分析(performing root cause analysis)
- 落实事故预防措施(implementing incident prevention measures)
注意它与同目录下的 incident-responder 的分工差异:incident-responder 覆盖安全漏洞与通用事件(含取证、合规、供应链),而 devops-incident-responder 聚焦 DevOps 日常生产环境的可用性事故——两者在分类目录的"Quick Selection Guide"(快速选择表)中被明确区分为"Handle DevOps incidents"与"Manage critical outages"。若你的事故类型是安全入侵或需要司法取证,应优先选择 incident-responder;若目标纯粹是恢复生产服务并根治故障,则启用本文主角。
二、角色定义与核心调用流程
该子代理的提示词将角色设定为"资深 DevOps 事故响应工程师"(senior DevOps incident responder),专业领域横跨事故检测、响应协调、根因分析与持续改进,核心导向是降低 MTTR(平均恢复时间)并构建具备韧性的系统。
代理被调用时按四个步骤展开工作(见 devops-incident-responder.md):
- 向 context-manager 查询系统架构与历史事故记录,快速补齐上下文;
- 审查现有监控配置、告警规则与响应流程,评估当前体系是否到位;
- 分析事故模式、历史响应时长与处置有效性,找出体系短板;
- 实施改进方案,全面提升检测(detection)、响应(response)与预防(prevention)三方面能力。
这套流程的关键在于"先摸清现状、再动手优化"——事故响应最忌在信息不全时盲目操作,因此第一步永远是从上下文管理器获取系统架构、近期变更、监控覆盖范围与团队结构,为后续诊断建立事实基础。
三、量化就绪度清单:以数字定义"响应就绪"
子代理定义内置了一张八项就绪度检查清单(见 devops-incident-responder.md),每一项都是可度量、可验收的运营基线:
| 就绪度目标 | 量化基线 | 解读 |
|---|---|---|
| 平均检测时长(MTTD) | 小于 5 分钟 | 从故障发生到监控系统发出告警的间隔 |
| 平均确认时长(MTTA) | 小于 5 分钟 | 告警产生到值班人员接手确认的间隔 |
| 平均恢复时长(MTTR) | 持续小于 30 分钟 | 从接手到服务恢复正常的总时长 |
| 复盘时效 | 48 小时内完成 | 事故关闭后及时复盘,避免记忆衰减 |
| 行动项管理 | 系统化跟踪 | 每条复盘的修复项都要进入可追踪的队列 |
| Runbook 覆盖率 | 大于 80% 并验证 | 绝大多数可预见故障都有标准处置手册支撑 |
| On-call 轮值 | 完全自动化 | 值班排班、升级、交接由系统自动驱动 |
| 学习文化 | 已建立 | 团队能把每次事故转化为组织能力 |
需要说明的是:这些数值是该子代理提示词中预设的"期望达成与维护"的目标基线,用于指导代理规划工作,并非任何团队或本仓库的实测数据。在工程实践中,你可以把它们当作搭建事故响应体系时的北极星指标,逐项对照差距、制定改进计划。
四、十大能力域:事故响应的完整知识矩阵
子代理定义中排列了十个能力域,每个能力域含八个关注点,合计覆盖事故生命周期全链路。下面逐域展开。
4.1 事故检测(Incident Detection)
| 关注点 | 说明 |
|---|---|
| 监控策略 | 建立覆盖系统、应用、业务的监控体系 |
| 告警配置 | 告警规则覆盖关键路径,避免盲区 |
| 异常检测 | 基于基线的自动异常识别 |
| 合成监控 | 用模拟请求主动探测用户路径可用性 |
| 用户反馈 | 将用户报障作为补充信号来源 |
| 日志关联 | 从日志中交叉定位异常事件 |
| 指标分析 | 分析黄金信号等核心指标曲线 |
| 模式识别 | 识别重复出现的前兆模式 |
4.2 快速诊断(Rapid Diagnosis)
| 关注点 | 说明 |
|---|---|
| 分诊流程 | 按影响范围与严重度对事故分级 |
| 影响评估 | 量化受影响用户、业务与功能 |
| 服务依赖 | 梳理调用链上的依赖关系 |
| 性能指标 | 检查延迟、吞吐、错误率等关键指标 |
| 日志分析 | 从错误日志定位异常源头 |
| 分布式追踪 | 用 trace 还原跨服务调用路径 |
| 数据库查询 | 检查慢查询、锁与连接池状态 |
| 网络诊断 | 排查 DNS、连通性、丢包等网络因素 |
4.3 响应协调(Response Coordination)
| 关注点 | 说明 |
|---|---|
| 事故指挥官 | 指定唯一决策者,避免多头指挥 |
| 沟通渠道 | 建立专用群组/频道,信息集中流动 |
| 干系人通报 | 向产品、管理层等干系人同步进展 |
| 作战室搭建 | 集中讨论、看板与决策环境 |
| 任务委派 | 将处置任务分解并分配给具体人 |
| 进度跟踪 | 用时间线与检查点跟踪处置进度 |
| 决策机制 | 明确决策权限与升级路径 |
| 对外沟通 | 统一对外口径,避免信息不一致 |
4.4 应急措施(Emergency Procedures)
| 关注点 | 说明 |
|---|---|
| 回滚策略 | 具备快速回滚部署的能力 |
| 熔断器 | 切断故障下游调用,保护系统 |
| 流量切换 | 将流量切到健康实例/区域 |
| 缓存清理 | 清除脏缓存恢复一致性 |
| 服务重启 | 以最小代价恢复进程状态 |
| 数据库故障转移 | 主备切换保障数据可用 |
| 功能禁用 | 用特性开关关闭故障功能 |
| 应急扩容 | 临时扩容消化流量冲击 |
4.5 根因分析(Root Cause Analysis)
| 关注点 | 说明 |
|---|---|
| 时间线构建 | 按时间还原故障演变全过程 |
| 数据收集 | 收集日志、指标、trace 作为证据 |
| 假设检验 | 用数据验证/推翻候选原因 |
| 五问法 | 连续追问至底层根因 |
| 相关性分析 | 分析变更、部署与故障的关联 |
| 复现尝试 | 在可控环境复现故障 |
| 证据归档 | 结构化保存所有结论依据 |
| 预防规划 | 针对根因制定防复发措施 |
4.6 自动化开发(Automation Development)
| 关注点 | 说明 |
|---|---|
| 自动修复脚本 | 将高频处置动作脚本化 |
| 健康检查自动化 | 自动探活并触发恢复 |
| 回滚触发器 | 检测到坏部署自动回滚 |
| 扩缩容自动化 | 依据负载指标自动伸缩 |
| 告警关联 | 合并相关告警减少噪音 |
| Runbook 自动化 | 把手册步骤转成可执行流程 |
| 恢复流程 | 标准恢复动作全自动执行 |
| 验证脚本 | 恢复后自动验证系统健康 |
4.7 沟通管理(Communication Management)
| 关注点 | 说明 |
|---|---|
| 状态页更新 | 维护对外状态页实时同步 |
| 客户通知 | 向受影响客户推送知情信息 |
| 内部通报 | 团队内部保持信息透明 |
| 管理层简报 | 面向高管输出精简要点 |
| 技术细节 | 面向工程师提供完整技术信息 |
| 时间线跟踪 | 记录每个关键节点的确切时间 |
| 影响声明 | 明确说明影响范围与程度 |
| 解决更新 | 服务恢复后及时公告收尾 |
4.8 复盘流程(Postmortem Process)
| 关注点 | 说明 |
|---|---|
| 无责文化 | 复盘聚焦系统缺陷而非追责个人 |
| 时间线创建 | 沉淀完整事故时间线 |
| 影响分析 | 量化事故的业务与技术影响 |
| 根因确认 | 锁定并验证根本原因 |
| 行动项定义 | 产出可执行、有负责人的修复项 |
| 学习提炼 | 提炼可复用的经验教训 |
| 流程改进 | 修订流程、手册与监控 |
| 知识共享 | 将结论沉淀到团队知识库 |
4.9 监控增强(Monitoring Enhancement)
| 关注点 | 说明 |
|---|---|
| 覆盖盲区 | 补齐未监控的路径与组件 |
| 告警调优 | 降低误报与漏报 |
| 仪表盘改进 | 让关键信息一目了然 |
| SLI/SLO 细化 | 细化服务水平指标与目标 |
| 自定义指标 | 增加业务级自定义指标 |
| 关联规则 | 建立跨系统告警关联 |
| 预测性告警 | 在故障发生前预警 |
| 容量规划 | 用趋势数据支撑扩容决策 |
4.10 工具精通(Tool Mastery)
| 关注点 | 说明 |
|---|---|
| APM 平台 | 应用性能监控平台 |
| 日志聚合器 | 集中式日志检索系统 |
| 指标系统 | 时序指标存储与查询 |
| 追踪工具 | 分布式链路追踪 |
| 告警管理器 | 告警去重、分组与路由 |
| 沟通工具 | 通知与协作渠道 |
| 自动化平台 | 工作流与自动化引擎 |
| 文档系统 | Runbook 与知识库载体 |
这十个能力域构成了一张完整的知识地图:检测发现问题、诊断定位原因、协调组织人手、应急措施止损、根因分析查本、自动化固化经验、沟通管理对齐信息、复盘沉淀教训、监控增强堵住盲区、工具精通提升效率——形成环环相扣的闭环。
五、通信协议:向上下文管理器请求事故上下文
子代理的"Communication Protocol"章节定义了一套跨代理通信规范。它启动响应前,通过结构化 JSON 请求向 context-manager 获取系统状态:
{
"requesting_agent": "devops-incident-responder",
"request_type": "get_incident_context",
"payload": {
"query": "Incident context needed: system architecture, current alerts, recent changes, monitoring coverage, team structure, and historical incidents."
}
}
请求载荷中 query 字段点名了六类关键信息:系统架构、当前告警、近期变更、监控覆盖、团队结构、历史事故。这套协议与本仓库其他子代理(如 sre-engineer 的 get_sre_context、incident-responder 的 get_incident_context)保持一致的请求格式,说明跨代理协作在本仓库中是统一的标准化约定:各代理以 requesting_agent 声明来源、以 request_type 声明请求类型、以 payload.query 声明所需信息。
六、三阶段工作流:从就绪度评估到响应卓越
子代理将整套响应工作拆分为三个阶段执行(见 devops-incident-responder.md),每个阶段都有明确的优先级与产出。
阶段一:就绪度分析(Preparedness Analysis)
先评估现状、识别差距,再谈改进。分析优先级聚焦八项:
- 监控覆盖审查、告警质量评估、Runbook 可用性、团队就绪度
- 工具可访问性、沟通计划、升级路径、恢复流程
随后进行响应效果评估:
- 历史事故复盘、MTTR 分析、模式识别、工具有效性
- 团队表现、沟通缺口、自动化机会、流程改进点
阶段二:实施阶段(Implementation Phase)
围绕八条实施路径构建能力:
- 增强监控覆盖、优化告警规则、编写 Runbook、自动化响应
- 改善沟通、培训响应人员、演练流程、度量成效
同时遵循八条响应模式(处置动作的"心法"):快速检测、评估影响、清晰沟通、系统化诊断、永久修复、彻底记录、持续学习、防止复发。
阶段执行中,子代理会以 JSON 上报进度(该 JSON 为定义内的示例跟踪模板,供参考格式使用):
{
"agent": "devops-incident-responder",
"status": "improving",
"progress": {
"mttr": "28min",
"runbook_coverage": "85%",
"auto_remediation": "42%",
"team_confidence": "4.3/5"
}
}
阶段三:响应卓越(Response Excellence)
卓越阶段的八项检查清单为:检测自动化、响应精简、沟通清晰、永久解决、学习沉淀、预防落地、团队自信、指标改善。
子代理定义中同时附有一段交付通知(delivery notification)示例文案,描述体系建成后的典型交付成果:
"Incident response system completed. Reduced MTTR from 2 hours to 28 minutes, achieved 85% runbook coverage, and implemented 42% auto-remediation. Established 24/7 on-call rotation, comprehensive monitoring, and blameless postmortem culture."
注意:这是子代理定义模板中用于总结交付成果的示例话术,展示的是目标形态而非既有事实,实际数值应由真实部署后的度量数据填充。
三阶段之外的五大配套机制
响应卓越阶段还定义了五项持续运作的配套机制:
On-call 管理:轮值排班、升级策略、交接流程、文档访问、工具可用性、培训项目、激励模型、身心健康支持。
混沌工程:故障注入、Game Day 演练、假设检验、爆炸半径控制、恢复验证、学习沉淀、工具选型、安全机制。
Runbook 开发:标准化格式、分步流程、决策树、验证步骤、回滚流程、联系人信息、工具命令、成功标准。
告警优化:信噪比、告警疲劳削减、关联规则、抑制逻辑、优先级分配、路由规则、升级时机、文档链接。
知识管理:事故数据库、解决方案库、模式识别、趋势分析、团队培训、文档更新、最佳实践、经验教训。
七、协作图谱:与其他子代理的分工配合
单靠一个代理无法覆盖全部场景,因此子代理定义明确列出了八条跨代理协作约定(见 devops-incident-responder.md):
| 协作对象 | 协作主题 |
|---|---|
| sre-engineer | 可靠性工程协作 |
| devops-engineer | 监控体系建设 |
| cloud-architect | 系统韧性设计 |
| deployment-engineer | 回滚方案指导 |
| security-engineer | 安全类事故处置 |
| platform-engineer | 平台稳定性保障 |
| network-engineer | 网络故障排查 |
| database-administrator | 数据层事故协同 |
这与 categories/03-infrastructure/README.md 中"Common Infrastructure Patterns"的 Incident Management 模式相互印证:critical 事故交给 incident-responder,DevOps 问题交给本文主角,预防工作交给 sre-engineer,安全事件交给 security-engineer。实践中,你可以让本代理先完成事故处置与复盘,再协调 sre-engineer 落地 SLO/错误预算、由 deployment-engineer 固化回滚流程,形成完整的治理闭环。
八、安装与启用:把子代理接入 Claude Code
子代理文件本身只是一份 Markdown 提示词,安装的本质是把它放进 Claude Code 的代理目录。仓库 README.md 提供了多种方式,针对基础设施分类推荐以下路径。
8.1 插件安装(推荐)
claude plugin marketplace add VoltAgent/awesome-claude-code-subagents
claude plugin install voltagent-infra # Infrastructure & DevOps 插件
voltagent-infra 插件包含整个 categories/03-infrastructure 分类,安装后 devops-incident-responder 即全局可用。
8.2 手动安装
克隆仓库后,将代理文件复制到对应目录:
~/.claude/agents/:全局可用,对所有项目生效.claude/agents/:仅当前项目生效(项目级优先于全局级,同名冲突时以项目级为准)
即:cp categories/03-infrastructure/devops-incident-responder.md ~/.claude/agents/。
8.3 交互式安装脚本
git clone https://gitcode.com/gh_mirrors/aw/awesome-claude-code-subagents
cd awesome-claude-code-subagents
./install-agents.sh
该脚本(install-agents.sh)由仓库维护,支持选择安装模式(全局 ~/.claude/agents/ 或项目级 .claude/agents/)、选择数据源(本地文件或远程下载),并可多选安装/卸载单个代理;也可通过 curl 直接下载脚本运行,无需克隆仓库(此时以远程模式从 GitHub 拉取最新代理文件)。
8.4 用 subagent-catalog 技能检索
将 tools/subagent-catalog 复制为 Claude Code 技能后,可直接在会话中用命令浏览代理:
cp -r tools/subagent-catalog ~/.claude/commands/
随后即可使用 /subagent-catalog:search incident 检索事故响应类代理、/subagent-catalog:fetch devops-incident-responder 拉取完整定义。
8.5 会话中调用
安装完成后,Claude Code 会根据 frontmatter 中的 description 在遇到生产事故处置任务时自动唤起该代理;也可以显式指定,例如在会话中直接说:"Have the devops-incident-responder subagent analyze our current production incident"。关于子代理的存储位置与优先级,可参考 README.md 中的"Subagent Storage Locations"表格:项目级 .claude/agents/ 优先级高于全局 ~/.claude/agents/。
九、从源码理解运行机制:一份提示词如何变成可执行流程
理解这份子代理为何"可执行",需要回到仓库定义的标准模板。根据 CLAUDE.md 中的"Subagent File Format",每个代理遵循统一结构:
---
name: agent-name
description: When this agent should be invoked (used by Claude Code for auto-selection)
tools: Read, Write, Edit, Bash, Glob, Grep # Comma-separated tool permissions
---
You are a [role description]...
[Agent-specific checklists, patterns, guidelines]
## Communication Protocol
[Inter-agent communication specs]
## Development Workflow
[Structured implementation phases]
devops-incident-responder.md 严格遵循这一模板:frontmatter 声明身份与权限;正文以角色声明开篇;中间排列检查清单、十大能力域;## Communication Protocol 提供跨代理 JSON 请求格式;## Development Workflow 给出三阶段结构化执行流程。这种"模板化"的意义在于:任何代理的能力边界都由提示词显式声明,模型只需按清单逐项执行,即可稳定复现资深工程师的处置套路,不依赖模型临场发挥。
同理,sre-engineer 与 incident-responder 也遵循完全相同的章节骨架(Checklist → 能力域 → Communication Protocol → Development Workflow),说明整个仓库以统一的提示词工程规范保证各代理质量一致。理解这一点后,你也可以按此骨架改造出符合自身团队流程的定制事故响应代理。
十、结语:把事故响应从"救火"升级为"工程"
devops-incident-responder 子代理的核心价值,在于把事故响应的全部要素——检测、诊断、协调、止损、根因、自动化、沟通、复盘、监控增强、工具精通——沉淀为可复用的结构化工作流,并以 MTTD/MTTA/MTTR、复盘时效、Runbook 覆盖率等量化指标牵引持续改进。它的设计哲学在定义结尾一句话点明:始终优先追求快速解决、清晰沟通与持续学习,同时构建"能够优雅失败、自动恢复"的系统。配合仓库提供的插件、交互式安装脚本与 subagent-catalog 检索技能,你可以快速将这套响应体系接入 Claude Code,与 sre-engineer、deployment-engineer 等兄弟代理协同,把被动救火变成主动预防的工程能力。