Versus Incident告警疲劳降噪:让重复告警不再打扰on-call工程师
Versus Incident告警疲劳降噪:让重复告警不再打扰on-call工程师
Versus Incident 是一款自托管的 AI SRE 告警平台,其 Enterprise 版的 Alert fatigue(告警疲劳)功能专门解决重复告警轰炸问题:当同一条低价值告警在短时间内反复触发时,Versus 会自动把重复部分判定为"spam",并悄悄改投到一个独立的疲劳渠道,从而让 on-call 工程师只关注真正重要的通知,实现有效的告警降噪。
为什么 on-call 渠道越来越吵?
📉 几乎所有运维团队都经历过这种场景:
- 某个服务持续报错,监控系统每隔几分钟重复推送同一条告警;
- Slack / 电话里 90% 的消息是重复噪音,真正的故障反而被淹没;
- 值班工程师开始"选择性忽略"告警,结果一次真实的 P0 故障也被错过了。
这就是典型的 alert fatigue(告警疲劳)——告警系统信噪比过低,最终让 on-call 渠道失去意义。传统的解法是手动调告警规则的分组与抑制窗口,需要长期维护且容易漏配。Versus Incident 的做法是:让平台自动识别重复告警,并把噪音和信号分流到不同的渠道。
Versus Incident 的告警疲劳降噪是如何工作的?
Alert fatigue 是 Versus 的 Enterprise 能力,默认关闭,需要管理员在 Admin UI 中主动开启。开启后的判断逻辑非常简单直观:
- 一条告警到达后,先判断它的严重级别——
critical和high级别永远不会被降噪,无论重复多少次都直达 on-call 渠道; - 对于中低级别告警,Versus 会检查它是否在短时间内反复触发(即是否已被"fatigue");
- 如果是重复告警,根据你选择的模式:
- 自动模式(默认):重复部分被自动标记为 spam,改投到指定的疲劳渠道;
- 审查模式:重复告警进入"待审查"列表,在你确认之前仍会照常送达 on-call 渠道。
关键点:被降噪的告警只是被"转移"而不是被删除——每一条重复告警都会被记录在案,随时可以在审查列表里查看和召回。
三步开启告警疲劳降噪
🔧 开启步骤(在 Admin UI 的 Alert fatigue 页面):
第一步:打开总开关
在 Admin UI 中找到 Enable alert fatigue 并开启。关闭状态下所有告警原样送达,开启后才会出现渠道选择器和审查控制项。
第二步:指定"疲劳渠道"
选择被降噪告警的去处——推荐一个 on-call 不看的频道,比如 #noise 或 #alert-fatigue 群。Versus 支持将告警发送到 Slack、Microsoft Teams、Telegram、Email、Lark 等渠道,你可以任选一个已配置的渠道作为兜底。
第三步:选择自动降噪还是人工审查
| 选项 | 行为 |
|---|---|
| Require review before spam 关闭(默认) | 重复告警自动改投疲劳渠道,无需人工干预 |
| Require review before spam 开启 | 重复告警先进入 Pending review 列表,你确认是噪音后才被改投 |
💡 官方提示原文:"Alerts are auto-marked as spam by default — some alerts may stop being sent. If you notice alerts missing and want to approve them before they're marked as spam, enable pending review."(默认自动标记 spam;若担心误伤,请开启 pending review 先人工批准。)
审查列表:区分噪音与信号的 3 个操作
设置页下方是审查列表,每行都会展示:所属服务、来源、严重级别、重复次数和最后出现时间,帮你一眼分辨真噪音和真信号。通过 Status 筛选器可以切换三类状态:
- Fatigued —— 当前正在被改投到疲劳渠道的重复告警;
- Pending review —— 等待你批准的重复告警(仅审查模式下出现);
- Reclaimed —— 已被你召回、恢复通知的告警。
每条记录提供 3 个操作:
| 操作 | 适用场景 |
|---|---|
| Confirm spam | 确认某条待审告警确实是噪音,其重复开始改投疲劳渠道 |
| Not spam | 发现某条"被降噪"的告警其实很重要,立刻拉回 on-call 渠道 |
| Mark as spam | 把之前召回的告警再次降噪 |
这个"召回"设计非常重要:降噪系统最怕的是静默丢告警,而 Versus 保证任何一条被降噪的告警都能一键复活。
安全设计:宁可多打扰,绝不漏报
🛡️ Versus 在源码层面(pkg/services/emit_interceptor.go)把降噪拦截器设计成 fail-open(故障时默认放行):
- critical / high 告警永不被降噪,无论重复多少次,永远走正常渠道;
- 任何不确定的情况都选择打扰你——功能关闭、查询失败、疲劳渠道不可用时,告警一律送到 on-call 渠道而不是被吞掉;
- 拦截器内部即使发生异常也会恢复为正常发送,"噪音拦截器绝不能吃掉一次真正的 page";
- 没有任何数据被删除,降噪记录永久可查、可召回。
官方文档 src/enterprise/alert-fatigue.md 总结得很到位:"Alert fatigue is built so that the worst it can do is send you more alerts, never fewer than you need."(最坏情况只是让你收到更多告警,而不会少收。)
源头降噪:AI SRE Agent 让重复告警根本不产生
除了"告警到达后分流",Versus Incident 还提供另一条更彻底的降噪路径——AI SRE Agent 自动检测。它直接读取你的日志源(Elasticsearch、Loki、File、Splunk 等),学习"正常长什么样",只对从未见过的新错误模式开 incident,已知的老问题只计数、不重复打扰。
Agent 提供三种模式,建议按顺序推进:
- training —— 只观察学习,不发任何告警;
- shadow —— 学习的同时记录"本可以告警"的日志供你审查;
- detect —— 对全新异常自动创建 incident 并触发 on-call。
这样在源头就避免了"同一错误每小时报一次"的重复风暴,与 Alert fatigue 形成"上游少产生 + 下游分流"的双重降噪。
与 On-Call 联动:降噪后的告警闭环
经过降噪的告警会统一走 Versus 的 on-call 逻辑:如果 wait_minutes(默认 3 分钟)内无人点击告警消息里的 Acknowledge 按钮确认,就会升级给 PagerDuty 或 AWS Incident Manager,真正把 on-call 工程师叫醒。
也就是说,整套链路是:重复噪音 → 自动分流到疲劳渠道;新信号 / 高严重级别 → 直达 on-call 渠道 → 超时未确认 → 电话升级。值班工程师收到的每一条消息,都值得处理。
相关资源
- 📖 告警疲劳官方文档:src/enterprise/alert-fatigue.md
- 📖 Enterprise 快速上手(含 license 获取):src/enterprise/getting-started.md
- 🔀 降噪拦截器与指纹去重源码:pkg/services/emit_interceptor.go
- 🖥️ 告警疲劳管理页面源码:ui/src/pages/AlertFatiguePage.tsx
- 📞 PagerDuty 集成说明:src/oncall/pagerduty.md
- ⚠️ 升级 v1.4.25 后若修改告警疲劳设置遇到 403 CSRF 报错的处理方法:src/migration/migration-v1.4.25.md
💡 提示:Alert fatigue 是 Enterprise 功能且默认关闭,需要 Enterprise license 后由 admin/owner 角色在 Admin UI 中开启。社区版可以先用 AI Agent 的 training → shadow → detect 三阶段在源头完成降噪。



