Versus Incident告警疲劳降噪:让重复告警不再打扰on-call工程师

原创2026-10-24 19:55:311,843 阅读

Versus Incident告警疲劳降噪:让重复告警不再打扰on-call工程师

Versus Incident 是一款自托管的 AI SRE 告警平台,其 Enterprise 版的 Alert fatigue(告警疲劳)功能专门解决重复告警轰炸问题:当同一条低价值告警在短时间内反复触发时,Versus 会自动把重复部分判定为"spam",并悄悄改投到一个独立的疲劳渠道,从而让 on-call 工程师只关注真正重要的通知,实现有效的告警降噪。

Versus Incident 管理面板:展示事件、模式目录与 AI 检测统计

为什么 on-call 渠道越来越吵?

📉 几乎所有运维团队都经历过这种场景:

  • 某个服务持续报错,监控系统每隔几分钟重复推送同一条告警;
  • Slack / 电话里 90% 的消息是重复噪音,真正的故障反而被淹没;
  • 值班工程师开始"选择性忽略"告警,结果一次真实的 P0 故障也被错过了。

这就是典型的 alert fatigue(告警疲劳)——告警系统信噪比过低,最终让 on-call 渠道失去意义。传统的解法是手动调告警规则的分组与抑制窗口,需要长期维护且容易漏配。Versus Incident 的做法是:让平台自动识别重复告警,并把噪音和信号分流到不同的渠道。

Versus Incident 的告警疲劳降噪是如何工作的?

Alert fatigue 是 Versus 的 Enterprise 能力,默认关闭,需要管理员在 Admin UI 中主动开启。开启后的判断逻辑非常简单直观:

  1. 一条告警到达后,先判断它的严重级别——critical 和 high 级别永远不会被降噪,无论重复多少次都直达 on-call 渠道;
  2. 对于中低级别告警,Versus 会检查它是否在短时间内反复触发(即是否已被"fatigue");
  3. 如果是重复告警,根据你选择的模式:
    • 自动模式(默认):重复部分被自动标记为 spam,改投到指定的疲劳渠道;
    • 审查模式:重复告警进入"待审查"列表,在你确认之前仍会照常送达 on-call 渠道。

Versus Incident 告警疲劳降噪流程图:判断告警是否为重复噪音并分流到疲劳渠道

关键点:被降噪的告警只是被"转移"而不是被删除——每一条重复告警都会被记录在案,随时可以在审查列表里查看和召回。

三步开启告警疲劳降噪

🔧 开启步骤(在 Admin UI 的 Alert fatigue 页面):

第一步:打开总开关

在 Admin UI 中找到 Enable alert fatigue 并开启。关闭状态下所有告警原样送达,开启后才会出现渠道选择器和审查控制项。

第二步:指定"疲劳渠道"

选择被降噪告警的去处——推荐一个 on-call 不看的频道,比如 #noise 或 #alert-fatigue 群。Versus 支持将告警发送到 Slack、Microsoft Teams、Telegram、Email、Lark 等渠道,你可以任选一个已配置的渠道作为兜底。

第三步:选择自动降噪还是人工审查

选项 行为
Require review before spam 关闭(默认) 重复告警自动改投疲劳渠道,无需人工干预
Require review before spam 开启 重复告警先进入 Pending review 列表,你确认是噪音后才被改投

💡 官方提示原文:"Alerts are auto-marked as spam by default — some alerts may stop being sent. If you notice alerts missing and want to approve them before they're marked as spam, enable pending review."(默认自动标记 spam;若担心误伤,请开启 pending review 先人工批准。)

审查列表:区分噪音与信号的 3 个操作

设置页下方是审查列表,每行都会展示:所属服务、来源、严重级别、重复次数和最后出现时间,帮你一眼分辨真噪音和真信号。通过 Status 筛选器可以切换三类状态:

  • Fatigued —— 当前正在被改投到疲劳渠道的重复告警;
  • Pending review —— 等待你批准的重复告警(仅审查模式下出现);
  • Reclaimed —— 已被你召回、恢复通知的告警。

每条记录提供 3 个操作:

操作 适用场景
Confirm spam 确认某条待审告警确实是噪音,其重复开始改投疲劳渠道
Not spam 发现某条"被降噪"的告警其实很重要,立刻拉回 on-call 渠道
Mark as spam 把之前召回的告警再次降噪

这个"召回"设计非常重要:降噪系统最怕的是静默丢告警,而 Versus 保证任何一条被降噪的告警都能一键复活。

安全设计:宁可多打扰,绝不漏报

🛡️ Versus 在源码层面(pkg/services/emit_interceptor.go)把降噪拦截器设计成 fail-open(故障时默认放行):

  • critical / high 告警永不被降噪,无论重复多少次,永远走正常渠道;
  • 任何不确定的情况都选择打扰你——功能关闭、查询失败、疲劳渠道不可用时,告警一律送到 on-call 渠道而不是被吞掉;
  • 拦截器内部即使发生异常也会恢复为正常发送,"噪音拦截器绝不能吃掉一次真正的 page";
  • 没有任何数据被删除,降噪记录永久可查、可召回。

官方文档 src/enterprise/alert-fatigue.md 总结得很到位:"Alert fatigue is built so that the worst it can do is send you more alerts, never fewer than you need."(最坏情况只是让你收到更多告警,而不会少收。)

源头降噪:AI SRE Agent 让重复告警根本不产生

除了"告警到达后分流",Versus Incident 还提供另一条更彻底的降噪路径——AI SRE Agent 自动检测。它直接读取你的日志源(Elasticsearch、Loki、File、Splunk 等),学习"正常长什么样",只对从未见过的新错误模式开 incident,已知的老问题只计数、不重复打扰。

Versus Incident AI SRE Agent 检测流水线:学习日志模式并只对未知异常告警

Agent 提供三种模式,建议按顺序推进:

  1. training —— 只观察学习,不发任何告警;
  2. shadow —— 学习的同时记录"本可以告警"的日志供你审查;
  3. detect —— 对全新异常自动创建 incident 并触发 on-call。

这样在源头就避免了"同一错误每小时报一次"的重复风暴,与 Alert fatigue 形成"上游少产生 + 下游分流"的双重降噪。

与 On-Call 联动:降噪后的告警闭环

经过降噪的告警会统一走 Versus 的 on-call 逻辑:如果 wait_minutes(默认 3 分钟)内无人点击告警消息里的 Acknowledge 按钮确认,就会升级给 PagerDuty 或 AWS Incident Manager,真正把 on-call 工程师叫醒。

on-call 电话被触发:降噪后真正重要的告警才会打扰工程师

也就是说,整套链路是:重复噪音 → 自动分流到疲劳渠道;新信号 / 高严重级别 → 直达 on-call 渠道 → 超时未确认 → 电话升级。值班工程师收到的每一条消息,都值得处理。

相关资源

💡 提示:Alert fatigue 是 Enterprise 功能且默认关闭,需要 Enterprise license 后由 admin/owner 角色在 Admin UI 中开启。社区版可以先用 AI Agent 的 training → shadow → detect 三阶段在源头完成降噪。

登录后查看全文
versus-incident