ServiceRadar因果引擎深度解析:微秒级完成根因定位与事件隔离
ServiceRadar因果引擎深度解析:微秒级完成根因定位与事件隔离
ServiceRadar 是一款开源的网络管理、监控、ITOM 与安全分析平台。当你面对数百台设备同时告警时,如何快速锁定真正的根因?ServiceRadar 内置的因果引擎(Causal Engine)通过 13 条内置因果规则(causaloids C1–C13),在进程内直接完成根因定位与事件隔离,把"告警风暴"收敛为一条清晰的故障判定,让新手运维也能看懂"为什么挂"。
为什么需要因果引擎?
传统网络监控(如 Zabbix、Prometheus)只能告诉你"发生了什么":
- 交换机 A 离线了
- 服务器 B 无响应了
- 服务 C 延迟飙升了
但它回答不了"为什么"——A 的掉线会不会级联拖垮 B?B 的故障是不是 C 延迟的根因?靠人工翻拓扑图排查,动辄几十分钟。
ServiceRadar 的答案是:把整个网络拓扑和实时健康状态装进内存,用确定性图算法 + 专家规则自动推导因果关系。
三大模块:Hydrator → Reasoner → Emitter
因果引擎是一个单 Pod 融合的 Rust 服务(设计见 openspec/changes/add-causal-engine/design.md),核心就三个模块:
| 模块 | 职责 | 数据源 |
|---|---|---|
| Context Hydrator(水合器) | 冷启动时加载全量状态,之后持续吃增量 | CNPG 数据库(通过 rust/srql/src/lib.rs 的 EmbeddedSrql)、Apache AGE 拓扑图、NATS 状态变更流 |
| Reasoner(推理器) | 对内存中的 Context 逐条求值 C1–C13 因果规则,产出判定 |
进程内数据,零网络开销 |
| Emitter(发射器) | 把判定以 OCSF 兼容信封发布回告警闭环 | NATS JetStream signals.causal.predictions.* |
关键设计:推理器不查数据库、不发 HTTP——所有设备状态、拓扑边、风险分数在 refresh 周期内已同步到内存。每次推理 tick 只对冻结的 CSR 压缩稀疏行图做算法调用,这就是"微秒级"的来源:单条因果规则的求值只是内存中的 CPU 指令,而非一次网络往返;端到端从事件到判定则保持亚秒级。
13 条因果规则(C1–C13):每条都是一个可解释的结论
规则实现集中在 rust/correlation-engine/src/reasoner.rs,每条规则对应一个可命名的故障场景:
| 规则 | 场景 | 示例结论 |
|---|---|---|
| C1 / C2 | 虚拟化包含级联 | "宿主机宕机 → 其上的 N 台虚机全部受影响" |
| C3 | 网关/Agent 共同命运 | "内带网关失联 + 多台下游设备同时不可达 → 根因是网关,不是那批设备" |
| C4 | 管理路径不可观测抑制 | "该设备已不在任何健康管理者的 MANAGED_BY 可达集内 → 标记为 unknown 而非 failed" |
| C5 / C5b | 单点故障(SPOF)常设告警 | 基于 articulation_points / bridges 算法:"这台交换机是割点,它挂了网络就会分区"——无需故障发生 |
| C6 | 接口饱和预测 | "该链路流量/容量 ≥ 80% → 预测即将饱和"(仅对容量合格的边生效) |
| C7 | 服务栈坍塌 | 沿 DEPENDS_ON 依赖边向上追溯 |
| C8 / C9 | BGP 路由撤销 / 共享跳瓶颈 | 基于介数中心性(betweenness ≥ 0.3 视为瓶颈) |
| C10 | 流量源爆炸半径 | 结合 risk_score 加权,预测高危源的影响面 |
| C11 | 抖动前兆 | "近 3 次状态翻转 → 不稳定性前兆" |
| C12 / C13 | 运维规则提升 / 发现缺口消歧 | 让值班规则覆盖拓扑盲区 |
每条判定(Verdict)都携带四个要素:实体 ID、四分类之一(root_cause / affected / healthy / unknown)、人类可读的原因文本、0–100 的预测严重度。风险合成只能"调高"不能"调低"结构结论(raise_severity_to 单调递增),保证可解释性不被污染。
事件隔离:把判定喂回告警闭环,而不是只画张图
很多"AI 根因分析"产品的终点是一张好看的拓扑图。ServiceRadar 的因果引擎终点是自动化闭环:
- 判定发布:Emitter 将每个判定发布到
signals.causal.predictions.<entity>,带确定性 ID(pred:<entity>:<classification>),重发幂等(见 rust/correlation-engine/src/emitter.rs)。 - 回灌事件流:已有的
CausalSignals处理器把signals.causal.*前缀归一化为ocsf_events,无需任何新接收管道。 - 触发告警:
StatefulAlertEngine消费事件、按device.uid分组生成告警——预测直接变成值班同学手机上的通知。 - 上帝视图渲染:同一份判定驱动 God-View 的四桶渲染(根因/受影响/健康/未知),图上每个节点都有"为什么"。
早期版本里这套逻辑是一段 244 行的 UI 加速 NIF(elixir/web-ng/native/god_view_nif/src/core/causality.rs),用介数中心性启发式 + 3 跳 BFS 做"事后爆炸半径分类"——只分类、不预测。新的独立引擎把它升级为事前的结构性预测:SPOF 警告在故障发生前就存在。
为什么重启只需几秒?
单 Pod 部署 + 快照机制(openspec/changes/add-causal-engine/specs/causal-engine/spec.md):
- 每次
refresh()后原子持久化Context快照(临时文件 + rename) - 重启时先加载快照秒级恢复,再对账实时增量,绝不用过期状态发判定
- HA、分片是明确的非目标——因果图天然跨实体,快照秒级重启就是 V1 的可用性方案
延伸阅读与源码路径
- 集成全景分析:docs/docs/causal-engine-integration-points.md
- 设计决策(为什么不用 CDC、为什么进程内融合):openspec/changes/add-causal-engine/design.md
- 规则规格(13 条因果oid 的 WHEN/THEN 场景):openspec/changes/add-causal-engine/specs/causal-reasoning/spec.md
- 统一查询 API SRQL:rust/srql/
- 核心推理器:rust/correlation-engine/src/reasoner.rs
一句话总结:ServiceRadar 的因果引擎把"看图猜根因"变成了"内存图算法 + 13 条可解释规则",微秒级单规则求值、亚秒级端到端判定,并且判定最终会自己变成告警——这才是运维自动化的完整闭环。


