Nightingale中SNMP采集端口流量汇聚相加问题的分析与解决

问题背景

在使用Nightingale监控系统进行SNMP采集时，用户遇到了一个典型的问题：两个单独的网络端口流量指标可以正常查询，但当尝试将这两个端口的流量数据进行相加时，却无法得到预期的结果。具体表现为：

• 单独查询snmp_interface_ifHCInOctets{ifAlias="LKUP-CT1"}和snmp_interface_ifHCInOctets{ifAlias="LKUP-CT2"}都能正常返回数据
• 但使用表达式snmp_interface_ifHCInOctets{ifAlias="LKUP-CT1"}+snmp_interface_ifHCInOctets{ifAlias="LKUP-CT2"}时却返回空结果

问题本质分析

这个问题实际上反映了PromQL（Prometheus查询语言）的一个基本特性：在进行向量运算时，要求参与运算的两个向量的标签集必须完全匹配。当两个时间序列的标签不完全相同时，Prometheus无法自动将它们进行运算。

在用户的具体案例中，虽然两个指标都是snmp_interface_ifHCInOctets，但它们的ifAlias标签值不同（一个是"LKUP-CT1"，另一个是"LKUP-CT2"），这导致Prometheus认为它们是不同的时间序列，无法直接进行数学运算。

解决方案

要解决这个问题，我们需要使用PromQL提供的标签处理函数来对齐标签。以下是几种可行的解决方案：

方法一：使用without或ignoring忽略特定标签

sum without(ifAlias)(
  snmp_interface_ifHCInOctets{ifAlias=~"LKUP-CT1|LKUP-CT2"}
)

这个查询会保留除ifAlias外的所有标签，然后对匹配的时间序列进行求和。

方法二：使用by指定分组标签

sum by(instance, job)(
  snmp_interface_ifHCInOctets{ifAlias=~"LKUP-CT1|LKUP-CT2"}
)

这种方法明确指定了需要保留的标签，确保求和操作只在指定的标签维度上进行。

方法三：使用or向量匹配

snmp_interface_ifHCInOctets{ifAlias="LKUP-CT1"} or 
snmp_interface_ifHCInOctets{ifAlias="LKUP-CT2"}

虽然这不会直接求和，但可以同时显示两个端口的数据，便于后续处理。

实际应用建议

在实际监控场景中，网络端口的流量汇聚是一个常见需求。为了更好地管理这类监控指标，建议：

1. 统一标签命名规范：为需要聚合的端口设置统一的标签前缀或模式，便于使用正则表达式匹配
2. 创建Recording Rules：对于常用的聚合查询，可以创建Recording Rules预先计算并存储结果
3. 使用变量简化查询：在Grafana等可视化工具中使用变量来动态选择需要聚合的端口

总结

Nightingale作为基于Prometheus的监控系统，继承了PromQL的强大功能和特性。理解PromQL的标签匹配机制对于构建有效的监控查询至关重要。当需要聚合不同标签的时间序列时，合理使用标签处理函数可以解决大多数聚合问题。通过本文介绍的几种方法，用户可以轻松实现对多个SNMP端口流量的汇聚计算，满足网络流量监控的需求。