SkyWalking中FLAG_NO_RECORDED_VALUE标志处理异常导致指标峰值问题分析

问题背景

在Apache SkyWalking监控系统中，运维人员观察到监控图表中频繁出现异常的指标峰值。这些峰值表现为数值突然飙升至极大值，但实际系统运行状态并未出现对应异常。经过深入分析发现，这与SkyWalking对FLAG_NO_RECORDED_VALUE标志的处理机制有关。

问题现象

监控图表中周期性出现以下异常特征：

1. 每小时出现一个0值数据点
2. 紧随其后的时间点(T+1)会出现异常高值
3. 实际系统运行状态正常，无对应异常

根本原因

通过代码分析发现，SkyWalking在处理指标数据时存在以下问题：

1. 标志位处理缺失：当指标数据携带FLAG_NO_RECORDED_VALUE标志时，系统未正确识别该标志的含义
2. 默认值处理不当：对于不存在的指标值，系统错误地将其处理为0值而非空值
3. 计算逻辑缺陷：在后续的MAL(监控告警语言)处理和持久化阶段，这些0值被纳入计算

技术细节

FLAG_NO_RECORDED_VALUE标志原本用于表示：

• 该时间点没有记录到有效指标值
• 应该被识别为"无数据"状态

但实际处理流程中：

1. 数据收集阶段：携带该标志的数据被错误解析
2. 数据传输阶段：标志信息未被正确传递
3. 数据处理阶段：空值被转换为0值
4. 计算阶段：在计算指标变化率(rate)时，从0到正常值的突变导致计算出异常高值

影响范围

该问题主要影响：

1. 使用OTel(OpenTelemetry)数据源的场景
2. 边缘计算环境
3. 大规模指标监控场景
4. 所有依赖变化率计算的监控指标

解决方案建议

1. 标志位正确处理：

   • 在数据解析阶段识别FLAG_NO_RECORDED_VALUE标志
   • 将标志信息完整传递至处理流水线

2. 空值处理优化：

   • 区分"0值"和"无数据"状态
   • 对于无数据情况，保持空值状态

3. 计算逻辑增强：

   • 在MAL处理中增加空值检查
   • 对变化率计算增加边界条件处理

4. 持久化策略调整：

   • 避免将空值指标持久化为0值
   • 在存储层增加特殊标记

问题复现

在以下场景可以复现该问题：

1. OTel数据源暂时不可用
2. 边缘节点网络中断
3. 指标采集间隔不规律

总结