Apache APISIX中Prometheus指标异常问题分析与解决

问题现象

在使用Helm Chart部署Apache APISIX 3.8.0版本于EKS环境时，发现当将APISIX的部署副本数从1扩展到10后，Prometheus监控指标出现异常增长，即使在没有实际流量负载的情况下，apisix_http_requests_total等指标也会持续上升。

环境配置

部署使用了以下关键配置：

• APISIX Helm Chart版本：2.6.0
• APISIX应用版本：3.8.0
• 启用了Prometheus插件
• 配置了ServiceMonitor用于Prometheus采集
• 资源限制为2CPU/2Gi内存

问题分析

通过监控图表可以观察到：

1. 指标增长与APISIX实例数量呈正相关
2. 在10个副本时指标值明显高于5个副本时
3. 指标数据分布不均匀，部分Pod指标异常高（16万+），其他Pod则正常（200-300）

这种现象表明可能存在以下问题：

• Prometheus插件配置不当导致内部请求被计入指标
• 健康检查或就绪探针请求被错误统计
• 指标标签缺失导致无法区分请求来源

解决方案

经过排查，最终通过调整Prometheus插件配置解决了问题。关键点包括：

1. 优化Prometheus插件配置：确保只统计外部有效请求，排除内部健康检查等流量

2. 检查指标标签：确认指标是否包含足够的信息来区分请求来源和类型

3. 验证配置生效：修改后确认指标数据恢复正常分布

经验总结

在APISIX集群扩展时，需要注意：

• 监控指标的采集和统计方式
• 内部通信流量对指标的影响
• 指标标签的完整性和区分度

合理的Prometheus配置对于大规模部署APISIX至关重要，可以避免因内部通信或健康检查导致的指标污染，确保监控数据的准确性和可靠性。