Higress网关Prometheus监控指标采集问题分析与解决方案

问题背景

在使用Higress网关2.0.1及2.0.4版本时，用户发现通过Prometheus采集的监控数据中缺少关键的envoy_http_downstream_rq_total聚合指标，导致Grafana仪表板无法正常显示下游请求总量数据。这个问题影响了用户对网关整体流量的监控能力。

问题现象分析

通过深入排查，我们发现以下关键现象：

1. 指标缺失：在Prometheus采集的指标中，缺少了envoy_http_downstream_rq_total这一关键聚合指标，而只有细分的指标如envoy_http_outbound_0_0_0_0_80_downstream_rq_total等。

2. Envoy原始数据：直接查询Envoy的统计接口(/stats/prometheus)时，同样只看到细分的指标，没有聚合后的总请求量指标。

3. 配置检查：检查Higress网关的Envoy配置(envoy-rev.json)发现，统计配置中虽然包含了丰富的标签提取规则，但缺少对下游请求总量的聚合配置。

根本原因

经过技术分析，确定问题的根本原因是：

1. liteMetrics参数影响：Higress网关的global.liteMetrics参数默认关闭时，Envoy的指标统计配置中存在正则捕获问题，导致聚合指标无法正确生成。

2. 指标命名规则：在默认配置下，Envoy生成的指标名称中包含了具体的监听地址(如outbound_0_0_0_0_80)，而没有自动聚合为统一的downstream_rq_total指标。

解决方案

针对这个问题，我们提供两种解决方案：

临时解决方案

通过修改Higress的Helm配置，启用liteMetrics参数：

helm upgrade higress --set global.liteMetrics=true

这个参数会优化指标采集方式，确保关键聚合指标能够正常生成。

长期解决方案

等待Higress的下一个版本发布，该版本将修复正则捕获问题，使得无论liteMetrics参数如何设置，都能正确生成聚合指标。

技术原理深入

在Envoy的统计系统中，指标可以通过多种方式聚合：

1. 统计前缀：Envoy使用前缀系统组织指标，如http.前缀表示HTTP相关指标。

2. 标签提取：通过stats_config中的stats_tags配置，可以从指标名称中提取标签，实现指标的重新组织。

3. 统计匹配器：stats_matcher控制哪些指标应该被生成和暴露。

在本次问题中，正是由于标签提取和统计匹配器的配置问题，导致聚合指标未能正确生成。启用liteMetrics后，系统会使用更简单的统计配置，避免了复杂的正则匹配问题。

最佳实践建议

对于使用Higress网关并需要监控关键指标的用户，我们建议：

1. 明确监控需求：确定需要监控哪些关键指标，如请求总量、错误率、延迟等。

2. 合理配置参数：根据监控需求，合理设置liteMetrics等参数，平衡监控粒度和系统开销。

3. 版本升级计划：关注Higress的版本更新，及时升级以获取最新的功能改进和问题修复。

4. 自定义仪表板：根据实际业务需求，在Grafana中创建自定义仪表板，重点关注对业务最有价值的指标。

通过以上分析和解决方案，用户可以恢复对Higress网关下游请求总量的监控能力，确保对网关运行状况的全面掌握。