Apache APISIX监控告警：Prometheus+Grafana监控体系

概述

在现代微服务架构中，API网关作为流量入口，其稳定性和性能至关重要。Apache APISIX作为云原生API网关，提供了强大的监控能力。本文将深入探讨如何构建基于Prometheus和Grafana的完整监控告警体系，确保APISIX网关的可靠运行。

监控架构设计

graph TB
    A[APISIX网关节点] --> B[Prometheus插件]
    B --> C[指标暴露端点]
    C --> D[Prometheus Server]
    D --> E[Grafana Dashboard]
    D --> F[Alertmanager]
    F --> G[告警通知]
    
    subgraph "数据采集层"
        A
        B
        C
    end
    
    subgraph "存储计算层"
        D
    end
    
    subgraph "可视化告警层"
        E
        F
        G
    end

Prometheus插件配置详解

基础配置启用

在APISIX中启用Prometheus监控非常简单，只需在路由配置中添加空配置即可：

curl http://127.0.0.1:9180/apisix/admin/routes/1 \
-H "X-API-KEY: $admin_key" -X PUT -d '
{
    "uri": "/api/*",
    "plugins": {
        "prometheus":{}
    },
    "upstream": {
        "type": "roundrobin",
        "nodes": {
            "backend-service:8080": 1
        }
    }
}'

高级配置选项

在conf/config.yaml中进行深度配置：

plugin_attr:
  prometheus:
    export_uri: /apisix/metrics
    export_addr:
      ip: 0.0.0.0
      port: 9091
    default_buckets:
      - 10
      - 50
      - 100
      - 500
      - 1000
      - 5000
    metric_prefix: "apisix_"
    expire: 60

核心监控指标体系

HTTP流量指标

指标名称	类型	描述	关键标签
apisix_http_status	Counter	HTTP状态码统计	code, route, service, consumer
apisix_bandwidth	Counter	带宽消耗统计	type(ingress/egress), route
apisix_http_latency	Histogram	请求延迟分布	type(request/upstream/apisix)
apisix_nginx_http_current_connections	Gauge	Nginx连接状态	state(active/reading/writing)

系统健康指标

指标名称	类型	描述	告警阈值
apisix_etcd_reachable	Gauge	etcd连接状态	<1 (持续30s)
apisix_upstream_status	Gauge	上游节点健康状态	=0 (持续60s)
apisix_shared_dict_free_space_bytes	Gauge	共享内存使用率	<10%容量

业务维度指标

pie title APISIX监控指标分类
    "HTTP指标" : 45
    "系统指标" : 25
    "网络指标" : 20
    "业务指标" : 10

Prometheus采集配置

基础采集配置

# prometheus.yml
scrape_configs:
  - job_name: 'apisix'
    scrape_interval: 15s
    metrics_path: '/apisix/metrics'
    static_configs:
      - targets: ['apisix-node1:9091', 'apisix-node2:9091']
    relabel_configs:
      - source_labels: [__address__]
        target_label: instance
        regex: '(.*):\d+'
        replacement: '${1}'

多实例集群配置

- job_name: 'apisix-cluster'
  scrape_interval: 15s
  metrics_path: '/apisix/metrics'
  kubernetes_sd_configs:
    - role: pod
      namespaces:
        names: ['apisix']
  relabel_configs:
    - source_labels: [__meta_kubernetes_pod_label_app]
      action: keep
      regex: apisix
    - source_labels: [__meta_kubernetes_pod_ip]
      target_label: __address__
      regex: '(.*)'
      replacement: '${1}:9091'

Grafana监控大屏配置

核心监控面板

1. 流量概览面板

-- 总请求量趋势
sum(rate(apisix_http_status[1m])) by (instance)

-- 错误率计算
sum(rate(apisix_http_status{code=~"5.."}[1m])) / sum(rate(apisix_http_status[1m]))

-- 带宽使用情况
sum(rate(apisix_bandwidth[1m])) by (type)

2. 延迟分析面板

-- P99延迟
histogram_quantile(0.99, sum(rate(apisix_http_latency_bucket[1m])) by (le, route))

-- 平均延迟
sum(rate(apisix_http_latency_sum[1m])) / sum(rate(apisix_http_latency_count[1m]))

-- 延迟分布
histogram_quantile(0.5, rate(apisix_http_latency_bucket[1m]))
histogram_quantile(0.9, rate(apisix_http_latency_bucket[1m]))
histogram_quantile(0.99, rate(apisix_http_latency_bucket[1m]))

3. 系统健康面板

-- etcd连接状态
apisix_etcd_reachable

-- 上游健康状态
apisix_upstream_status

-- 内存使用率
1 - (apisix_shared_dict_free_space_bytes / apisix_shared_dict_capacity_bytes)

告警规则配置

groups:
- name: apisix-alerts
  rules:
  - alert: APISIXHighErrorRate
    expr: sum(rate(apisix_http_status{code=~"5.."}[5m])) / sum(rate(apisix_http_status[5m])) > 0.05
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: "APISIX高错误率告警"
      description: "实例 {{ $labels.instance }} 5xx错误率超过5%，当前值: {{ $value }}"
  
  - alert: APISIXHighLatency
    expr: histogram_quantile(0.99, rate(apisix_http_latency_bucket[5m])) > 1000
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "APISIX高延迟告警"
      description: "实例 {{ $labels.instance }} P99延迟超过1000ms，当前值: {{ $value }}ms"
  
  - alert: APISIXEtcdUnreachable
    expr: apisix_etcd_reachable == 0
    for: 1m
    labels:
      severity: critical
    annotations:
      summary: "APISIX etcd连接异常"
      description: "实例 {{ $labels.instance }} 无法连接etcd配置中心"
  
  - alert: APISIXUpstreamUnhealthy
    expr: apisix_upstream_status == 0
    for: 2m
    labels:
      severity: warning
    annotations:
      summary: "上游服务不可用"
      description: "上游节点 {{ $labels.ip }}:{{ $labels.port }} 健康检查失败"

实战：端到端监控配置

步骤1：APISIX配置验证

# 验证Prometheus端点
curl http://localhost:9091/apisix/metrics

# 检查关键指标
curl -s http://localhost:9091/apisix/metrics | grep -E "(http_status|etcd_reachable|upstream_status)"

步骤2：Prometheus配置验证

# 检查target状态
curl http://localhost:9090/api/v1/targets | jq '.data.activeTargets[] | select(.labels.job == "apisix")'

# 验证指标采集
curl http://localhost:9090/api/v1/query?query=apisix_http_status_total

步骤3：Grafana数据源配置

{
  "name": "APISIX-Prometheus",
  "type": "prometheus",
  "url": "http://prometheus:9090",
  "access": "proxy",
  "isDefault": true,
  "jsonData": {
    "timeInterval": "15s",
    "httpMethod": "GET"
  }
}

性能优化建议

监控数据采样优化

# 降低高频指标采集频率
scrape_interval: 30s
scrape_timeout: 25s

# 使用记录规则预计算
rule_files:
  - /etc/prometheus/rules/apisix-recording.rules.yml

资源限制配置

# Prometheus资源限制
global:
  scrape_interval: 15s
  evaluation_interval: 15s

# 每实例指标限制
metric_relabel_configs:
  - source_labels: [__name__]
    regex: 'apisix_.*'
    action: keep

故障排查指南

常见问题处理

问题现象	可能原因	解决方案
指标采集超时	网络问题或APISIX负载高	调整scrape_timeout，检查节点负载
指标数据缺失	Prometheus配置错误	验证target状态和网络连通性
延迟指标异常	上游服务性能问题	分析upstream延迟分布，排查后端服务

诊断命令集

# 检查APISIX指标端点
curl -v http://apisix-node:9091/apisix/metrics

# 验证Prometheus target状态
curl http://localhost:9090/api/v1/targets | jq

# 查询特定指标
curl "http://localhost:9090/api/v1/query?query=apisix_etcd_reachable"

# 检查告警状态
curl http://localhost:9090/api/v1/alerts

总结

通过本文的完整指南，您已经掌握了Apache APISIX基于Prometheus和Grafana的监控告警体系构建。这套监控方案提供了：

1. 全面的指标覆盖：从HTTP流量到系统健康的全方位监控
2. 多维度分析：支持按路由、服务、消费者等多维度分析
3. 智能告警：基于Prometheus Alertmanager的智能告警机制
4. 可视化大屏：Grafana提供的专业监控可视化

实际部署时，建议根据业务规模调整采集频率和资源分配，确保监控系统本身不会成为性能瓶颈。定期审查告警规则和监控指标，保持监控体系的有效性和准确性。