在kube-prometheus中扩展kube-state-metrics的relabel配置

kube-prometheus作为Kubernetes监控的黄金标准方案，其内置的kube-state-metrics组件负责采集Kubernetes资源对象的状态指标。在实际生产环境中，我们经常需要对这些指标进行标签重写以满足特定的监控需求。

理解kube-state-metrics的默认配置

kube-prometheus默认会为kube-state-metrics创建两个监控任务：

• monitoring/kube-state-metrics/0：采集核心指标
• monitoring/kube-state-metrics/1：采集扩展指标

这两个任务都通过Service发现机制自动配置，但有时我们需要添加自定义的relabel规则来改造指标标签。

自定义relabel配置的实现方式

方法一：通过PrometheusRule自定义

最推荐的方式是通过创建PrometheusRule CRD资源来添加规则：

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: kube-state-metrics-relabel
  namespace: monitoring
spec:
  groups:
  - name: kube-state-metrics-relabel.rules
    rules:
    - record: kube_pod_info:relabeled
      expr: kube_pod_info
      labels:
        sys_name: "$1"

方法二：修改Prometheus配置

如果需要更底层的控制，可以修改Prometheus的配置：

apiVersion: monitoring.coreos.com/v1
kind: Prometheus
metadata:
  name: k8s
  namespace: monitoring
spec:
  serviceMonitorSelector: {}
  additionalScrapeConfigs:
    - job_name: 'kube-state-metrics-custom'
      honor_labels: true
      kubernetes_sd_configs:
        - role: endpoints
          namespaces:
            names: [monitoring]
      relabel_configs:
        - source_labels: [__meta_kubernetes_service_label_app_kubernetes_io_name]
          action: keep
          regex: kube-state-metrics
        - source_labels: [__meta_kubernetes_endpoint_port_name]
          action: keep
          regex: http
      metric_relabel_configs:
        - source_labels: [label_app]
          target_label: sys_name
          regex: '(.*)'
          replacement: '${1}'

最佳实践建议

1. 优先使用PrometheusRule：这种方式更符合Kubernetes的声明式理念，且易于维护

2. 谨慎使用metric_relabel_configs：过多的重写规则会影响Prometheus性能

3. 保持标签一致性：确保新增标签在整个监控体系中具有相同的语义

4. 考虑使用Recording Rules：对于复杂的标签转换，可以先通过Recording Rules预处理

5. 测试验证：任何relabel配置变更都应先在测试环境验证

通过合理运用relabel配置，我们可以使kube-state-metrics采集的指标更好地适应企业的监控规范，同时保持与kube-prometheus原有体系的兼容性。