在kube-prometheus中修改kube-state-metrics的relabel配置

背景介绍

kube-prometheus是一个基于Prometheus Operator的Kubernetes监控解决方案，它集成了Prometheus、Alertmanager、Grafana等组件，并提供了开箱即用的监控配置。其中kube-state-metrics是监控Kubernetes集群状态的核心组件之一。

在实际生产环境中，我们经常需要对采集的指标进行二次处理，比如添加自定义标签、修改标签值等。这些操作通常通过Prometheus的relabel_config配置来实现。

问题场景

在已部署的kube-prometheus生产环境中，用户希望对kube-state-metrics采集的指标添加额外的标签，以便更好地管理多集群指标。具体需求是：

1. 基于外部JSON存储的键值关系，为特定指标添加新标签
2. 修改现有的kube-state-metrics作业的relabel配置
3. 确保修改能够持久化，不会因重启而丢失

解决方案

1. 理解kube-prometheus的配置架构

在kube-prometheus中，Prometheus的配置是通过Prometheus Operator自动生成的。具体到每个监控目标的采集配置，是通过ServiceMonitor或PodMonitor这些CRD（自定义资源）来定义的。

对于kube-state-metrics，其采集配置存储在名为"kube-state-metrics"的ServiceMonitor资源中。

2. 修改ServiceMonitor配置

要修改kube-state-metrics的relabel配置，需要编辑对应的ServiceMonitor资源。以下是具体步骤：

1. 获取当前的ServiceMonitor配置：

   kubectl get -n monitoring servicemonitors kube-state-metrics -o yaml
   

2. 编辑ServiceMonitor，添加relabelings配置：

   spec:
     endpoints:
     - port: http
       relabelings:
       - action: labeldrop
         regex: (pod|service|endpoint|namespace)
       - sourceLabels: [app]
         regex: nginx
         replacement: 'my-nginx-test'
         targetLabel: module
       - sourceLabels: [label_app]
         regex: nginx
         replacement: 'my-nginx-test-label'
         targetLabel: module
   

3. 配置详解

上述配置中，我们添加了几个relabel规则：

1. labeldrop：删除匹配正则表达式的标签（pod、service、endpoint、namespace）
2. 标签替换：当app标签值为nginx时，添加module标签并设置值为my-nginx-test
3. 标签替换：当label_app标签值为nginx时，添加module标签并设置值为my-nginx-test-label

4. 验证配置生效

修改完成后，可以通过以下方式验证配置是否生效：

1. 进入Prometheus容器查看生成的配置文件：

   kubectl exec -n monitoring -it prometheus-k8s-0 -- cat /etc/prometheus/config_out/prometheus.env.yaml
   

2. 在Prometheus UI中检查target页面，确认kube-state-metrics的配置已更新

3. 查询具体指标，确认新标签已添加

注意事项

1. 配置更新延迟：Prometheus Operator需要一些时间来处理ServiceMonitor的变更并更新Prometheus配置，通常需要等待1-2分钟

2. 指标缓存：已经采集的指标不会自动更新标签，只有新采集的指标会应用新的relabel规则

3. 多集群管理：如果需要在多集群环境中统一管理标签，可以考虑使用Prometheus的external_labels配置或在查询时使用聚合操作

4. 配置持久化：通过修改ServiceMonitor资源的方式可以确保配置持久化，即使Prometheus实例重启也不会丢失

高级用法

除了基本的标签操作，relabel_config还支持更多高级功能：

1. 条件判断：可以结合多个标签值进行复杂条件判断
2. 哈希处理：对标签值进行哈希处理，用于分片等场景
3. 默认值设置：当标签不存在时设置默认值
4. 标签映射：基于外部文件动态映射标签值

这些高级用法可以帮助实现更复杂的监控场景需求。

总结

通过修改kube-prometheus中kube-state-metrics的ServiceMonitor配置，我们可以灵活地控制指标的标签处理逻辑。这种方法不仅适用于添加新标签，还可以用于删除、修改现有标签，实现指标数据的二次加工和标准化，为多集群监控管理提供了良好的基础。

在实际操作中，建议先在测试环境验证配置变更，确认无误后再应用到生产环境。同时，对于复杂的relabel规则，可以通过Prometheus的Relabel Debug功能进行调试，确保规则按预期工作。