Prometheus社区Helm Charts中kube-state-metrics健康检查端点配置问题分析

问题背景

在Kubernetes监控体系中，kube-state-metrics是一个重要的组件，它通过监听Kubernetes API服务器来生成各种资源对象的状态指标。近期在Prometheus社区Helm Charts项目中，kube-state-metrics图表版本5.26.0与kube-state-metrics 2.14.0版本搭配使用时出现了健康检查失败的问题。

问题现象

当用户将kube-state-metrics升级到2.14.0版本后，Pod无法正常启动，原因是就绪探针(readiness probe)检查失败。具体表现为：

1. 使用图表5.26.0默认配置时工作正常
2. 升级到kube-state-metrics 2.14.0版本后，Pod处于CrashLoopBackOff状态
3. 就绪探针返回404错误

根本原因分析

这个问题源于健康检查端点配置的不一致：

1. 版本变更：从kube-state-metrics 2.13.0开始，健康检查端点被重新设计：

   • /readyz端点移至遥测端口(telemetry port)
   • /livez和/healthz保留在标准/metrics端口

2. 图表配置：Helm图表中所有健康检查端点都被配置为标准/metrics端口，这在2.13.0版本中由于兼容性问题没有立即暴露，因为：

   • 2.13.0版本中，标准端口的/readyz会返回200状态码和索引页面
   • 2.14.0版本中，标准端口的/readyz开始正确返回404

3. 探针配置：

   • 就绪探针(readiness)检查/readyz
   • 存活探针(liveness)检查/livez
   • 启动探针(startupProbe)检查/healthz 所有探针都被错误地配置为使用标准/metrics端口

技术影响

这种配置不一致会导致以下问题：

1. 就绪性检查失败：kube-state-metrics 2.14.0中，标准端口的/readyz返回404，导致Pod无法通过就绪检查
2. 监控中断：如果部署在生产环境，可能导致监控数据缺失
3. 资源浪费：Pod不断重启，消耗集群资源

解决方案

该问题已在Helm Charts的后续版本中修复，主要修改包括：

1. 正确配置各健康检查端点的端口：

   • 就绪探针使用遥测端口检查/readyz
   • 存活探针和启动探针使用标准/metrics端口

2. 确保向后兼容性，避免类似问题再次发生

最佳实践建议

对于使用kube-state-metrics的用户，建议：

1. 版本兼容性检查：升级前仔细检查组件版本兼容性
2. 健康检查配置：确保健康检查端点与对应端口匹配
3. 测试验证：在非生产环境先验证升级效果
4. 监控告警：设置相关告警，及时发现类似问题

总结

这个问题展示了Kubernetes生态系统中组件间版本兼容性的重要性。随着各项目的发展，接口和行为可能会发生变化，这就要求依赖这些组件的上层应用(如Helm图表)需要及时跟进调整。理解各组件的健康检查机制和端口配置对于维护稳定的监控系统至关重要。