kube-prometheus-stack 中 CPU 指标缺失问题分析与解决方案

问题背景

在使用 kube-prometheus-stack 监控 Kubernetes 集群时，用户发现 Grafana 仪表板中缺失了 Pod 的 CPU 使用率统计信息。具体表现为 node_namespace_pod_container:container_cpu_usage_seconds_total:sum_irate 指标在 Prometheus 中不可用。

环境配置

• Kubernetes 版本：1.30.6
• kube-prometheus-stack 版本：67.2.0
• 通过 ArgoCD 部署
• 使用 CRI-O 作为容器运行时

问题排查过程

初步检查

1. 确认 Prometheus 数据源：首先验证 Prometheus 是否正常运行且没有相关告警
2. 检查 ServiceMonitor：确认 kube-state-metrics 的 ServiceMonitor 配置正确，选择器与 Pod 标签匹配
3. 验证指标抓取：确认 Prometheus 确实在抓取 kube-state-metrics 的指标

深入分析

通过进一步检查发现：

1. Kubernetes 版本相关性：问题出现在升级到 Kubernetes 1.30 之后
2. 容器运行时因素：使用 CRI-O 作为容器运行时
3. cgroup 驱动问题：Kubernetes 1.30 和 1.31 版本中，使用 cgroupfs 驱动的 kubelet 指标存在问题

根本原因

问题的根本原因在于：

Kubernetes 1.30 和 1.31 版本中，当使用 CRI-O 作为容器运行时并配置 cgroupfs 驱动时，kubelet 的 cgroup 相关指标（特别是 CPU 使用率指标）会出现异常，导致 Prometheus 无法正确收集这些指标数据。

解决方案

推荐解决方案

1. 升级 Kubernetes 版本：将集群升级到 Kubernetes 1.32 或更高版本，这些版本已经修复了相关问题
2. 验证指标恢复：升级后，确认 node_namespace_pod_container:container_cpu_usage_seconds_total:sum_irate 指标已恢复正常

替代方案（不推荐）

如果暂时无法升级 Kubernetes 版本，可以考虑：

1. 切换 cgroup 驱动：将 kubelet 的 cgroup 驱动从 cgroupfs 切换到 systemd
2. 手动修复指标：通过自定义指标收集方式绕过问题（复杂且不推荐）

最佳实践建议

1. 版本兼容性检查：在升级 Kubernetes 前，检查监控组件的兼容性
2. 监控系统健康检查：升级后立即验证核心监控指标是否正常
3. 使用稳定版本：生产环境推荐使用经过充分测试的稳定版本组合

总结

kube-prometheus-stack 中 CPU 指标缺失问题主要是由 Kubernetes 1.30-1.31 版本中 CRI-O 运行时与 cgroupfs 驱动的兼容性问题引起的。通过升级到 Kubernetes 1.32 或更高版本可以彻底解决此问题。这提醒我们在进行 Kubernetes 版本升级时，需要全面考虑各组件间的兼容性，特别是监控系统这类关键基础设施组件。