Awesome Prometheus Alerts：Kubernetes节点状态监控最佳实践

在Kubernetes集群运维中，节点状态监控是确保应用高可用的关键环节。本文将深入探讨如何通过Prometheus监控Kubernetes节点的就绪(Ready)和可调度(Schedulable)状态，这是每个K8s管理员都应该掌握的核心监控能力。

节点就绪状态监控

Kubernetes节点的就绪状态(Ready)反映了节点是否健康并能接收工作负载。当节点出现问题时（如kubelet故障、网络问题或资源耗尽），节点状态会变为NotReady。

在Prometheus中，我们可以使用以下指标表达式来监控节点就绪状态：

kube_node_status_condition{condition="Ready", status="true"} == 0

这个表达式会返回所有状态不为"Ready"的节点。当节点变为NotReady时，意味着该节点上的Pod将无法正常工作，需要立即介入处理。

节点调度状态监控

另一个关键指标是节点的可调度状态。Kubernetes管理员有时会手动标记节点为不可调度(SchedulingDisabled)，通常用于维护或升级操作。这通过给节点添加node.kubernetes.io/unschedulable污点实现。

监控表达式如下：

kube_node_spec_taint{key="node.kubernetes.io/unschedulable"} == 1

需要注意的是，节点被标记为不可调度在某些情况下是正常操作（如维护期间），因此建议为这类告警设置较长的触发延迟（如15分钟），以避免在正常维护操作时产生告警噪音。

监控策略建议

1. 告警分级：NotReady状态应立即告警，而SchedulingDisabled可设为较低优先级
2. 持续时间：为SchedulingDisabled设置15分钟以上的触发延迟
3. 告警消息：应包含节点名称、不可用原因（如能获取）和影响评估
4. 自动化处理：考虑与自动化运维工具集成，对已知维护操作自动抑制告警

实现价值

通过实施这些监控规则，运维团队可以：

• 及时发现节点故障，减少服务中断时间
• 掌握集群维护状态，避免意外调度问题
• 建立更完善的Kubernetes集群健康度评估体系
• 为容量规划和资源优化提供数据支持

良好的节点状态监控是Kubernetes集群稳定运行的基石，也是每个云原生运维团队的基础能力要求。