Kubernetes kOps 1.30版本节点健康检测问题分析

在Kubernetes集群管理工具kOps的最新1.30版本中，用户报告了一个关于节点健康检测的显著问题。当使用kOps 1.30.0版本部署集群并启用nodeProblemDetector时，所有节点都会持续显示警告事件，尽管集群本身运行正常。

问题现象

部署完成后，通过kubectl describe node命令查看任何节点（包括控制平面节点和工作节点）时，都会观察到以下警告事件：

1. InvalidDiskCapacity：显示"invalid capacity 0 on image filesystem"
2. ContainerdStart：显示"Starting containerd container runtime..."
3. ContainerdUnhealthy：显示节点条件ContainerRuntimeUnhealthy变为True
4. KubeletUnhealthy：显示节点条件KubeletUnhealthy变为True

这些警告事件不会随时间自动清除，持续存在于节点状态中。

根本原因分析

深入调查发现问题源于node-problem-detector组件的配置变更。在kOps 1.30版本中，新增了对containerd和kubelet健康状态的检查，但这些检查存在以下实现问题：

1. 路径问题：node-problem-detector容器内缺少必要的可执行文件路径

   • 无法找到crictl工具（容器运行时接口命令行工具）
   • 无法找到systemctl命令（系统服务管理工具）

2. 文件系统访问问题：无法正确获取镜像文件系统的容量信息

3. 套接字访问问题：默认配置下无法访问containerd的Unix域套接字

临时解决方案

对于急需解决问题的用户，目前有以下两种临时解决方案：

1. 完全禁用新增的健康检查 通过修改node-problem-detector的DaemonSet配置，移除对containerd和kubelet的健康检查：

args:
  - --config.custom-plugin-monitor=/config/kernel-monitor-counter.json,/config/systemd-monitor-counter.json

2. 提供必要的路径挂载 通过挂载主机上的相关路径到node-problem-detector容器中：

volumeMounts:
- mountPath: /usr/bin/crictl
  name: crictl
  readOnly: true
- mountPath: /usr/bin/systemctl
  name: systemctl
  readOnly: true
- mountPath: /var/run/containerd/containerd.sock
  name: containerd-sock

长期解决方案展望

kOps维护团队已经确认这个问题，并计划在后续版本中提供官方修复。可能的修复方向包括：

1. 确保node-problem-detector容器包含所有必要的工具
2. 正确配置容器内的路径和环境变量
3. 提供适当的文件系统访问权限
4. 优化健康检查的默认参数和阈值

影响评估

这个问题主要影响集群监控和告警系统，因为：

• 持续的警告事件可能导致误报
• 自动化系统可能错误地认为节点不健康
• 增加了运维人员排查真实问题的难度

但值得注意的是，这些警告事件并不影响集群的实际运行功能，所有工作负载仍能正常调度和执行。

最佳实践建议

在官方修复发布前，建议用户：

1. 评估是否真正需要containerd和kubelet的健康检查
2. 如果不需要，采用第一种临时方案完全禁用
3. 如果需要，采用第二种方案并提供完整的环境配置
4. 密切跟进kOps的版本更新，及时应用官方修复

这个问题预计将在kOps 1.30.2或1.31.0版本中得到彻底解决，届时用户可以通过常规升级流程获得修复。