Kubespray集群升级中kubeadm健康检查失败问题分析

问题背景

在使用Kubespray进行Kubernetes集群升级时，特别是从1.30.8版本升级到1.31.4版本的过程中，部分用户遇到了控制平面节点升级失败的问题。该问题表现为kubeadm的升级健康检查(upgrade-health-check)作业在15秒内未能完成，导致升级过程中断。

问题现象

升级过程中，第一个控制平面节点通常能够成功升级，但当升级第二个控制平面节点时，会出现以下错误信息：

[upgrade/health] FATAL: [preflight] Some fatal errors occurred:
[ERROR CreateJob]: Job "upgrade-health-check-rcfkg" in the namespace "kube-system" did not complete in 15s: no condition of type Complete

问题根因分析

经过深入分析，发现该问题与kube-controller-manager的版本状态有直接关联：

1. 当kube-controller-manager运行的是升级前版本(v1.30.8)时，健康检查作业能够正常完成
2. 当kube-controller-manager已经升级到新版本(v1.31.4)时，健康检查作业就会失败

进一步研究发现，问题的本质在于Kubespray在升级其他控制平面节点时使用了不正确的命令。根据Kubernetes官方文档，对于非第一个控制平面节点的升级，应该使用kubeadm upgrade node命令而非kubeadm upgrade apply命令。

解决方案

Kubespray项目团队已经通过PR #12015修复了这个问题。修复的核心内容包括：

1. 修改了控制平面升级逻辑，确保对非第一个控制平面节点使用正确的kubeadm upgrade node命令
2. 移除了不必要的健康检查环节，因为这些检查在后续节点升级中不是必需的
3. 优化了升级流程的顺序和依赖关系

技术建议

对于遇到类似问题的用户，可以采取以下临时解决方案：

1. 在升级配置中添加--ignore-preflight-errors=CreateJob参数跳过健康检查
2. 手动执行kubeadm upgrade node命令来完成后续控制平面节点的升级
3. 确保升级过程中kube-controller-manager的版本状态一致性

总结

Kubernetes集群升级是一个复杂的过程，特别是在多控制平面节点的环境中。Kubespray作为自动化部署工具，需要精确处理各种升级场景和边缘情况。这次问题的修复不仅解决了健康检查失败的问题，也使Kubespray的升级逻辑更加符合Kubernetes官方的推荐实践。

对于生产环境用户，建议在升级前充分测试，并关注Kubespray项目的最新更新，以确保获得最稳定可靠的升级体验。