Harvester集群升级过程中节点预排空卡顿问题分析

问题背景

在Harvester集群从1.2.1版本升级到1.2.2版本的过程中，用户遇到了节点升级卡顿的问题。具体表现为第一个节点完成预排空(pre-drain)和隔离(cordon)操作后，升级流程停滞不前。这个问题在后续升级到1.4.0版本时也出现了类似情况，同时还伴随有fleet-agent相关的组件异常。

问题现象分析

升级过程中，系统会为每个节点创建预排空作业。在本次案例中，预排空作业虽然显示完成(COMPLETIONS 1/1)，但日志却显示"error: timed out waiting for the condition"，表明存在某种超时情况。

通过检查Rancher管理组件的日志，发现系统在等待kube-controller-manager和kube-scheduler探针就绪时出现等待状态。这种等待状态通常表明控制平面组件之间存在协调问题。

根本原因

经过深入分析，发现该问题与以下两个关键因素相关：

1. 证书过期问题：Harvester 1.2.1到1.2.2的升级过程中，部分Kubernetes证书可能过期，导致组件间通信异常。这与官方文档中描述的"升级卡在'Upgrading System Service'状态"问题类似。

2. 遗留存储卷问题：在升级过程中，Longhorn存储系统中有部分卷处于"attaching/detaching"循环状态。这些卷属于一个已失效的RKE2集群，该集群9个月前就已停止运行，但相关存储资源未被清理。

3. Fleet组件异常：升级完成后，fleet-agent和fleet-agent-bootstrap密钥缺失，导致Fleet系统无法正常完成代理注册流程。

解决方案与处理步骤

针对上述问题，可以采取以下解决方案：

1. 证书问题处理：

   • 参考Harvester官方文档中关于1.2.1到1.2.2升级的特别说明
   • 手动更新过期的Kubernetes证书
   • 重启相关服务使新证书生效

2. 存储卷清理：

   • 使用Longhorn UI或命令行工具检查所有存储卷状态
   • 识别并删除与已失效集群关联的孤儿卷
   • 确保所有工作负载使用的卷处于健康状态

3. Fleet组件修复：

   • 重新生成fleet-agent和fleet-agent-bootstrap密钥
   • 重启Fleet相关Pod以完成注册流程
   • 监控Fleet系统日志确认组件恢复正常

经验总结

Harvester集群升级是一个复杂的过程，涉及多个系统组件的协调。通过本次案例，我们可以总结以下经验：

1. 长期运行的集群需要特别注意证书有效期问题，建议建立定期检查机制。

2. 升级前应彻底清理不再使用的资源，特别是存储资源，避免它们干扰升级过程。

3. 对于复杂的升级路径(如1.2.1→1.2.2→1.3.1→1.3.2→1.4.0)，建议在每个中间版本都进行充分验证，确保系统状态健康后再继续后续升级。

4. 监控系统日志是诊断升级问题的关键，应建立完善的日志收集和分析机制。

通过系统性地解决这些问题，可以显著提高Harvester集群升级的成功率，确保业务系统的稳定运行。