Harvester升级过程中节点预排空卡顿问题分析与解决

问题背景

在Harvester集群从1.2.1版本升级到1.2.2版本的过程中，用户遇到了一个典型的升级卡顿问题。具体表现为：当系统开始升级流程并完成第一个节点的预排空（pre-drain）和隔离（cordon）操作后，升级进程便停滞不前，无法继续后续操作。

问题现象分析

从日志和用户报告来看，升级过程在完成以下操作后停止：

1. 成功创建并执行了预排空作业（pre-drain job）
2. 节点被正确隔离
3. 但后续升级步骤未能自动触发

检查相关作业日志显示："error: timed out waiting for the condition"，表明系统在等待某个条件满足时超时。进一步分析发现Rancher管理器正在与第一个节点进行协调，等待kube-controller-manager和kube-scheduler探针就绪。

根本原因

经过深入排查，发现此问题与以下因素相关：

1. 证书问题：系统证书可能已过期或配置不当，导致组件间通信受阻
2. 长期运行集群状态：该集群已运行较长时间（超过一年），可能积累了某些状态问题
3. 遗留资源影响：存在旧的RKE2虚拟机使用的Longhorn卷未被清理，导致卷状态在"attaching"和"detaching"间循环

解决方案与处理步骤

针对此升级卡顿问题，可采取以下解决措施：

1. 证书修复：

   • 检查并更新过期的系统证书
   • 确保所有组件都能正确验证彼此的身份

2. Longhorn卷清理：

   • 识别并删除不再使用的遗留卷
   • 检查所有卷的挂载状态，确保没有冲突

3. 手动干预升级流程：

   • 在确认节点状态后，可尝试手动重启节点以继续升级
   • 监控升级日志，定位具体卡住的环节

4. Fleet代理问题修复：

   • 对于后续出现的fleet-agent缺失问题，需要重建相关secret
   • 确保fleet系统组件能够正常注册和运行

经验总结

1. 在进行Harvester大版本升级前，建议：

   • 全面检查集群健康状况
   • 清理不再使用的资源
   • 备份关键数据和配置

2. 对于长期运行的集群，升级时需特别注意：

   • 证书有效期
   • 系统组件的兼容性
   • 资源状态的累积影响

3. 监控和日志分析是关键，应：

   • 实时关注升级进度
   • 及时收集和分析日志
   • 准备好回滚方案

后续建议

虽然用户最终成功升级到了1.4.0版本，但建议：

1. 建立定期维护机制，包括：

   • 证书轮换计划
   • 资源清理流程
   • 系统健康检查

2. 对于生产环境，考虑：

   • 分阶段升级策略
   • 充分的测试验证
   • 专业的技术支持

通过系统性地解决这些问题，可以显著提高Harvester集群升级的成功率和稳定性，确保业务连续性。