Harvester集群升级故障排查与解决方案深度解析

问题背景

在Harvester v1.4.2升级至v1.5.0的过程中，用户遇到了节点升级停滞的问题。具体表现为3节点集群中2个节点成功升级，但第3个节点（harvester4）长期停留在"images preloaded"状态。本文将深入分析该问题的技术细节，并提供完整的解决方案。

问题诊断过程

初始状态分析

通过检查集群状态，我们发现以下异常情况：

1. Kubernetes节点与机器资源不匹配：虽然集群只有3个运行中的节点，但存在5个machines.cluster.x-k8s.io资源和4个nodes.devices.harvesterhci.io资源
2. 存在已删除节点(harvester2)的残留资源
3. 升级控制器状态显示harvester4节点卡在"Images preloaded"阶段

关键发现

1. 资源不一致问题：

   • 集群中存在已删除节点的残余Machine资源
   • 这些残留资源可能导致升级控制器状态判断错误

2. 节点升级停滞原因：

   • 节点harvester4的OS版本仍显示为v1.4.2
   • 升级流程在drain阶段出现异常，post-drain钩子未正确执行

3. 支持包分析问题：

   • 多次生成的支持包缺少关键yamls目录
   • 这可能是由于证书过期导致的收集工具功能异常

解决方案实施

第一步：清理残留资源

1. 删除无效的Machine资源：

   kubectl delete machines.cluster.x-k8s.io custom-1d1de6c3ae63 -n fleet-local
   kubectl delete machines.cluster.x-k8s.io custom-9626842a1f91 -n fleet-local
   

2. 清理已删除节点的设备资源：

   kubectl delete nodes.devices.harvesterhci.io harvester2
   

第二步：修复drain状态

1. 使用post-drain.sh脚本修复harvester4节点的drain状态：

   ./post-drain.sh harvester4
   

   该脚本会：

   • 定位节点对应的Machine资源
   • 检查当前的drain状态
   • 修复缺失的post-drain钩子状态

第三步：重置升级流程

1. 强制删除卡住的升级资源：

   kubectl patch upgrade.harvesterhci.io hvst-upgrade-zjft7 -n harvester-system \
     --type merge -p '{"metadata":{"finalizers":[]}}'
   kubectl delete upgrade.harvesterhci.io hvst-upgrade-zjft7 -n harvester-system
   

2. 重新触发升级流程

技术原理深度解析

Harvester升级机制

Harvester的升级过程分为几个关键阶段：

1. 准备阶段：

   • 检查升级镜像可用性
   • 准备系统服务更新

2. 节点升级阶段：

   • 逐个节点执行升级
   • 包含pre-drain、drain和post-drain三个子阶段

3. 完成阶段：

   • 验证所有组件版本
   • 更新集群状态

问题根因分析

本次升级失败的根本原因在于：

1. 资源状态不一致：之前删除节点时未完全清理相关资源，导致升级控制器状态判断错误

2. drain流程中断：节点harvester4的post-drain钩子未正确执行，使升级流程无法继续

3. 证书问题影响诊断：过期的证书导致支持包收集不完整，增加了问题诊断难度

最佳实践建议

1. 升级前检查：

   • 确保所有节点状态健康
   • 验证证书有效性
   • 检查资源一致性

2. 升级过程监控：

   • 实时关注每个节点的升级状态
   • 定期生成完整支持包

3. 问题处理流程：

   • 遇到升级卡顿时，首先检查drain状态
   • 使用专用工具分析升级状态
   • 必要时寻求社区支持

总结

Harvester集群升级是一个复杂的过程，涉及多个组件和状态的协调。通过本文的分析和解决方案，我们不仅解决了特定的升级卡顿问题，也深入理解了Harvester的升级机制。对于运维人员来说，掌握这些诊断和修复技术，能够有效提高集群升级的成功率，确保业务连续性。