Harvester升级过程中Longhorn实例管理器阻塞问题分析

问题现象

在Harvester从v1.4.0升级到v1.4.1-rc1版本的过程中，系统升级流程会在"Pre-drained"阶段停滞，同时节点会保持"Cordoned"状态无法继续升级。监控界面显示多个核心组件如rke2-canal、rke2-coredns和rke2-multus处于CrashLoopBackOff状态。

根本原因分析

经过深入排查，发现问题的核心在于Longhorn实例管理器(Instance Manager)的状态异常。具体表现为：

1. 实例管理器记录显示存在一个引擎实例(pvc-9ae0e9a5-a630-4f0c-98cc-b14893c74f9e-e-0)处于运行状态
2. 但实际上该引擎实例已经停止运行
3. 这种状态不一致导致PodDisruptionBudget(PDB)无法被移除
4. PDB的阻塞使得节点无法完成排水(drain)操作

技术背景

在Kubernetes集群升级过程中，节点排水是一个关键步骤。Harvester通过Longhorn提供的持久化存储能力，在排水时需要确保数据卷的安全迁移。Longhorn使用实例管理器来管理引擎和副本进程，并通过PDB来保证高可用性。

当实例管理器错误地报告引擎状态时，会导致系统错误判断数据卷仍在使用中，从而阻止节点排水操作。

解决方案

临时解决方案（适用于v1.4.x版本）：

1. 手动检查并确认所有Longhorn卷的实际状态
2. 将受影响节点上的所有副本迁移到其他节点
3. 删除阻塞的PDB资源
4. 升级流程将自动继续

长期解决方案： Harvester团队将在v1.6.0版本中通过集成Longhorn 1.9版本来彻底解决此问题。新版本改进了实例管理器的状态管理机制，能够更准确地反映实际运行状态。

影响范围

该问题影响以下升级路径：

• v1.4.0 → v1.4.1
• v1.4.1 → v1.4.2
• v1.4.2 → v1.4.3

最佳实践建议

1. 在执行升级前，建议先检查所有Longhorn卷的状态
2. 确保集群有足够的容量来容纳副本迁移
3. 监控升级过程中的节点排水状态
4. 准备好执行手动干预的方案

总结

Harvester升级过程中的这个阻塞问题展示了分布式存储系统在集群运维中的复杂性。通过理解Longhorn实例管理器的工作原理和Kubernetes PDB机制，管理员可以更好地诊断和解决类似问题。虽然临时解决方案有效，但建议用户规划升级到v1.6.0以获得更稳定的存储管理体验。