Harvester集群升级过程中节点卡在"Images preloaded"状态的分析与解决

问题背景

在Harvester集群从1.4.0版本升级到1.4.1版本的过程中，用户遇到了最后一个节点长时间停留在"Images preloaded"状态的问题。该节点未能按预期进入"pre-drain"阶段，导致整个升级流程无法继续完成。

问题现象

升级过程中，Harvester UI显示最后一个节点状态持续为"Images preloaded"，而其他节点已完成升级。通过检查发现，虽然RKE2组件已更新到新版本，但节点升级流程未能自动推进。

根本原因分析

经过深入排查，发现问题的核心在于Rancher系统未能自动为节点添加必要的注解(annotations)，导致升级流程停滞。具体表现为：

1. 节点缺少关键的pre-drain注解
2. Rancher系统在等待kube-scheduler探针响应
3. 升级控制器因缺少必要注解而无法推进流程

解决方案

临时解决方案

对于已经出现此问题的集群，可以通过手动添加必要注解来恢复升级流程：

1. 为节点添加pre-drain注解：

kubectl annotate secret -n fleet-local <节点名称>-machine-plan \
rke.cattle.io/pre-drain='{"deleteEmptyDirData":true,"disableEviction":false,"enabled":true,"force":true,"gracePeriod":0,"ignoreDaemonSets":true,"ignoreErrors":false,"postDrainHooks":[{"annotation":"harvesterhci.io/post-hook"}],"preDrainHooks":[{"annotation":"harvesterhci.io/pre-hook"}],"skipWaitForDeleteTimeoutSeconds":0,"timeout":0}'

2. 添加pre-hook注解：

kubectl annotate secret -n fleet-local <节点名称>-machine-plan harvesterhci.io/pre-hook='{}'

3. 添加post-drain注解：

kubectl annotate secret -n fleet-local <节点名称>-machine-plan rke.cattle.io/post-drain='{}'

预防措施

为避免此问题在后续升级中再次出现，建议：

1. 在升级前检查并清理残留的post-hook和post-drain注解
2. 确保所有节点的证书状态正常
3. 监控Rancher系统组件的健康状态

技术原理

Harvester的升级流程依赖于Rancher的节点管理机制。在正常流程中：

1. 升级控制器会为每个节点创建对应的machine-plan
2. 系统自动添加必要的注解来触发各个升级阶段
3. 节点按顺序执行pre-drain、drain、post-drain等操作

当自动注解机制出现问题时，升级流程就会停滞在某个阶段。手动添加注解实际上是模拟了系统正常工作时应该自动完成的操作。

经验总结

1. 此问题可能与节点历史升级记录有关，建议在升级前检查节点状态
2. 长期运行的集群更可能出现此类问题，定期维护很重要
3. 支持包分析是诊断此类问题的有效手段

对于生产环境中的Harvester集群，建议在升级前做好完整备份，并预留足够的时间窗口以应对可能的升级问题。