Harvester升级后Rancher Pod处于Pending状态问题分析

问题现象

在将Harvester从1.3.2版本升级到1.4.0版本后，系统管理员发现Rancher相关的Pod一直处于Pending状态。具体表现为：

• 多个Rancher Pod无法正常启动
• 系统日志显示调度失败，提示节点不满足Pod反亲和性规则
• 升级过程中出现了多个ReplicaSet共存的情况

根本原因分析

经过深入排查，发现该问题主要由以下几个因素共同导致：

1. 节点资源限制：在2个物理节点+1个witness节点的环境中，witness节点仅用于运行etcd工作负载，不参与常规Pod调度。

2. Pod反亲和性规则：Rancher部署配置了严格的反亲和性规则，防止多个Rancher实例运行在同一节点上。

3. 升级过程中的ReplicaSet残留：升级过程中旧的ReplicaSet未能及时清理干净，导致新旧版本Pod竞争调度资源。

4. 节点污点限制：etcd节点带有特殊污点，常规Pod无法调度到这些节点。

技术细节解析

在Kubernetes调度机制中，Pod的调度需要满足多个条件：

1. 资源可用性：节点需要有足够的CPU、内存等资源
2. 亲和性/反亲和性规则：Pod的调度策略限制
3. 污点和容忍度：节点特殊标记与Pod容忍度匹配
4. 节点选择器：特定标签匹配要求

在本案例中，Rancher Pod的Pending状态主要是由于反亲和性规则和节点污点的双重限制导致。具体表现为：

• 两个物理节点已经各运行一个Rancher Pod
• witness节点因etcd污点无法调度常规Pod
• 第三个Rancher Pod因反亲和性规则无法调度到已有Rancher Pod的节点

解决方案与建议

对于遇到类似问题的管理员，可以采取以下解决方案：

1. 调整副本数：对于小型集群，将Rancher副本数调整为与可用工作节点数匹配

   kubectl scale replicaset -n cattle-system rancher-xxxx --replicas=2
   

2. 清理残留ReplicaSet：确保升级过程中旧的ReplicaSet被完全清理

   kubectl -n cattle-system delete rs rancher-old-replicaset
   

3. 临时调整反亲和性规则：在升级关键期可适当放宽反亲和性要求

4. 监控升级过程：密切关注升级日志和Pod状态，及时发现并处理问题

最佳实践建议

1. 升级前准备：

   • 确保有完整的备份
   • 检查集群资源使用情况
   • 预留足够的维护时间窗口

2. 升级过程监控：

   • 实时关注Pod调度状态
   • 检查各组件健康状态
   • 保留详细的升级日志

3. 升级后验证：

   • 验证所有核心功能
   • 检查系统稳定性
   • 确认资源使用情况

总结

Harvester集群升级过程中Rancher组件调度问题是一个典型的Kubernetes资源调度场景，理解其中的调度规则和限制条件对于集群管理员至关重要。通过合理配置副本数、及时清理残留资源以及适当调整调度策略，可以有效避免类似问题的发生，确保升级过程顺利完成。