RKE集群节点异常删除后的恢复实践

问题背景

在使用Rancher Kubernetes Engine(RKE)管理Kubernetes集群时，一个常见的运维场景是需要对集群节点进行维护或替换。然而，当管理员直接使用kubectl delete node命令删除节点而未遵循Rancher推荐的操作流程时，可能会导致集群状态异常。

问题现象

在本次案例中，管理员意外通过kubectl命令删除了一个控制平面节点，随后重新创建了虚拟机节点。这一操作导致Rancher系统在尝试清理已删除节点时出现故障，具体表现为：

1. 集群处于降级状态
2. Rancher持续尝试清理已删除节点但失败
3. 新节点无法正常注册加入集群
4. 集群扩容操作受阻

从日志中可以观察到，Rancher尝试建立与已删除节点的SSH隧道失败，并报错"nodes.management.cattle.io not found"，表明系统内部状态与实际情况不一致。

问题分析

这种问题的根本原因在于Rancher内部状态管理与实际Kubernetes集群状态不同步。当直接使用kubectl删除节点时：

1. Kubernetes API Server中的节点资源被删除
2. 但Rancher管理系统中的相关状态未同步清理
3. Rancher仍尝试管理已不存在的节点
4. 导致后续操作陷入异常状态

解决方案

经过多次尝试，最终通过以下步骤成功恢复集群健康状态：

1. 通过Rancher UI删除等待注册的节点：首先在Rancher界面中删除处于"Waiting to register with Kubernetes"状态的节点记录。

2. 手动清理节点：登录到物理/虚拟节点执行以下清理操作：

   • 停止所有Kubernetes相关服务
   • 清理/var/lib/kubelet等Kubernetes工作目录
   • 删除Docker容器和镜像（如使用Docker作为容器运行时）
   • 重启节点确保环境干净

3. 重新执行注册命令：在清理完成后，再次执行节点注册命令。

4. 等待集群恢复：整个过程可能需要较长时间（约60分钟），期间Rancher会逐步重建必要的集群状态。

经验总结

1. 遵循官方操作流程：对于RKE集群节点的维护操作，应优先使用Rancher提供的管理界面或工具，避免直接操作Kubernetes API。

2. 状态一致性至关重要：Kubernetes集群管理工具通常维护自己的状态机，直接绕过工具操作可能导致状态不一致。

3. 耐心等待自愈：分布式系统具有复杂的协调机制，某些恢复操作可能需要较长时间才能完成。

4. 预防胜于治疗：建立规范的节点维护流程，包括备份、预检查等步骤，可以避免此类问题发生。

最佳实践建议

对于生产环境中的RKE集群节点维护，建议采用以下流程：

1. 通过Rancher UI将节点标记为不可调度(drain)
2. 等待工作负载迁移完成
3. 使用Rancher提供的节点删除功能
4. 确认节点完全删除后再重建
5. 如需手动操作，确保同时清理Rancher管理系统中的相关状态

通过遵循这些实践，可以最大限度地减少集群状态异常的风险，确保业务连续性。