Kubespray 节点清理问题：静态 Pod 和 DaemonSet Pod 残留分析

问题背景

在使用 Kubespray 管理 Kubernetes 集群时，remove-node.yml 剧本用于从集群中移除节点。然而，用户发现该剧本执行后，节点上会残留静态 Pod 和 DaemonSet Pod 的容器，导致节点无法干净地重新加入集群。

问题现象

当用户执行以下操作序列时会出现问题：

1. 使用 cluster.yml 安装包含 nginx-proxy 的集群
2. 使用 remove-node.yml 移除一个工作节点
3. 尝试使用 scale.yml 将同一节点重新加入集群

此时，节点上残留的容器会导致端口冲突（如 Nginx 的端口已被占用），用户需要手动 SSH 到节点上终止 containerd-shim-v2 进程才能解决问题。

技术分析

预期行为

理想情况下，remove-node.yml 应该将节点恢复到初始安装前的状态，类似于 reset.yml 的效果，包括：

• 清理所有 Kubernetes 相关组件
• 停止并移除所有容器
• 删除相关配置和存储

实际行为

当前实现中，剧本未能正确处理以下两类 Pod 的清理：

1. 静态 Pod：由 kubelet 直接管理的 Pod，通常存放在 /etc/kubernetes/manifests 目录下
2. DaemonSet Pod：在集群每个节点上运行的 Pod，如网络插件、日志收集器等

这些残留的容器会导致节点重新加入集群时出现资源冲突。

解决方案

临时解决方案

遇到此问题时，可以手动执行以下步骤：

1. SSH 到问题节点
2. 使用 crictl 或 ctr 命令列出并停止所有容器
3. 检查并清理 /etc/kubernetes/manifests 目录
4. 确保所有 kubelet 和容器运行时进程已停止

长期解决方案

Kubespray 社区已经针对此问题提出了修复方案，主要改进包括：

1. 在节点移除流程中强制停止所有容器
2. 确保清理静态 Pod 的清单文件
3. 添加对 DaemonSet Pod 的显式处理逻辑

这些修复将确保节点能够完全清理，为重新加入集群做好准备。

最佳实践建议

1. 节点移除前检查：在执行移除操作前，检查节点上运行的 Pod 状态
2. 清理验证：移除后验证节点状态，确保没有残留进程或容器
3. 版本升级：关注 Kubespray 新版本，及时获取修复更新
4. 自动化测试：在 CI/CD 流程中加入节点移除和重新加入的测试用例

总结

Kubespray 的节点移除功能在处理静态 Pod 和 DaemonSet Pod 时存在清理不彻底的问题，这可能导致节点无法干净地重新加入集群。通过理解问题本质和解决方案，用户可以更好地管理 Kubernetes 集群生命周期，避免因资源残留导致的操作问题。

对于生产环境，建议在应用修复版本前，建立完善的节点移除和重新加入的验证流程，确保集群操作的可靠性和一致性。