使用KubeKey彻底清除并重新部署Kubernetes集群的最佳实践

问题背景

在使用KubeKey部署Kubernetes集群时，经常会遇到需要完全清除现有集群并重新部署的情况。特别是在集群因意外断电、配置错误或其他原因导致不可恢复时，用户往往希望彻底清理环境后重新开始。然而，实际操作中发现，即使执行了各种清理命令，KubeKey仍可能检测到残留配置，导致重新部署失败。

常见清理挑战

当尝试清理现有Kubernetes集群时，用户通常会执行以下操作：

1. 停止并禁用相关服务（kubelet、etcd、docker等）
2. 使用kubeadm reset重置集群
3. 卸载Kubernetes相关软件包
4. 删除配置文件和数据目录

然而，这些操作往往无法完全清理所有痕迹，导致重新部署时遇到各种问题，特别是etcd相关证书文件缺失的错误。

彻底清理Kubernetes集群的完整步骤

1. 停止并禁用服务

首先停止所有相关的Kubernetes和容器服务：

systemctl stop kubelet
systemctl disable kubelet
systemctl stop etcd
systemctl stop docker
systemctl stop containerd
systemctl disable etcd

2. 使用kubeadm重置

执行kubeadm重置命令清理Kubernetes安装：

kubeadm reset -f

3. 卸载Kubernetes组件

卸载所有Kubernetes相关的软件包：

sudo apt-mark unhold kubeadm kubectl kubelet kubernetes-cni
sudo apt-get purge kubeadm kubectl kubelet kubernetes-cni -y

4. 清理残留文件和目录

删除所有Kubernetes和etcd相关的配置文件和目录：

rm -rvf $HOME/.kube
rm -rvf ~/.kube/
rm -rvf /etc/kubernetes/
rm -rvf /etc/systemd/system/kubelet.service.d
rm -rvf /etc/systemd/system/kubelet.service
rm -rvf /usr/bin/kube*
rm -rvf /etc/cni
rm -rvf /opt/cni
rm -rvf /var/lib/etcd
rm -rvf /var/lib/kubeedge
rm -rf $(find / -name "kubeedge*")
rm -rvf /var/etcd
rm -rf /var/lib/kubelet /var/lib/docker/overlay2/* /var/lib/dpkg/info/kubelet.* /var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/*/fs/usr/local/bin/kube-* /var/lib/systemd/deb-systemd-helper-masked/kubelet.service /var/lib/systemd/deb-systemd-helper-enabled/* /usr/libexec/kubernetes /etc/systemd/system/kubelet.service /etc/systemd/system/multi-user.target.wants/kubelet.service /var/log/pods/ /var/log/containers/ /sys/fs/cgroup/

5. 清理网络配置

重置iptables规则：

sudo iptables -F && sudo iptables -X && sudo iptables -F -t nat && sudo iptables -X -t nat

6. 清理残留进程

检查并终止任何残留的Kubernetes相关进程：

ss -tulp  # 查看kube-proxy等进程的PID
kill -9 <pid>

重新部署时的常见问题解决方案

在彻底清理后重新部署集群时，可能会遇到etcd证书缺失的问题。这是因为KubeKey会检查现有的etcd配置。解决方法包括：

1. 手动创建必要的证书文件：

mkdir -p /etc/ssl/etcd/ssl/
openssl req -x509 -sha512 -nodes -days 3650 -newkey rsa:4096 -keyout custom.key -out /etc/ssl/etcd/ssl/custom.pem

2. 或者使用KubeKey的强制重置选项（如果可用）

最佳实践建议

1. 备份重要数据：在执行清理操作前，确保备份了etcd数据和重要配置文件
2. 文档记录：记录集群的原始配置，便于重新部署时参考
3. 逐步验证：清理后逐步验证环境是否干净，避免残留问题
4. 考虑容器化etcd：在新部署时考虑使用KubeKey的容器化etcd选项，减少对主机环境的依赖

通过遵循这些步骤和建议，可以确保Kubernetes集群被彻底清理，为重新部署提供一个干净的环境。记住，在生产环境中执行这些操作前，务必进行充分测试和备份。