Kube-VIP 在 Kubernetes 集群初始化中的 VIP 配置问题解析

问题背景

在 Kubernetes 高可用集群部署过程中，Kube-VIP 是一个常用的虚拟 IP (VIP) 管理工具，它能够为控制平面提供稳定的访问端点。然而，在 AlmaLinux 9.4 系统上使用 Kube-VIP 时，用户可能会遇到 VIP 无法正常启动的问题，特别是在使用 kubeadm init 命令初始化集群时。

问题现象

当用户按照标准流程执行以下操作时：

1. 安装 Kubernetes 组件 (kubelet, kubeadm, kubectl)
2. 加载必要的内核模块
3. 配置系统参数
4. 安装容器运行时 (containerd)
5. 执行 kubeadm init 命令并指定 --control-plane-endpoint 参数

集群初始化过程会在 4 分钟后超时，API 端点无法正常启动，VIP 也不会被分配到指定网络接口。检查 Kube-VIP 日志会发现如下错误信息：

E0729 20:50:53.441091       1 leaderelection.go:330] error retrieving resource lock kube-system/plndr-cp-lock: leases.coordination.k8s.io "plndr-cp-lock" is forbidden: User "kubernetes-admin" cannot get resource "leases" in API group "coordination.k8s.io" in the namespace "kube-system"

问题根源分析

这个问题源于 Kube-VIP 在集群初始化阶段的权限问题。具体来说：

1. 权限时机问题：在集群初始化过程中，Kube-VIP 需要访问 Kubernetes API 来创建和管理 leader election 锁，但此时集群的 RBAC 权限系统尚未完全初始化。

2. 配置文件路径：Kube-VIP 默认使用 /etc/kubernetes/admin.conf 作为 kubeconfig 文件，但在集群初始化早期阶段，这个文件可能还不包含足够的权限。

3. 依赖关系：Kube-VIP 需要在集群完全初始化之前启动，但又依赖于集群的某些功能，形成了循环依赖。

解决方案

经过社区验证，可以通过以下步骤解决这个问题：

1. 修改 Kube-VIP 配置文件：在集群初始化前，将 Kube-VIP 使用的 kubeconfig 文件路径临时更改为 /etc/kubernetes/super-admin.conf。

2. 执行集群初始化：运行 kubeadm init 命令。

3. 恢复配置文件：集群初始化完成后，将 kubeconfig 文件路径改回原来的 /etc/kubernetes/admin.conf。

对于使用 Ansible 进行自动化部署的用户，可以采用以下配置：

- name: 临时修改 Kube-VIP 配置文件
  lineinfile:
    regexp: "path: /etc/kubernetes/admin.conf"
    line: "      path: /etc/kubernetes/super-admin.conf"
    path: /etc/kubernetes/manifests/kube-vip.yaml
  notify: 恢复 Kube-VIP 配置文件

- name: 恢复 Kube-VIP 配置文件
  lineinfile:
    regexp: "path: /etc/kubernetes/super-admin.conf"
    line: "      path: /etc/kubernetes/admin.conf"
    path: /etc/kubernetes/manifests/kube-vip.yaml

技术原理

这个解决方案之所以有效，是因为：

1. 权限分离：super-admin.conf 在集群初始化早期阶段具有更高的权限，能够满足 Kube-VIP 的权限需求。

2. 时序问题解决：通过临时使用更高权限的配置文件，确保 Kube-VIP 能够在集群完全初始化前正常工作。

3. 安全性：在集群初始化完成后恢复为标准配置文件，保持最小权限原则。

最佳实践建议

1. 环境检查：在部署前确保所有必要的内核模块已加载，系统参数已正确配置。

2. 版本兼容性：使用经过验证的 Kube-VIP 和 Kubernetes 版本组合。

3. 自动化部署：对于生产环境，建议使用自动化工具如 Ansible 来确保配置的一致性和正确性。

4. 日志监控：部署后检查 Kube-VIP 日志，确认 VIP 已正确分配且 leader election 机制正常工作。

通过理解这个问题及其解决方案，运维人员可以更顺利地部署高可用的 Kubernetes 集群，确保控制平面的稳定性和可靠性。