Harvester项目中RKE2集群使用SLES15镜像创建DHCP负载均衡器的问题解析

问题现象

在Harvester环境中，当用户使用SLES15-SP6-minimal镜像创建RKE2 v1.30.9集群时，尝试创建DHCP类型的负载均衡器服务会出现服务一直处于Pending状态的问题。通过查看服务事件日志，可以发现如下错误信息：

Error syncing load balancer: failed to ensure load balancer: update load balancer IP of service default/lb-dhcp failed, error: Operation cannot be fulfilled on services "lb-dhcp": the object has been modified; please apply your changes to the latest version and try again

根本原因分析

经过深入调查，发现该问题主要由以下几个技术因素导致：

1. 内核模块缺失：SLES15-SP6-minimal镜像默认未安装macvlan内核模块，而kube-vip组件依赖此模块来实现DHCP功能。

2. 资源竞争问题：在负载均衡器创建过程中，多个组件(k8s控制器、kube-vip和harvester-load-balancer)会同时修改服务对象，导致版本冲突。

3. 重试机制不足：当前cloud-provider-harvester的实现中，当遇到"object has been modified"错误时，缺乏有效的重试机制。

解决方案

要解决此问题，需要执行以下步骤：

1. 安装内核模块：

   • 登录RKE2集群VM
   • 执行命令更新软件源并安装内核包：

     zypper refresh
     zypper install -y kernel-default
     

2. 重启相关组件：

   • 删除kube-vip和harvester-cloud-provider的Pod，使其自动重建：

     kubectl delete pod kube-vip-7l7rn -n kube-system
     kubectl delete pod harvester-cloud-provider-67597d7f9b-947qh -n kube-system
     

3. 重启节点：

   • 重启RKE2集群VM，确保新安装的内核模块生效。

4. 验证功能：

   • 等待集群恢复Active状态后，再次创建负载均衡器服务，此时应能正常工作。

技术背景

在Harvester环境中，负载均衡器的创建涉及多个组件的协作：

1. kube-vip：负责为服务分配IP地址(DHCP模式)
2. cloud-provider-harvester：Harvester提供的云控制器，负责与底层基础设施交互
3. k8s服务控制器：Kubernetes原生的服务管理组件

当使用SLES15-SP6-minimal镜像时，由于缺少必要的macvlan内核模块，kube-vip无法正常完成DHCP地址分配，导致整个流程中断。安装完整内核包后，系统将具备所需的所有网络功能模块。

最佳实践建议

1. 对于生产环境，建议使用预装完整内核的镜像，如SLE Micro6。
2. 如果必须使用SLES15-SP6-minimal镜像，应在集群初始化完成后立即安装kernel-default包。
3. 在创建重要服务前，先验证节点是否具备所有必要的内核模块。

通过以上措施，可以确保Harvester环境中的RKE2集群能够正常使用DHCP类型的负载均衡器功能。