kube-vip BGP模式下VIP地址自动删除问题分析与解决方案

问题背景

kube-vip是一个用于Kubernetes集群的负载均衡解决方案，支持ARP和BGP两种模式。在BGP模式下，用户报告了一个异常现象：当创建LoadBalancer类型的服务后，kube-vip会分配一个VIP地址，但在服务UID注册完成后，该VIP地址会被意外删除。

问题现象

用户在使用kube-vip 0.8.9版本时观察到以下行为：

1. 创建LoadBalancer服务后，kube-vip成功分配VIP地址
2. 服务UID注册完成后，日志显示VIP地址被删除
3. 检查所有工作节点，确认VIP地址并未实际分配
4. 删除并重建kube-vip Pod后，VIP地址才被正确分配并可访问

日志中关键信息显示：

已添加VIP [192.168.6.1] 通过 enp5s0 为 [kube-system/nginx-ingress-controller]
保存服务实例0 UID: 0bc0869b-4e21-4151-81c7-0d7b97be45a0
删除BGP主机: 192.168.6.1/24, 服务: kube-system/nginx-ingress-controller

深入分析

根本原因

经过开发团队和用户的深入排查，发现问题主要由以下因素导致：

1. 端点检查机制：kube-vip在BGP模式下会检查服务的端点(Endpoints)状态。如果服务没有可用的端点，kube-vip会认为服务不可用，从而删除BGP通告。

2. 服务配置不完整：用户最初的服务配置缺少关键参数，特别是externalTrafficPolicy: Cluster和ipFamilyPolicy: SingleStack，这导致端点无法正确关联。

3. 日志级别问题：在0.8.10版本中，日志框架更换为slog，默认日志级别设置不同，导致调试信息不完整，增加了问题排查难度。

版本差异

• 0.8.9版本：日志详细，能清晰看到VIP添加和删除的过程，但存在VIP删除问题
• 0.8.10版本：日志简化，默认不显示调试信息，但核心功能相同
• 修复版本：开发团队提供的测试镜像解决了核心问题

解决方案

配置修正

确保服务配置包含必要的参数：

apiVersion: v1
kind: Service
metadata:
  name: ingress-nginx-controller
  namespace: kube-system
spec:
  type: LoadBalancer
  externalTrafficPolicy: Cluster
  ipFamilyPolicy: SingleStack
  selector:
    app.kubernetes.io/name: rke2-ingress-nginx
  ports:
    - name: http
      protocol: TCP
      port: 80
      targetPort: 80
    - name: https
      protocol: TCP
      port: 443
      targetPort: 443

日志调整

在0.8.10及以上版本，如需详细日志，需设置：

env:
  vip_loglevel: -4  # 对应slog的Debug级别

版本选择

建议使用修复后的版本，如开发团队提供的测试镜像或等待官方发布包含修复的正式版本。

最佳实践

1. 服务验证：部署服务后，使用kubectl get endpoints <service-name>确认端点是否正常
2. 日志监控：关注kube-vip日志中的端点数量信息，如：

   端点=3 "最后端点"=10.42.136.34 "活跃选举"=true
   

3. 渐进式部署：先部署简单测试服务验证VIP功能，再部署生产服务
4. 配置检查清单：
   • 确认服务选择器(selector)匹配Pod标签
   • 确保必要的流量策略参数已设置
   • 验证端口映射正确性

总结

kube-vip在BGP模式下的VIP自动删除问题通常与服务端点状态和配置完整性相关。通过正确配置服务参数、监控端点状态以及合理设置日志级别，可以有效解决这类问题。开发团队已意识到该问题并在后续版本中进行了改进，用户可根据实际需求选择合适的版本和配置方案。

对于生产环境，建议在部署前充分测试VIP功能，并建立完善的监控机制，确保负载均衡服务的稳定性和可靠性。