Kube-Router中LoadBalancer服务导致API服务器不可达问题分析

问题背景

在Kubernetes网络插件Kube-Router的使用过程中，用户报告了一个严重问题：当创建类型为LoadBalancer的服务后，Kubernetes API服务器会变得不可达。这个问题在IPv6环境下尤为突出，影响了集群的正常运维操作。

问题现象

用户在使用Kube-Router v2.1.2版本时发现，执行以下操作后API服务器无法访问：

1. 创建一个LoadBalancer类型的服务
2. 尝试访问API服务器端点或ping API服务器IP地址

通过检查系统状态，发现API服务器的IP地址被错误地添加到了inet6:kube-router-svip这个ipset集合中，导致所有发往API服务器的流量被iptables规则错误地拦截。

技术分析

IPVS服务管理机制

Kube-Router使用IPVS来实现Kubernetes服务负载均衡。在内部实现中，它会维护几个关键的ipset集合：

1. kube-router-svip：存储所有服务VIP地址
2. kube-router-svip-prt：存储服务VIP和端口组合
3. kube-router-local-ips：存储本地IP地址

正常情况下，API服务器的IP地址不应该出现在kube-router-svip集合中，因为这不是一个服务VIP。然而在问题场景下，这个IP被错误地加入了集合。

流量拦截机制

Kube-Router设置了以下iptables规则链来处理服务流量：

Chain KUBE-ROUTER-SERVICES (1 references)
target     prot opt source               destination         
ACCEPT     ipv6-icmp --  anywhere             anywhere             /* allow icmp echo requests to service IPs */
ACCEPT     ipv6-icmp --  anywhere             anywhere             /* allow icmp ttl exceeded messages to service IPs */
ACCEPT     ipv6-icmp --  anywhere             anywhere             /* allow icmp destination unreachable messages to service IPs */
ACCEPT     all  --  anywhere             anywhere             /* allow input traffic to ipvs services */ match-set inet6:kube-router-svip-prt dst,dst
REJECT     all  --  anywhere             anywhere             /* reject all unexpected traffic to service IPs */ ! match-set inet6:kube-router-local-ips dst reject-with icmp6-port-unreachable

当API服务器IP被错误加入kube-router-svip后，流量会进入这个规则链。由于该IP不在kube-router-local-ips集合中，最终会被REJECT规则拒绝。

根本原因

经过深入分析，发现问题出在Kube-Router构建ipset集合的逻辑上。代码中会遍历所有IPVS服务来构建kube-router-svip集合，但没有正确过滤掉非Kubernetes服务创建的IPVS条目。在某些情况下，这会导致节点IP被错误包含。

解决方案

该问题已在后续版本中通过以下改进得到修复：

1. 严格区分Kubernetes服务创建的IPVS条目和系统其他部分创建的条目
2. 在构建ipset集合时增加更严格的过滤条件
3. 确保节点IP不会被误认为服务VIP

用户可以通过升级到包含修复的版本来解决此问题。测试表明，修复后的版本不再出现API服务器不可达的情况。

最佳实践建议

对于使用Kube-Router的用户，特别是IPv6环境下的用户，建议：

1. 定期检查ipset list和ipvsadm -L -n输出，确保没有异常条目
2. 监控API服务器的可访问性，特别是在创建LoadBalancer服务后
3. 考虑使用较新版本的Kube-Router，其中包含了对这类问题的修复
4. 在生产环境部署前，充分测试网络组件的兼容性

总结

Kube-Router作为Kubernetes网络解决方案，在大多数场景下工作良好，但在特定配置下可能会出现边缘情况。本次分析的LoadBalancer服务导致API服务器不可达问题，展示了网络组件实现细节对集群稳定性的重要影响。通过理解底层机制和及时应用修复，可以确保生产环境的稳定运行。