MetalLB 在局域网中无法访问问题的分析与解决

MetalLB 是一个用于裸机 Kubernetes 集群的负载均衡器实现，它通过 ARP 或 BGP 协议将外部 IP 地址分配给服务。在实际部署中，用户可能会遇到 MetalLB 分配的 IP 地址在 Kubernetes 节点上可以访问，但在局域网内其他机器上无法访问的情况。

问题现象

用户部署 MetalLB 后，发现通过 curl 在 Kubernetes 节点上可以访问分配的负载均衡 IP（192.168.0.30），但在局域网内的其他机器上却无法连接。通过 tcpdump 抓包分析发现，虽然 ARP 请求得到了正确响应，但 TCP 握手包（SYN）没有得到回应。

可能原因分析

1. 节点标签配置问题：Kubernetes 节点上可能存在 node.kubernetes.io/exclude-from-external-load-balancers 标签，这个标签会阻止节点参与外部负载均衡。

2. 网络策略限制：CNI 插件（如 Flannel）或主机网络配置可能阻止了外部访问。

3. 反向路径过滤（RPF）：Linux 系统的反向路径过滤功能可能会丢弃看似不合理的网络包。

4. BGP 路由广播问题：如果使用 BGP 模式，可能需要正确配置路由广播。

解决方案

方案一：检查并移除排除标签

检查节点是否带有排除标签：

kubectl get nodes --show-labels | grep exclude-from-external-load-balancers

如果存在，移除该标签：

kubectl label nodes <node-name> node.kubernetes.io/exclude-from-external-load-balancers-

方案二：配置 BGP 路由广播

对于更复杂的网络环境，可以考虑：

1. 安装 BIRD 路由守护进程
2. 配置 Calico CNI 与 BGP 协议
3. 建立 BGP 对等体关系
4. 确保负载均衡器 IP 范围被正确广播

方案三：检查系统网络配置

1. 检查并调整反向路径过滤设置：

sysctl -w net.ipv4.conf.all.rp_filter=0
sysctl -w net.ipv4.conf.<interface>.rp_filter=0

2. 确保防火墙规则允许流量：

iptables -L -n | grep <loadbalancer-ip>

最佳实践建议

1. 在生产环境中，建议使用 BGP 模式而不是 L2 模式，以获得更好的可扩展性和可靠性。

2. 定期检查节点标签和注解，确保没有意外的配置影响服务暴露。

3. 对于关键业务服务，考虑实现健康检查机制，确保只有健康的节点会响应负载均衡请求。

4. 在复杂的网络环境中，与网络团队协作，确保路由策略正确配置。

总结

MetalLB 在局域网中的访问问题通常与网络配置或 Kubernetes 节点标签有关。通过系统地检查 ARP 响应、节点标签、网络策略和路由配置，大多数问题都可以得到解决。对于更复杂的场景，可能需要深入分析网络流量路径和系统网络参数配置。

记住，网络问题的排查往往需要结合多种工具和方法，包括 tcpdump、arp、iptables 和路由表检查等。保持耐心和系统性是解决这类问题的关键。