MicroK8s集群出站流量间歇性故障排查与解决

问题现象

在使用MicroK8s集群时，遇到了一个奇怪的网络问题：集群内的Pod对外部服务的出站连接会间歇性失败。具体表现为：

1. 通过curl访问外部网站(如www.google.com)时，经常出现连接超时
2. 镜像拉取操作也会间歇性失败
3. 使用hostNetwork=true时连接正常
4. 节点本身直接访问外部服务没有问题

初步排查

通过创建调试容器并运行网络诊断命令，发现了以下线索：

1. 使用tcpdump抓包发现集群在重用端口进行出站请求
2. 网络跟踪(tracepath)显示数据包能正常到达外部网络
3. 当连接失败时，会看到类似"A new tcp session is started with the same ports as an earlier session"的提示

深入分析

经过进一步调查，发现问题的根源与TCP端口分配和防火墙设置有关：

1. Kubernetes集群中的Pod通过节点进行网络地址转换(NAT)访问外部网络
2. 节点会为每个出站连接分配临时端口(ephemeral port)
3. 在某些防火墙配置下，特别是当临时端口范围受限时，会导致端口快速重用
4. 防火墙可能丢弃看起来像是重复的TCP连接(相同四元组的连接)

解决方案

问题的根本解决方法是调整防火墙的临时端口范围设置：

1. 将防火墙的ACK端口范围从默认的32768-60999调整为从0开始
2. 这样可以提供更大的端口空间，减少端口重用概率
3. 在Hetzner等云服务商的防火墙中特别需要注意此设置

技术原理

理解这个问题的关键在于TCP/IP协议栈和Kubernetes网络模型：

1. 临时端口：当Pod发起出站连接时，节点会为其分配一个临时端口(通常在32768-60999范围)
2. NAT转换：节点的网络栈会进行源地址转换(SNAT)，将Pod IP转换为节点IP
3. 连接跟踪：防火墙需要维护连接状态表，确保响应能正确返回
4. 端口耗尽：当并发连接多或端口范围受限时，系统会快速重用端口，导致防火墙误判

最佳实践建议

为避免类似问题，建议：

1. 检查并适当增大云服务商防火墙的临时端口范围
2. 考虑调整节点的net.ipv4.ip_local_port_range参数
3. 对于关键业务，可以使用hostNetwork模式(但需注意安全性影响)
4. 监控节点的网络连接数，确保不会达到系统限制

总结

这个案例展示了Kubernetes网络问题排查的典型过程：从现象观察、基础排查到深入分析。特别提醒在云环境中部署Kubernetes时，要关注云服务商网络组件的默认配置可能与Kubernetes网络模型存在兼容性问题。通过理解TCP/IP协议栈和Kubernetes网络原理，能够更有效地解决这类复杂的网络问题。