Amazon VPC CNI for Kubernetes中外部SNAT配置问题解析

问题背景

在使用Amazon VPC CNI插件(amazon-vpc-cni-k8s)的Kubernetes集群中，当创建带有自定义Endpoints的Service时，部分Pod无法访问Service指向的外部地址。这个问题表现为部分Pod可以成功连接，而其他Pod则连接失败，且失败现象呈现随机性。

现象分析

通过深入排查发现以下关键现象：

1. 部分Pod可以正常访问Service，而其他Pod则无法建立连接
2. 直接通过节点访问Service或Endpoints中的目标地址都能成功
3. 从Pod直接访问Endpoints中的目标地址也能成功
4. 通过tcpdump抓包发现失败Pod仅发出SYN包，未收到响应
5. 成功和失败的Pod使用了不同网络接口的IP地址

根本原因

问题的根源在于AWS VPC CNI插件默认会为Pod流量执行SNAT(源地址转换)，这在某些网络拓扑中会导致连接问题。特别是在以下场景中：

• 集群部署在私有子网
• 使用专线连接企业网络
• 子网同时配置了NAT网关
• 需要访问外部自定义Endpoints

默认的SNAT行为会修改Pod发出的数据包源地址，导致返回流量无法正确路由回Pod。

解决方案

通过设置CNI插件的环境变量来禁用SNAT功能：

kubectl set env daemonset -n kube-system aws-node AWS_VPC_K8S_CNI_EXTERNALSNAT=true

这个配置告诉CNI插件不要对Pod的出站流量执行SNAT转换，保持原始Pod IP地址不变。

配置详解

AWS_VPC_K8S_CNI_EXTERNALSNAT参数是AWS VPC CNI插件提供的一个重要配置选项，它控制着Pod流量的SNAT行为：

• 当设置为true时：禁用CNI插件对Pod流量的SNAT处理
• 当设置为false(默认值)时：CNI插件会对Pod的出站流量执行SNAT转换

在以下场景中需要考虑设置此参数为true：

1. 需要通过专线等直接连接访问Pod
2. Pod需要与外部VPC中的资源通信
3. 集群部署在私有子网但需要保留Pod原始IP的场景

最佳实践建议

1. 在混合云或企业网络连接场景中，建议评估是否需要禁用SNAT
2. 测试环境应先验证配置变更的影响
3. 变更后监控网络连接状态和性能指标
4. 结合网络安全组和路由表确保网络安全性不受影响
5. 文档化网络拓扑和相应配置，便于后续维护

总结

AWS VPC CNI插件的SNAT默认行为在特定网络拓扑中可能导致连接问题。理解网络流量路径和CNI插件的工作原理对于正确配置Kubernetes网络至关重要。通过合理配置AWS_VPC_K8S_CNI_EXTERNALSNAT参数，可以解决自定义Endpoints访问问题，同时确保网络连接的正确性和可靠性。