Amazon EKS AMI中AL2023节点Pod访问Kubernetes服务异常问题分析

问题背景

在使用Amazon EKS服务时，部分用户报告了一个与Amazon Linux 2023(AL2023) AMI相关的网络连接问题。具体表现为：当使用AL2023_x86_64_STANDARD AMI类型且未配置远程SSH访问时，节点上的Pod无法访问Kubernetes API服务(如172.23.0.1:443)。

问题现象

受影响的环境通常会出现以下症状：

1. 部署在AL2023节点上的Pod无法连接Kubernetes API服务器
2. 错误日志中常见"dial tcp 172.23.0.1:443: i/o timeout"等连接超时信息
3. 该问题影响各类需要访问Kubernetes API的组件，如Kyverno、CSI驱动、Ingress控制器等
4. 问题仅出现在未配置远程SSH访问的AL2023节点上，配置了远程访问或使用AL2 AMI时则工作正常

根本原因分析

经过技术团队调查，发现该问题与AL2023 AMI的网络配置有关，特别是当Pod IP分配在节点的辅助弹性网络接口(Secondary ENI)时。核心问题点包括：

1. 网络规则处理异常：AL2023默认使用iptables-nft作为防火墙后端，在某些情况下可能未能正确生成kube-proxy所需的KUBE-Service-Endpoint规则
2. 安全组配置：虽然集群和节点都配置了正确的安全组规则，但在特定网络路径上流量仍被阻断
3. AMI特定行为：问题仅出现在AL2023 AMI上，AL2 AMI不受影响，表明这是AL2023特有的网络栈处理差异

解决方案

针对此问题，Amazon EKS团队已经发布了修复方案：

1. 升级到最新AMI：v20240329及更高版本的AMI已包含修复程序
2. 临时变通方案：对于无法立即升级的环境，可尝试以下方法：
   • 切换回iptables-legacy模式(不推荐长期使用)
   • 临时启用远程SSH访问(仅作为诊断手段)

最佳实践建议

为避免类似问题，建议EKS用户：

1. 定期更新节点AMI至最新版本
2. 在升级主要组件前，先在测试环境验证
3. 监控Pod与Kubernetes API的连接状态
4. 对于关键工作负载，考虑使用Pod反亲和性规则分散到不同节点

总结

该问题展示了基础设施层变更可能对上层应用产生的连锁影响。通过及时更新AMI版本和遵循AWS的最佳实践，用户可以避免大多数此类兼容性问题。对于运行关键业务负载的环境，建立完善的变更管理和监控机制尤为重要。