Terraform AWS EKS模块中AL2节点DNS解析问题的分析与解决

问题背景

在使用Terraform AWS EKS模块(v20.8.5)部署Amazon EKS集群时，当用户为AL2(Amazon Linux 2)的EKS托管节点组配置自定义的IPv4服务CIDR(如10.100.0.0/16)并启用bootstrap用户数据(enable_bootstrap_user_data=true)时，节点会出现DNS解析异常的问题。具体表现为节点的clusterDNS被错误地设置为172.20.0.10，而非预期的10.100.0.10。

根本原因分析

这个问题源于Terraform AWS EKS模块在PR 2963中的变更，该变更移除了bootstrap用户数据中的SERVICE_IPV4_CIDR环境变量，转而尝试使用--service-ipv4-cidr命令行参数传递给/etc/eks/bootstrap.sh脚本。然而，Amazon官方的bootstrap.sh脚本实际上并不支持--service-ipv4-cidr这个参数。

深入分析bootstrap.sh脚本的源代码可以发现：

1. 脚本仅支持--service-ipv6-cidr命令行参数
2. 但脚本仍然支持通过SERVICE_IPV4_CIDR环境变量来配置服务CIDR

当服务CIDR信息无法正确传递时，脚本会回退到默认行为，根据VPC的IP范围选择DNS服务器地址。对于10.x.x.x的VPC CIDR，由于TEN_RANGE变量被设置为1，脚本会错误地选择172.20.0.10作为DNS服务器地址。

影响范围

此问题会影响以下配置场景：

1. 使用自定义IPv4服务CIDR(非默认的172.20.0.0/16)
2. 使用AL2作为节点操作系统
3. 启用了bootstrap用户数据(enable_bootstrap_user_data=true)

解决方案

目前有两种可行的解决方案：

方案一：禁用bootstrap用户数据

不设置enable_bootstrap_user_data=true参数，让bootstrap脚本通过调用AWS API(aws eks describe-cluster)自动获取正确的服务CIDR信息。

方案二：使用pre_bootstrap_user_data设置环境变量

在节点组配置中添加pre_bootstrap_user_data，显式设置SERVICE_IPV4_CIDR环境变量：

pre_bootstrap_user_data = <<-EOT
  export SERVICE_IPV4_CIDR=10.100.0.0/16
EOT

最佳实践建议

1. 在使用自定义服务CIDR时，建议优先考虑方案二，因为它提供了更明确的配置，避免了依赖API调用的不确定性。
2. 定期检查Terraform AWS EKS模块的更新，关注相关问题的修复进展。
3. 部署后验证节点的DNS配置是否正确，可以通过检查/etc/kubernetes/kubelet/kubelet-config.json文件中的clusterDNS值来确认。

总结

这个问题展示了基础设施即代码(IaC)实践中一个典型的情况：当模块更新与底层服务实现不完全同步时可能导致的兼容性问题。通过深入理解各组件的工作原理和交互方式，我们能够找到有效的解决方案。对于生产环境，建议在变更前充分测试，并建立完善的监控机制来及时发现类似问题。