在Terraform AWS EKS模块中使用自定义AMI部署CoreDNS的注意事项

前言

在使用Terraform AWS EKS模块部署Kubernetes集群时，许多开发者会遇到CoreDNS组件无法正常启动的问题，特别是在使用自定义AMI的情况下。本文将深入分析这一问题的根源，并提供完整的解决方案。

问题现象分析

当开发者尝试通过Terraform AWS EKS模块部署集群时，如果同时满足以下条件，就可能遇到CoreDNS无法启动的问题：

1. 使用自定义AMI而非AWS官方提供的EKS优化AMI
2. 在集群配置中显式启用了CoreDNS插件
3. 节点组配置中可能存在不完整的引导配置

典型错误表现为CoreDNS Pod处于Pending状态，事件日志显示"no nodes available to schedule pods"。

根本原因

这个问题通常源于以下几个技术细节：

1. 节点引导配置不完整：自定义AMI可能缺少必要的Kubernetes组件或配置
2. 依赖关系处理不当：节点组与核心组件之间的启动顺序不正确
3. 网络配置缺失：特别是DNS相关配置未正确传递到节点

解决方案

1. 正确配置自定义AMI

对于基于EKS优化AMI的自定义镜像，最佳实践是：

eks_managed_node_group_defaults = {
  ami_type = "AL2023_x86_64_STANDARD" # 使用匹配的AMI类型
  ami_id = "ami-xxxx" # 自定义AMI ID
  create_launch_template = true
  enable_bootstrap_user_data = true # 关键配置
}

2. 节点组定义的位置

建议将节点组定义直接包含在EKS集群模块中，而非单独创建。这样可以确保正确的依赖关系和启动顺序：

module "eks" {
  source = "terraform-aws-modules/eks/aws"
  
  # ...其他集群配置...

  eks_managed_node_groups = {
    example = {
      # 节点组配置
    }
  }
}

3. 避免不必要的依赖声明

Terraform能够自动处理大多数资源间的依赖关系，显式的depends_on声明反而可能导致问题：

# 不推荐的做法
depends_on = [module.eks, aws_launch_template.custom_ami]

4. 完整的引导配置

确保自定义AMI包含所有必要的组件和配置：

• 已预装SSM Agent（AWS EKS优化AMI已包含）
• 正确的Kubelet配置
• 适当的网络插件

最佳实践建议

1. 优先使用匹配的AMI类型：如果自定义AMI基于EKS优化AMI，应指定对应的AMI类型而非CUSTOM
2. 简化配置：避免不必要的复杂配置，如重复安装已存在的组件
3. 统一管理：将节点组定义与集群定义放在一起，便于维护和升级
4. 验证AMI内容：确保自定义AMI包含所有必要的Kubernetes组件和依赖

总结

通过遵循上述实践，开发者可以避免在使用Terraform AWS EKS模块时遇到CoreDNS无法启动的问题。关键在于理解AWS EKS的底层机制，并确保所有组件之间的正确配置和依赖关系。对于特殊需求，如分批次升级不同节点组，可以通过合理的模块组织和Terraform工作区来实现，而不必牺牲配置的简洁性和可靠性。