在Terraform AWS EKS模块中使用自定义AMI的注意事项

前言

在使用Terraform AWS EKS模块部署Kubernetes集群时，很多开发者会遇到需要自定义节点AMI的需求。本文将深入探讨在使用terraform-aws-modules/terraform-aws-eks模块时，如何正确配置自定义AMI以及相关的注意事项。

为什么需要自定义AMI

虽然AWS提供了官方优化的EKS AMI（Amazon Linux 2），但在某些场景下开发者可能需要使用其他发行版，例如Ubuntu。常见原因包括：

1. 团队对特定Linux发行版有更丰富的运维经验
2. 某些工作负载在特定发行版上表现更好
3. 需要预装特定软件或配置
4. 合规性要求

常见配置误区

很多开发者会简单地认为只需要在EKS模块配置中将ami_type改为"CUSTOM"并指定AMI ID即可：

eks_managed_node_group_defaults = {
  ami_type = "CUSTOM"
}

eks_managed_node_groups = {
  example = {
    ami_id = "ami-xxxxxxxx"
    # 其他配置...
  }
}

这种配置虽然能让EC2实例成功启动，但节点往往无法加入Kubernetes集群。这是因为缺少了关键的引导脚本。

正确的自定义AMI配置方法

要让自定义AMI的节点成功加入EKS集群，必须提供正确的引导脚本。这可以通过以下两种方式实现：

方法一：启用自动生成引导数据

eks_managed_node_groups = {
  example = {
    ami_type = "CUSTOM"
    ami_id = "ami-xxxxxxxx"
    enable_bootstrap_user_data = true
    # 其他配置...
  }
}

这种方式适用于与EKS兼容性较好的AMI，如Canonical提供的官方EKS优化版Ubuntu AMI。

方法二：提供自定义脚本

对于需要特殊配置的AMI，可以手动提供脚本：

eks_managed_node_groups = {
  example = {
    ami_type = "CUSTOM"
    ami_id = "ami-xxxxxxxx"
    bootstrap_extra_args = "--container-runtime containerd"
    pre_bootstrap_user_data = <<-EOT
      # 自定义前置脚本
      echo "Running custom setup"
    EOT
    post_bootstrap_user_data = <<-EOT
      # 自定义后置脚本
      echo "Node setup complete"
    EOT
    # 其他配置...
  }
}

针对ML工作负载的特殊考虑

如果集群用于机器学习工作负载，AWS提供了专门的优化AMI：

1. AL2023_x86_64_NVIDIA - 包含NVIDIA驱动和容器工具包
2. BOTTLEROCKET_x86_64_NVIDIA - 包含NVIDIA设备插件
3. AL2023_x86_64_NEURON - 针对Inferentia/Trainium实例优化

这些官方优化AMI通常比自定义AMI更可靠，且能得到AWS技术支持。

最佳实践建议

1. 优先使用AWS官方EKS优化AMI，除非有充分理由需要自定义
2. 如果必须使用自定义AMI，确保它针对EKS进行了适当优化
3. 仔细测试脚本，确保节点能正确加入集群
4. 考虑使用Launch Template提供更灵活的节点配置
5. 为生产环境建立AMI构建和验证流程

总结

在terraform-aws-modules/terraform-aws-eks模块中使用自定义AMI需要特别注意引导脚本的配置。简单的AMI ID指定不足以让节点加入集群。开发者应该根据具体需求选择最适合的配置方式，并在非生产环境中充分测试。对于大多数用例，AWS官方提供的优化AMI通常是更简单可靠的选择。