在Terraform AWS EKS模块中管理aws-auth ConfigMap的最佳实践

前言

在使用Terraform AWS EKS模块管理Kubernetes集群时，aws-auth ConfigMap的配置是一个关键环节。这个ConfigMap负责控制哪些IAM实体可以访问EKS集群以及它们的权限级别。本文将深入探讨在使用terraform-aws-modules/eks模块时，如何正确处理aws-auth ConfigMap的配置问题。

问题背景

许多用户在升级到EKS模块v20.x版本后，会遇到关于aws-auth ConfigMap的配置问题。主要表现有两种情况：

1. 创建新集群时出现"Unauthorized"错误
2. 升级现有集群时出现"ResourceInUseException"冲突

这些问题都与模块中新增的enable_cluster_creator_admin_permissions参数有关，该参数控制了集群创建者的访问权限管理方式。

技术原理

在AWS EKS中，aws-auth ConfigMap位于kube-system命名空间下，它定义了哪些IAM角色和用户可以访问集群以及他们的权限。从EKS模块v20.x开始，AWS推荐使用Access Entry API来管理访问权限，而不是直接修改ConfigMap。

enable_cluster_creator_admin_permissions参数的作用是：

• 当设置为true时，模块会自动为集群创建者创建Access Entry，赋予其管理员权限
• 这种机制比直接修改ConfigMap更符合AWS的最佳实践

解决方案

新集群部署配置

对于全新部署的EKS集群，推荐以下配置：

module "eks" {
  source = "terraform-aws-modules/eks/aws"
  version = "~> 20.0"
  
  # 启用集群创建者的管理员权限
  enable_cluster_creator_admin_permissions = true
  
  # 其他配置...
}

module "aws_auth" {
  source = "terraform-aws-modules/eks/aws//modules/aws-auth"
  version = "~> 20.0"
  
  manage_aws_auth_configmap = true
  
  aws_auth_roles = [
    {
      rolearn  = "arn:aws:iam::ACCOUNT_ID:role/role1"
      username = "role1"
      groups   = ["system:masters"]
    }
  ]
}

这种配置确保了：

1. 集群创建者通过Access Entry获得管理员权限
2. 其他IAM角色通过传统的ConfigMap方式获得访问权限

现有集群升级配置

对于从旧版本升级的现有集群，应采用不同的配置：

module "eks" {
  source = "terraform-aws-modules/eks/aws"
  version = "~> 20.0"
  
  # 禁用集群创建者的管理员权限(避免冲突)
  enable_cluster_creator_admin_permissions = false
  
  # 其他配置...
}

module "aws_auth" {
  source = "terraform-aws-modules/eks/aws//modules/aws-auth"
  version = "~> 20.0"
  
  manage_aws_auth_configmap = true
  
  aws_auth_roles = [
    {
      rolearn  = "arn:aws:iam::ACCOUNT_ID:role/role1"
      username = "role1"
      groups   = ["system:masters"]
    }
  ]
}

这种配置避免了与现有Access Entry的冲突，同时继续使用ConfigMap管理访问权限。

常见错误处理

1. Unauthorized错误：

   • 原因：Terraform执行者没有足够的权限访问aws-auth ConfigMap
   • 解决：确保启用enable_cluster_creator_admin_permissions = true

2. ResourceInUseException错误：

   • 原因：尝试为现有集群重复创建Access Entry
   • 解决：对于现有集群，设置enable_cluster_creator_admin_permissions = false

3. ConfigMap已存在错误：

   • 原因：aws-auth ConfigMap已由其他流程创建
   • 解决：检查集群中是否已存在该ConfigMap，可能需要先手动删除

最佳实践建议

1. 对于新集群，优先使用Access Entry方式管理权限
2. 对于现有集群，逐步迁移到Access Entry方式
3. 在Terraform Cloud/Enterprise环境中运行时，确保执行角色有足够权限
4. 大型团队中，考虑将权限管理分离到独立的Terraform配置中
5. 定期审查aws-auth ConfigMap和Access Entry中的权限设置

总结

aws-auth ConfigMap的管理是EKS集群安全的关键环节。通过理解EKS模块v20.x中的新特性，特别是enable_cluster_creator_admin_permissions参数的作用，可以避免常见的配置错误。根据集群是新创建还是现有升级，采用不同的配置策略，可以确保权限管理的平滑过渡和安全合规。

随着AWS EKS功能的演进，建议逐渐从传统的ConfigMap方式过渡到使用Access Entry API，这代表了AWS在EKS权限管理上的未来方向。