Terraform AWS EKS模块v20升级后Fargate Pod启动问题深度解析

问题背景

在使用Terraform AWS EKS模块从v19升级到v20版本后，许多用户报告了Fargate Pod无法正常启动的问题。错误信息通常显示"Pod execution role is not found in auth config or does not have all required permissions for launching fargate pods"。这个问题不仅出现在升级场景中，甚至在新创建的集群上也会出现。

核心问题分析

这个问题源于EKS v20模块中认证模式的重大变更。在v19版本中，模块会自动管理aws-auth ConfigMap，包括为Fargate配置文件添加必要的IAM角色条目。而在v20中，模块引入了新的认证模式选项：

1. CONFIG_MAP：仅使用传统的aws-auth ConfigMap
2. API：仅使用EKS访问条目(Access Entry)
3. API_AND_CONFIG_MAP：混合使用两种认证方式

当使用API_AND_CONFIG_MAP模式时，EKS理论上应该自动为Fargate配置文件和托管节点组创建访问条目，并更新aws-auth ConfigMap。然而实际观察发现：

• EKS确实会创建访问条目
• EKS也会在ConfigMap中添加条目
• 但当通过Terraform管理ConfigMap时，这些自动添加的条目会被覆盖或删除
• 一段时间后(通常1-2小时)，Fargate Pod启动开始失败

技术细节解析

认证机制变更

在v19中，模块通过Kubernetes provider直接管理aws-auth ConfigMap，自动添加Fargate和节点组的IAM角色。这种方式虽然方便，但存在资源所有权冲突的风险。

v20改为：

• 默认使用API_AND_CONFIG_MAP模式
• 移除了自动ConfigMap管理功能
• 依赖EKS自动管理访问条目和ConfigMap更新

问题根源

当Terraform继续管理ConfigMap时(即使内容为空)，它会：

1. 覆盖EKS自动添加的Fargate角色条目
2. 导致EKS控制平面无法正确识别Fargate执行角色
3. 最终使Fargate调度器拒绝启动Pod

解决方案

根据实际验证，有以下几种解决方案：

方案一：完全迁移到API模式

1. 按照官方迁移指南，先使用过渡模块
2. 将认证模式设置为API
3. 确保所有必要的IAM角色都有对应的访问条目
4. 完全放弃ConfigMap管理

module "eks" {
  source  = "terraform-aws-modules/eks/aws"
  version = "20.x.x"

  authentication_mode = "API"
  # 其他配置...
}

方案二：手动维护ConfigMap条目

如果必须使用API_AND_CONFIG_MAP模式，需要显式添加Fargate角色到ConfigMap：

module "eks_auth" {
  source = "terraform-aws-modules/eks/aws//modules/aws-auth"

  manage_aws_auth_configmap = true

  aws_auth_roles = [
    {
      rolearn  = module.eks.fargate_profiles.kube-system.fargate_profile_pod_execution_role_arn
      username = "system:node:{{SessionName}}"
      groups   = ["system:bootstrappers", "system:nodes", "system:node-proxier"]
    }
  ]
}

方案三：临时修复措施

对于已经出现问题的集群：

1. 删除并重新创建Fargate配置文件
2. 这会强制EKS重新添加ConfigMap条目
3. 注意后续的Terraform操作可能会再次覆盖这些条目

最佳实践建议

1. 评估认证需求：如果可能，优先使用纯API模式，避免ConfigMap管理带来的复杂性
2. 完整迁移路径：严格遵循官方升级指南，使用过渡模块平滑迁移
3. 监控过渡期：升级后密切监控Fargate Pod调度情况至少24小时
4. 统一管理方式：避免混合使用访问条目和ConfigMap，选择一种方式并坚持使用
5. IAM策略完整性：确保Fargate执行角色具有正确的信任关系和权限

总结

EKS模块v20的认证模式变更是为了提供更灵活的集群访问管理方式，但在过渡期间可能会遇到Fargate调度问题。理解新旧认证机制的工作原理，选择适合自己环境的解决方案，并遵循推荐的迁移路径，可以最大限度地减少服务中断。随着EKS服务的不断演进，这类问题有望在未来的版本中得到更好的解决。