Terraform AWS EKS模块中Karpenter部署问题分析与解决方案

问题背景

在使用Terraform AWS EKS模块(版本20.4.0)部署Karpenter时，用户遇到了Karpenter Pod处于Pending状态的问题。这个问题主要出现在Karpenter部署到Fargate环境时，由于Pod调度相关的配置缺失导致。

问题现象

部署完成后，通过kubectl检查Karpenter命名空间中的Pod状态，发现所有Karpenter Pod都处于Pending状态。进一步查看事件日志，可以看到类似以下的错误信息：

Warning FailedScheduling fargate-scheduler Misconfigured Fargate Profile: fargate profile blocked for new launches due to: Pod execution role is not found in auth config or does not have all required permissions for launching fargate pods

根本原因分析

这个问题主要由两个因素导致：

1. 污点容忍度配置缺失：EKS Fargate节点默认带有特定的污点(taint)eks.amazonaws.com/compute-type=fargate:NoSchedule，而Karpenter的Helm Chart默认没有配置对应的容忍度(toleration)，导致Pod无法调度到Fargate节点上。

2. 执行角色权限问题：Fargate Profile配置中引用的Pod执行角色缺少必要的权限，或者角色配置不正确，导致Fargate无法正常启动Pod。

解决方案

方案一：添加污点容忍度配置

在Helm Release资源中显式添加污点容忍度配置：

resource "helm_release" "karpenter" {
  # ... 其他配置省略
  
  values = [
    <<-EOT
    tolerations:
      - effect: NoSchedule
        operator: "Equal"
        key: eks.amazonaws.com/compute-type
        value: fargate
    EOT
  ]
}

方案二：检查并修复执行角色配置

确保Fargate Profile中使用的Pod执行角色具有以下权限：

• AmazonEKSFargatePodExecutionRolePolicy
• 必要的ECR权限
• 其他Karpenter运行所需的基础权限

官方修复情况

该问题已在Terraform AWS EKS模块的20.8.3版本中得到修复。升级到该版本或更高版本可以避免此问题。

最佳实践建议

1. 版本选择：始终使用最新稳定版本的Terraform AWS EKS模块，以避免已知问题。

2. 环境检查：部署前确认目标环境是常规EC2节点还是Fargate节点，并相应调整配置。

3. 权限审核：定期审核IAM角色权限，确保符合最小权限原则的同时满足应用需求。

4. 监控配置：部署后立即检查Pod状态和事件日志，快速发现并解决调度问题。

总结

Karpenter在Fargate环境中的部署问题主要源于环境特性和配置的匹配度不足。通过正确配置污点容忍度和确保执行角色权限完整，可以顺利解决此类调度问题。随着Terraform AWS EKS模块的持续更新，这类常见问题的内置解决方案会越来越完善。