在AWS EKS Blueprints中使用Karpenter部署跨账户CMK加密的节点组

背景介绍

在使用AWS EKS Blueprints项目部署Kubernetes集群时，Karpenter作为自动扩缩容组件能够高效地管理节点组。但在实际生产环境中，我们经常遇到需要使用跨账户的CMK（客户管理密钥）来加密节点组EBS卷的需求。本文将详细介绍如何解决Karpenter在跨账户CMK场景下的节点部署问题。

问题现象

当尝试使用Karpenter部署节点组时，如果节点AMI的EBS卷使用了另一个AWS账户中的CMK进行加密，节点会立即被终止，并出现"[Client.InvalidKMSKey.InvalidState]"错误。这表明Karpenter或节点角色没有足够的权限访问外部账户的CMK。

解决方案

IAM权限配置

首先需要确保Karpenter控制器和节点角色具有正确的KMS权限。以下是关键权限配置：

1. Karpenter控制器角色需要添加以下KMS权限：

   • kms:Encrypt
   • kms:Decrypt
   • kms:ReEncrypt*
   • kms:GenerateDataKey*
   • kms:DescribeKey
   • kms:CreateGrant

2. 节点角色也需要类似的KMS权限，特别是当节点需要访问加密的EBS卷时。

创建KMS Grant

仅配置IAM权限是不够的，还需要在CMK所在的账户中创建Grant（授权）。这是跨账户使用CMK的关键步骤：

aws kms create-grant \
  --region us-west-2 \
  --key-id arn:aws:kms:us-west-2:444455556666:key/1a2b3c4d-5e6f-1a2b-3c4d-5e6f1a2b3c4d \
  --grantee-principal arn:aws:iam::111122223333:role/aws-service-role/autoscaling.amazonaws.com/AWSServiceRoleForAutoScaling \
  --operations "Encrypt" "Decrypt" "ReEncryptFrom" "ReEncryptTo" "GenerateDataKey" "GenerateDataKeyWithoutPlaintext" "DescribeKey" "CreateGrant"

权限策略示例

以下是一个完整的IAM策略示例，包含了Karpenter控制器所需的所有权限：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowCreationOfGrantForTheKMSKeyinExternalAccount444455556666",
      "Effect": "Allow",
      "Action": "kms:CreateGrant",
      "Resource": "arn:aws:kms:us-west-2:444455556666:key/1a2b3c4d-5e6f-1a2b-3c4d-5e6f1a2b3c4d"
    }
  ]
}

实施注意事项

1. 权限边界：确保Grant只授予必要的操作权限，遵循最小权限原则。

2. 审计跟踪：在CloudTrail中监控KMS Grant的创建和使用情况，确保安全合规。

3. 自动化部署：建议将KMS Grant创建过程自动化，作为基础设施部署的一部分。

4. 多区域考虑：如果您的部署跨多个AWS区域，需要为每个区域的CMK单独创建Grant。

5. 角色传递：确保节点角色能够正确传递到EC2实例，这是KMS解密操作能够成功的关键。

常见问题排查

1. 节点立即终止：检查CloudTrail日志，确认是否有权限拒绝的错误。

2. Grant不生效：确认Grant创建时指定的角色ARN是否正确，特别是跨账户场景。

3. 权限不足：即使有Grant，节点角色仍需要基本的KMS权限才能发起解密请求。

最佳实践

1. 集中管理CMK：在企业环境中，建议使用专门的账户管理CMK，其他业务账户通过跨账户访问使用。

2. 定期轮换：按照安全要求定期轮换CMK，并更新相关Grant。

3. 标签管理：为KMS资源和Grant添加适当的标签，便于管理和成本分配。

4. 备份策略：确保加密的EBS卷有适当的备份策略，特别是跨账户场景。

通过以上配置和最佳实践，您可以在AWS EKS Blueprints项目中成功使用Karpenter部署跨账户CMK加密的节点组，既满足了安全合规要求，又保持了基础设施的弹性和自动化能力。