Terraform AWS EKS 模块中调整节点磁盘大小的最佳实践

前言

在使用 Terraform AWS EKS 模块管理 Kubernetes 集群时，节点磁盘大小的配置是一个常见需求。许多用户在初始部署后发现默认的 20GB 磁盘空间不足，需要扩容。本文将深入探讨在 EKS 托管节点组中调整磁盘大小的几种方法及其技术细节。

问题背景

AWS EKS 托管节点组默认使用 20GB 的根卷大小，这对于生产环境中的许多工作负载来说往往不够。当需要增加磁盘空间时，用户通常会尝试直接设置 disk_size 参数，但发现这并不总是有效。

解决方案比较

方法一：使用 disk_size 参数（不推荐）

最简单的尝试是直接设置 disk_size 参数：

eks_managed_node_groups = {
  default_node_group = {
    disk_size = 100
    # 其他配置...
  }
}

然而，这种方法存在以下问题：

1. 需要同时设置 use_custom_launch_template = false 才会生效
2. 禁用自定义启动模板会导致许多功能丢失，如：
   • 无法自定义安全组
   • IMDS 相关配置恢复默认值
   • 可能导致 AWS Load Balancer Controller 等组件无法正常工作

方法二：使用 block_device_mappings（推荐）

更可靠的方法是显式定义块设备映射：

eks_managed_node_groups = {
  default_node_group = {
    block_device_mappings = {
      xvda = {
        device_name = "/dev/xvda"
        ebs = {
          volume_size           = 100
          volume_type           = "gp3"
          iops                  = 3000
          throughput            = 125
          encrypted             = true
          delete_on_termination = true
        }
      }
    }
    # 其他配置...
  }
}

关键点：

1. 必须正确指定设备名称（Amazon Linux 通常为 /dev/xvda）
2. 可以完整定义 EBS 卷的所有属性
3. 不需要禁用自定义启动模板

技术细节解析

设备名称的重要性

不同操作系统和 AMI 类型使用不同的默认设备名称：

• Amazon Linux 2/2023：/dev/xvda
• Bottlerocket：/dev/xvda（系统卷）和 /dev/xvdb（数据卷）

可以通过 AWS CLI 查询 AMI 的设备映射：

aws ec2 describe-images --image-id $(aws ssm get-parameter --name /aws/service/eks/optimized-ami/1.31/amazon-linux-2023/x86_64/standard/recommended/image_id --region us-west-2 --query "Parameter.Value" --output text) --region us-west-2

IMDS 配置问题

当使用 use_custom_launch_template = false 时，IMDSv2 的跳数限制会恢复默认值 1，这可能导致：

1. AWS Load Balancer Controller 无法获取 VPC ID
2. 其他依赖实例元数据的服务可能失败

解决方法：

1. 避免禁用自定义启动模板
2. 如果必须禁用，可以在 Load Balancer Controller 中显式设置 VPC ID：

aws_load_balancer_controller = {
  set = [{
    name  = "vpcId"
    value = var.vpc_id
  }]
}

最佳实践建议

1. 始终使用 block_device_mappings 方法调整磁盘大小
2. 在生产环境中避免使用 use_custom_launch_template = false
3. 对于关键组件如 Load Balancer Controller，显式配置必要参数
4. 定期检查 AMI 的设备映射，确保配置正确
5. 在变更前充分测试，特别是涉及启动模板的修改

总结

在 Terraform AWS EKS 模块中调整节点磁盘大小看似简单，但实际上涉及多个技术细节。通过正确使用块设备映射配置，可以在保留所有自定义功能的同时，安全地扩展节点存储空间。理解底层机制有助于避免生产环境中的潜在问题，确保 Kubernetes 集群的稳定运行。