在Terraform AWS EKS模块中配置Bottlerocket节点的注意事项

背景介绍

在使用Terraform AWS EKS模块部署Bottlerocket节点时，正确配置节点参数对于集群稳定运行至关重要。Bottlerocket是一个专为运行容器工作负载而设计的开源Linux发行版，特别适合在Kubernetes环境中使用。

常见配置问题

在配置Bottlerocket节点时，开发者经常需要设置各种Kubernetes相关参数，包括：

• 主机容器设置（如admin和control容器）
• 节点标签
• 资源预留（kube-reserved和system-reserved）
• 驱逐阈值（eviction-hard）
• 优雅关闭参数（shutdown-grace-period）

关键问题分析

在配置过程中，一个常见但容易被忽视的问题是配置块重复定义。具体表现为：

1. 当使用bootstrap_extra_args参数配置Bottlerocket节点时，如果多次定义[settings.kubernetes]配置块，会导致节点启动失败。
2. 这是因为底层LaunchTemplate已经包含了一些默认的Kubernetes设置，包括集群名称、API服务器地址、集群证书和DNS IP等。
3. 添加新的[settings.kubernetes]块会覆盖这些必要的基础配置，导致节点无法正常加入集群。

正确配置方法

正确的做法是将所有Kubernetes相关参数合并到同一个配置块中，或者将新参数直接添加到现有配置中。例如：

[settings.kubernetes]
"shutdown-grace-period" = "60s"
"shutdown-grace-period-for-critical-pods" = "30s"

[settings.host-containers.admin]
enabled = true

[settings.kubernetes.node-labels]
"nodegroup" = "stable"
"eks-cluster-name" = "tf-eks-devops-ontario"

[settings.kubernetes.kube-reserved]
cpu = "100m"
memory = "300Mi"
ephemeral-storage = "1Gi"

最佳实践建议

1. 配置检查：在应用新配置前，先检查LaunchTemplate中已有的默认配置。
2. 增量修改：避免覆盖整个配置块，而是只添加或修改需要的参数。
3. 测试验证：先在少量节点上测试新配置，确认无误后再大规模部署。
4. 参数合并：将相关参数组织在逻辑上合理的配置块中，避免分散。
5. 文档参考：仔细阅读Bottlerocket官方文档，了解各参数的合法值和格式要求。

总结

在Terraform AWS EKS模块中配置Bottlerocket节点时，理解配置文件的层次结构和合并规则非常重要。特别是对于Kubernetes核心参数的配置，需要特别注意不要无意中覆盖了系统必需的基础配置。通过遵循上述最佳实践，可以确保节点配置既满足业务需求，又能稳定运行。