Terraform AWS EKS模块中禁用默认集群插件的技术解析

前言

在使用Terraform AWS EKS模块部署Kubernetes集群时，默认会安装一些核心插件(Add-ons)，如VPC CNI网络插件。但在某些特定场景下，用户可能需要禁用这些默认插件，例如当计划使用第三方CNI解决方案(如Cilium)替代AWS默认的VPC CNI时。本文将深入探讨在Terraform AWS EKS模块中禁用默认插件的方法和注意事项。

禁用默认插件的背景

AWS EKS服务在创建集群时会自动部署几个核心插件，包括：

• VPC CNI (aws-vpc-cni)：负责Pod网络通信
• CoreDNS：集群DNS服务
• kube-proxy：服务代理

这些插件对于集群的基本功能至关重要。但在2024年6月，AWS宣布了一项新功能，允许用户在创建集群时灵活选择是否安装这些默认网络插件，这为使用替代方案的用户提供了更多控制权。

通过Terraform禁用默认插件

在Terraform AWS EKS模块中，可以通过设置bootstrap_self_managed_addons = false来禁用默认插件的自动部署。这个参数对应于AWS EKS API中的bootstrapSelfManagedAddons选项。

module "eks" {
  source = "terraform-aws-modules/eks/aws"
  
  bootstrap_self_managed_addons = false
  # 其他配置...
}

使用替代CNI方案的注意事项

当禁用默认VPC CNI插件并使用替代方案(如Cilium)时，需要特别注意以下几点：

1. IAM权限配置：

   • 即使不使用AWS VPC CNI，节点仍需要基本的网络权限
   • EKS模块已自动为托管节点组附加了必要的CNI策略(包括IPv4和IPv6变体)
   • 无需手动添加AmazonEKS_CNI_Policy，模块已处理

2. 节点初始化问题：

   • 如果完全禁用所有网络插件，集群创建可能会失败并显示错误："container runtime network not ready"
   • 解决方案是确保在禁用默认插件前，替代网络插件已准备就绪

3. 插件依赖关系：

   • 某些EKS功能(如安全组策略)依赖于特定的网络实现
   • 选择替代方案前应评估功能兼容性

最佳实践建议

1. 渐进式迁移：

   • 对于生产环境，建议先部署默认插件
   • 然后逐步安装和测试替代方案
   • 最后再移除默认插件

2. 权限最小化：

   • 使用EKS Pod Identity为插件分配精确权限
   • 避免将插件所需权限直接附加到节点角色

3. 监控验证：

   • 迁移后密切监控网络性能和稳定性
   • 验证所有核心功能(服务发现、网络策略等)是否正常工作

总结

Terraform AWS EKS模块提供了灵活的方式来管理集群插件，包括禁用默认插件的能力。但在执行此类操作时，必须充分理解其影响并做好相应准备。通过合理配置和渐进式迁移，可以成功实现自定义插件方案，同时保持集群的稳定性和功能性。