Terraform AWS EKS 模块中禁用默认网络插件的最佳实践

背景介绍

在使用Terraform AWS EKS模块部署Kubernetes集群时，许多用户会选择替换默认的网络插件（如VPC CNI）为第三方解决方案如Cilium。最新版本的EKS模块支持通过参数直接禁用默认网络插件，这为使用替代方案的用户提供了更优雅的实现方式。

核心挑战

当禁用默认网络插件后，在部署过程中会遇到节点处于Not Ready状态的问题。这是因为节点启动时需要网络插件才能正常工作，而Terraform会等待所有节点变为Ready状态才认为部署完成，导致部署过程被卡住。

解决方案比较

传统方法的问题

过去常见的做法是：

1. 先创建带有默认插件的集群
2. 通过local-exec命令卸载VPC CNI、kube-proxy和CoreDNS
3. 安装替代插件如Cilium

这种方法存在明显的缺点：步骤繁琐，且需要处理资源残留问题。

新方法的实现

利用EKS模块新支持的禁用默认插件功能，我们可以采用更优雅的解决方案：

方案一：分阶段部署

1. 仅部署控制平面（禁用所有默认插件）
2. 部署Cilium等替代插件
3. 最后部署工作节点

这种方法的优势是逻辑清晰，但需要将基础设施代码拆分为多个部分。

方案二：智能依赖管理

通过精心设计资源间的依赖关系，可以实现单次部署：

1. 配置EKS模块禁用默认插件
2. 使用time_sleep资源或helm_release的host参数控制部署顺序
3. 让Cilium安装仅依赖集群端点而非整个模块

这种方法的优势是保持代码完整性，但需要精确控制依赖关系。

实施细节

Helm部署的关键配置

当使用Helm部署Cilium时，关键配置包括：

• 设置wait: false避免阻塞
• 正确配置依赖关系，确保Cilium在节点创建前就已开始部署
• 合理设置超时时间，给节点启动留出足够时间

Cilium配置建议

对于AWS环境，Cilium的推荐配置包括：

• 启用ENI模式
• 禁用隧道模式
• 配置正确的出口伪装接口
• 设置kubeProxyReplacement为true

常见问题排查

在实施过程中可能会遇到：

1. 节点长时间处于Not Ready状态：检查CNI插件日志和DaemonSet状态
2. 外部网络连接问题：验证网络策略和出口配置
3. DNS解析异常：检查CoreDNS与Cilium的兼容性

最佳实践总结

1. 优先使用模块原生支持的禁用插件功能
2. 合理设计资源依赖关系，避免循环依赖
3. 为关键组件设置适当的等待策略
4. 实施前在测试环境充分验证
5. 准备好回滚方案，特别是生产环境

通过遵循这些实践，可以顺利地在Terraform AWS EKS模块中实现自定义网络插件的部署，同时保持基础设施代码的整洁和可维护性。