Terraform-Hcloud-Kube-Hetzner项目中Helm Release自动安装问题解析

问题现象

在使用Terraform-Hcloud-Kube-Hetzner项目部署Kubernetes集群时，用户遇到了一个特殊现象：即使已经在kube.tf配置文件中明确禁用了某些Helm Release（如Longhorn、Nginx、Traefik和Cilium），这些组件仍会不断被自动重新安装。特别是Cilium组件，每次安装后都会给节点添加污点，导致无法调度任何工作负载，严重影响集群稳定性。

问题根源

这种现象的根本原因在于Kustomize与Terraform在资源管理方式上的本质差异：

1. 状态管理机制不同：Terraform通过状态文件跟踪资源，能够识别配置变更并相应调整实际资源；而Kustomize没有内置的状态管理机制。

2. 删除行为差异：当从kustomization.yaml中移除某项配置时，Kustomize不会自动删除集群中已部署的对应资源，需要手动清理。

3. 持续同步机制：项目中的某些组件可能配置了自动修复或定期同步的逻辑，导致被删除的资源又被重新创建。

解决方案

针对这个问题，可以采取以下解决措施：

即时解决方案

1. 手动清理残留资源：

   kubectl delete -n kube-system helmchart traefik
   kubectl delete -n kube-system helmchart longhorn
   kubectl delete -n kube-system helmchart cilium
   

2. 验证资源完全删除：

   kubectl get helmcharts -A
   kubectl get pods -A | grep -E 'traefik|longhorn|cilium'
   

长期解决方案

1. 使用Terraform状态管理：

   • 通过terraform state rm命令从状态中移除相关资源
   • 执行terraform apply确保配置与状态一致

2. 配置资源清理策略：

   • 在HelmChart资源中添加注解防止自动修复
   • 设置适当的资源清理策略

3. 部署前验证：

   • 在修改配置后，先使用terraform plan验证变更
   • 确保所有不需要的资源都已被标记为待删除

最佳实践建议

1. 变更管理流程：

   • 修改配置后，先执行清理操作再应用新配置
   • 保持配置变更的原子性，避免部分更新

2. 监控与告警：

   • 设置监控规则，检测非预期资源创建
   • 对关键命名空间配置变更告警

3. 文档记录：

   • 记录所有手动干预操作
   • 维护集群期望状态文档

技术深度解析

这种现象揭示了基础设施即代码(IaC)工具在混合使用时的潜在问题。Terraform采用声明式语法和状态文件来管理资源生命周期，而Kustomize更侧重于配置生成和叠加。当两者结合使用时，需要注意：

1. 资源所有权：明确哪些资源由哪个工具管理
2. 变更顺序：确定配置变更和资源清理的执行顺序
3. 依赖关系：处理工具间的依赖和交互

理解这些底层机制有助于更有效地管理Kubernetes集群，避免类似问题的发生。对于生产环境，建议建立完整的变更管理流程，并在非生产环境充分测试所有配置变更。