Kubernetes AWS负载均衡控制器版本升级导致就绪探针失败问题分析

问题背景

在使用Kubernetes AWS负载均衡控制器(aws-load-balancer-controller)时，用户报告在将Helm Chart版本从1.6.2升级到1.7.x后，出现了Pod就绪探针(Readiness Probe)失败的问题，错误信息显示HTTP探针返回404状态码。这个问题在Helm Chart 1.4.1至1.6.2版本中不存在，仅在升级到1.7.x版本后出现。

问题现象

升级后，aws-load-balancer-controller Pod的日志显示服务正常启动，但就绪探针检查失败。日志中可以看到控制器版本为v2.4.6，并且正常注册了各种webhook和健康检查端点。然而，就绪探针配置检查的/readyz端点返回404错误。

根本原因分析

经过调查，发现这个问题与Helm Chart和控制器镜像版本的兼容性有关：

1. 健康检查端点变更：从控制器v2.7.0版本开始，健康检查端点从/healthz变更为/readyz，这是Kubernetes社区推荐的标准做法。

2. 版本不匹配：Helm Chart 1.7.x版本默认配置了新的就绪探针路径(/readyz)，但用户环境中运行的控制器镜像版本(v2.4.6)尚未实现这个新端点，导致404错误。

3. Helm Chart更新机制：某些Helm客户端工具(如Lens)在升级时可能保留了旧的镜像标签设置，没有自动更新到与Chart版本匹配的控制器版本。

解决方案

针对这个问题，有以下几种解决方法：

1. 升级控制器镜像版本： 将控制器镜像升级到v2.7.0或更高版本，这些版本实现了/readyz端点，与Helm Chart 1.7.x的配置兼容。

2. 临时回退探针配置： 如果暂时无法升级控制器版本，可以手动修改就绪探针配置，将路径从/readyz改回/healthz：

   readinessProbe:
     httpGet:
       path: /healthz
       port: 61779
   

3. 确保版本匹配： 在升级Helm Chart时，确保同时更新控制器镜像版本，遵循官方推荐的版本对应关系。

最佳实践建议

1. 版本兼容性检查：在升级任何Kubernetes组件前，务必检查版本兼容性矩阵，特别是控制器和其管理Chart的版本对应关系。

2. 渐进式升级：在生产环境中，建议先在小规模测试环境中验证升级过程，确认所有功能正常后再推广到整个集群。

3. 监控健康状态：升级后密切监控Pod的健康状态和日志，及时发现并解决类似问题。

4. 理解变更内容：关注项目变更日志，了解每个版本引入的重大变更，特别是涉及API和健康检查机制的改动。

总结

Kubernetes生态系统中组件间的版本兼容性至关重要。AWS负载均衡控制器在v2.7.0版本引入了符合Kubernetes最佳实践的健康检查端点变更，这要求用户在使用新版本Helm Chart时也需要相应升级控制器镜像版本。通过理解这一变更背后的设计意图和正确的升级方法，可以确保服务平稳运行并享受新版本带来的改进。