Rancher项目中AWS EC2下游RKE2集群激活问题解析

问题背景

在Rancher v2.11.0-alpha11版本中，用户尝试在AWS EC2上部署下游RKE2集群时遇到了集群无法激活的问题。具体表现为集群状态长时间停留在"Updating"状态，并显示等待代理检查并应用初始计划的提示信息。

问题现象

当管理员通过Rancher UI创建AWS EC2 RKE2集群时，按照正常流程填写所有必要信息后，集群无法在预期时间内(通常10分钟左右)进入"Active"状态。系统日志显示集群卡在配置引导节点阶段，提示"waiting for agent to check in and apply initial plan"。

根本原因分析

经过深入调查，发现问题源于CA证书校验失败。具体机制如下：

1. Rancher部署配置中固定包含了hostPort: 6666的设置，这导致系统内部API TLS标志(tls.InternalAPI)被自动设置为true。

2. 当tls.InternalAPI为true时，Rancher会使用内部CA证书(internal-cacerts)而非标准CA证书(cacerts)进行安全验证。

3. 然而，系统代理安装脚本(install.sh)中仍然配置了验证标准CA证书的校验和(CATTLE_CA_CHECKSUM)，与实际获取的内部CA证书不匹配。

4. 这种不匹配导致证书验证失败，进而阻止了集群节点的正确初始化和激活。

技术细节

在问题复现过程中，技术人员发现以下关键证据：

1. 从/var/log/cloud-init-output.log日志中可见明确的证书校验失败信息：

[ERROR] Configured cacerts checksum (2711819a0d05774592bfb84adafd166ebbaaec57eaaea6e0a3e26ccc5c1012fa) does not match given --ca-checksum (215197b7afc0589014bb44f09bfc999a8971fba147a9e8de32e4df0971108a11)

2. 通过检查安装脚本/usr/local/custom_script/install.sh，确认其中配置的CATTLE_CA_CHECKSUM值与实际从Rancher服务器获取的证书校验和不一致。

3. 手动修正安装脚本中的CA校验和后，集群能够正常部署，这验证了问题的根本原因确实是证书校验不匹配。

解决方案

Rancher开发团队在后续版本(v2.11.0-alpha13)中修复了此问题。修复方案主要包括：

1. 统一证书校验逻辑，确保系统代理安装脚本能够正确处理内部和标准CA证书的验证。

2. 优化证书获取机制，根据tls.InternalAPI标志动态选择正确的证书源。

3. 增强错误处理逻辑，在证书校验失败时提供更明确的错误信息和解决方案提示。

验证结果

在Rancher v2.11.0-alpha13版本中，测试人员确认：

1. AWS EC2下游RKE2集群能够正常部署并自动激活。

2. 集群节点能够正确完成初始化，不再出现卡在"Updating"状态的情况。

3. 系统日志中不再出现证书校验失败的报错信息。

4. 集群版本信息显示为预期值(v1.32.2+rke2r1)，所有组件正常运行。

最佳实践建议

对于使用Rancher管理Kubernetes集群的管理员，建议：

1. 始终使用经过充分测试的稳定版本，特别是在生产环境中。

2. 部署前检查Rancher服务器的证书配置，确保其完整性和正确性。

3. 关注部署日志，特别是/var/log/cloud-init-output.log中的关键信息。

4. 对于自定义证书环境，提前验证证书链的完整性和浏览器兼容性。

5. 定期更新Rancher和下游集群到最新稳定版本，以获取安全修复和功能改进。

通过理解这一问题的产生和解决过程，用户可以更深入地掌握Rancher集群部署机制，并在遇到类似问题时能够快速定位和解决。