Harvester集群节点加入失败问题分析与解决

问题背景

在使用Harvester 1.4.0版本构建私有云环境时，用户尝试向现有集群添加第二个节点时遇到了TLS证书验证失败的问题。新节点无法成功加入集群，系统日志显示"tls: failed to verify certificate"错误。

错误现象

当新节点尝试加入使用私有CA证书配置的Harvester集群时，rancher-system-agent服务启动失败，具体错误信息如下：

Feb 16 03:33:08.642510 catamount rancher-system-agent[3138]: time="2025-02-16T03:33:08Z" level=fatal msg="error while connecting to Kubernetes cluster: Get \"https://harvester.domain/version\": tls: failed to verify certificate: x>
Feb 16 03:33:08.644106 catamount systemd[1]: rancher-system-agent.service: Main process exited, code=exited, status=1/FAILURE

问题分析

这个问题通常发生在以下场景中：

1. Harvester集群配置了自定义SSL证书
2. 新节点使用FQDN(完全限定域名)加入集群
3. 新节点系统未正确识别集群使用的私有CA证书

根本原因是新节点的操作系统信任存储中没有包含集群使用的私有CA证书，导致TLS握手过程中证书验证失败。

解决方案

对于Harvester集群使用自定义证书的情况，需要在新节点上执行以下步骤：

1. 准备CA证书文件：确保拥有集群使用的私有CA证书文件

2. 修改节点配置：

   • 在安装过程中或安装完成后，将CA证书添加到节点的信任存储中
   • 对于基于RHEL/CentOS的系统，可以将CA证书放入/etc/pki/ca-trust/source/anchors/目录
   • 执行update-ca-trust命令更新系统信任存储

3. Harvester特定配置：

   • 在Harvester的安装配置中添加"additional-ca"设置
   • 指定私有CA证书的路径
   • 确保证书文件权限正确(通常应为644)

4. 重启相关服务：

   • 重启rancher-system-agent服务
   • 必要时重启节点

最佳实践建议

1. 证书管理：

   • 为Harvester集群维护统一的证书管理策略
   • 确保证书有效期足够长，避免频繁更换
   • 考虑使用通配符证书简化多节点管理

2. 节点加入流程：

   • 预先在所有节点上安装好私有CA证书
   • 建立标准化的节点加入检查清单
   • 记录证书标识信息便于验证

3. 故障排查：

   • 使用openssl命令验证证书链
   • 检查系统日志中的详细TLS握手信息
   • 对比工作节点和非工作节点的证书配置差异

总结

Harvester集群节点加入过程中的TLS证书验证问题通常与私有CA证书配置有关。通过正确配置系统信任存储和Harvester的additional-ca设置，可以确保新节点能够成功验证集群证书并完成加入流程。对于生产环境，建议建立标准化的证书管理流程，以简化集群扩展和维护工作。