k3s-ansible部署中Agent节点CA证书获取失败问题分析

问题现象

在基于k3s-ansible工具部署K3s集群时，Agent节点启动失败并报错："failed to get CA certs: Get "https://127.0.0.1:6444/cacerts": EOF"。当在问题节点上手动执行curl测试时，同样出现SSL读取异常："error:0A000126:SSL routines::unexpected eof while reading"。

根本原因

该问题通常与节点间的网络通信限制有关，具体表现为：

1. 端口访问限制：6444端口是K3s集群内部通信的关键端口，用于证书分发等安全通信。当该端口被防火墙或安全组规则阻止时，Agent节点将无法获取必要的CA证书。

2. 本地回环限制：虽然错误显示访问的是127.0.0.1，但在K3s架构中，Agent节点需要通过这个本地端口与K3s建立安全隧道来获取集群证书。

3. ARM架构特殊性：在ARM64架构设备上，某些网络配置可能需要额外注意，特别是当使用定制硬件（如文中提到的Turing Pi RK1）时。

解决方案

1. 检查防火墙配置

在所有节点上执行以下检查：

sudo iptables -L -n | grep 6444
sudo ufw status | grep 6444

确保6444端口没有被阻止。如果需要开放端口：

sudo ufw allow 6444/tcp

2. 验证节点间网络连通性

从Agent节点测试到Server节点的连通性：

telnet <server-ip> 6444
nc -zv <server-ip> 6444

3. 检查K3s服务状态

在Server节点确认K3s服务正常运行：

sudo systemctl status k3s
journalctl -u k3s -f

4. 检查证书文件权限

确保Server节点上的证书文件可读：

sudo ls -la /var/lib/rancher/k3s/server/tls/
sudo chmod 644 /var/lib/rancher/k3s/server/tls/*.crt

预防措施

1. 预部署检查：在运行ansible-playbook前，先确保所有节点间的必要端口（6443、6444等）互通。

2. 使用verbose模式：部署时添加-vvv参数获取更详细的错误信息：

ansible-playbook -i inventory.yml site.yml -vvv

3. 分阶段验证：先确保Server节点部署成功，再逐步添加Agent节点。

架构说明

K3s使用6444端口作为内部通信端口，该端口负责：

• 新节点加入时的证书分发
• 集群组件间的安全通信
• 节点状态同步

理解这一架构特点有助于快速定位类似网络通信问题。当部署出现问题时，应该首先检查这一关键端口的连通性。

总结

在K3s集群部署过程中，Agent节点无法获取CA证书的问题多数源于网络配置。特别是在边缘计算场景或使用非标准硬件时，更需要关注基础网络环境的准备。通过系统化的网络验证和权限检查，可以避免大部分证书相关的部署问题。