RKE集群节点注册失败问题排查与解决方案

问题背景

在使用Rancher Kubernetes Engine(RKE)部署Kubernetes集群时，用户尝试通过新的Ubuntu 22.04.3模板添加工作节点到下游集群(v1.26.8)时遇到了节点无法成功注册的问题。节点在创建后卡在"Waiting to register with Kubernetes"状态，而基于Ubuntu 18.04.6模板的节点则可以正常注册。

错误现象分析

从Rancher日志中可以看到关键错误信息：

[ERROR] error syncing 'c-kk7ws/m-rj7nh': handler rke-worker-upgrader: getNodePlan error for node [m-rj7nh]: failed to find plan for 10.171.30.19, requeuing

当尝试手动启动kubelet容器时，出现权限拒绝错误：

Error response from daemon: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: exec: "/opt/rke-tools/entrypoint.sh": permission denied: unknown

根本原因

经过深入排查，发现问题根源在于Docker存储卷的挂载配置。具体原因是：

1. /var/lib/docker目录被挂载时使用了noexec选项，这导致Docker无法在该目录下执行容器内的可执行文件
2. 这个挂载选项阻止了容器入口点脚本的执行，进而导致kubelet容器启动失败
3. 节点无法完成Kubernetes注册流程，因为关键的kubelet组件无法正常运行

解决方案

第一步：修复Docker存储卷挂载

1. 检查当前挂载选项：

   mount | grep /var/lib/docker
   

2. 如果发现noexec选项，需要重新挂载该目录：

   sudo mount -o remount,exec /var/lib/docker
   

3. 确保永久生效，需要修改/etc/fstab文件，移除noexec选项

第二步：验证kubelet配置

在解决挂载问题后，可能会遇到kubelet无法预留临时存储的问题。这通常是由于/var/lib/kubelet/config.yaml配置文件格式错误导致的。

正确的配置文件示例：

apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
readOnlyPort: 10255
logging:
  format: json
  sanitization: false
systemReserved:
  "cpu": "0.25"
  "memory": "500Mi"
kubeReserved:
  "cpu": "0.25"
  "memory": "500Mi"
  "ephemeral-storage": "500Mi"
evictionHard:
  "memory.available": "150Mi"
  "imagefs.available": "3%"
  "imagefs.inodesFree": "3%"
  "nodefs.available": "3%"
  "nodefs.inodesFree": "3%"
evictionMinimumReclaim:
  "nodefs.available": "400Mi"
  "imagefs.available": "400Mi"

关键注意事项：

1. 所有资源键名必须使用引号括起来
2. 确保资源配置值格式正确
3. 检查缩进和YAML语法

经验总结

1. 挂载选项检查：在部署容器化环境时，务必确保Docker存储目录没有限制性挂载选项，特别是noexec和nosuid

2. 配置验证：Kubernetes组件的配置文件对格式要求严格，YAML文件中的键名必须正确引用

3. 版本兼容性：虽然问题表面看起来与Ubuntu版本有关，但实际是配置问题，说明不能仅凭表象判断问题原因

4. 日志分析：容器启动失败时，Docker日志和Kubernetes组件日志都能提供有价值的线索

通过系统性地排查挂载选项和配置文件，可以解决这类节点注册失败的问题，确保RKE集群能够正常扩展和维护。