解决Calico高可用集群中节点镜像拉取失败问题

问题背景

在部署高可用Kubernetes集群时，用户遇到了Calico网络组件在第二个控制平面节点上无法正常启动的问题。具体表现为calico-node和csi-node-driver等Pod处于Pending状态，事件日志显示这些Pod无法从DockerHub拉取所需的容器镜像。

环境配置

该高可用Kubernetes环境包含两个控制平面节点：

• k8sma（主节点，同时作为本地镜像仓库）
• k8smb（从节点）

用户已对Calico 3.29.1的部署清单进行了修改，将所有镜像路径指向本地仓库k8sma:5000。主节点上的Calico组件部署成功，但从节点上的相关Pod无法启动。

问题分析

1. 镜像拉取失败：从节点上的Pod尝试从docker.io拉取镜像而非配置的本地仓库
2. 网络连通性：从节点可能无法访问主节点的5000端口
3. 配置一致性：两个节点的容器运行时配置可能存在差异
4. 镜像同步：本地仓库中的镜像可能未正确同步到所有节点

解决方案

1. 验证容器运行时配置

确保两个节点的容器运行时（containerd）都正确配置了：

• 本地仓库地址
• 不安全的仓库设置（对于非HTTPS仓库）

检查/etc/containerd/config.toml文件，确认包含类似配置：

[plugins."io.containerd.grpc.v1.cri".registry.mirrors]
  [plugins."io.containerd.grpc.v1.cri".registry.mirrors."k8sma:5000"]
    endpoint = ["http://k8sma:5000"]

2. 检查网络连通性

验证从节点到主节点5000端口的连通性：

telnet k8sma 5000

3. 镜像预加载

作为临时解决方案，可以手动将所需镜像加载到从节点：

docker pull k8sma:5000/calico/pod2daemon-flexvol:v3.29.1

4. 修改Calico部署配置

在custom-resources.yaml中明确指定镜像仓库：

apiVersion: operator.tigera.io/v1
kind: Installation
metadata:
  name: default
spec:
  registry: k8sma:5000
  calicoNetwork:
    ipPools:
    - blockSize: 26
      cidr: 192.168.0.0/16
      encapsulation: VXLANCrossSubnet
      natOutgoing: Enabled
      nodeSelector: all()

5. 验证部署

应用配置变更后，检查Pod状态：

kubectl get pods -n calico-system -o wide
kubectl describe pod <pending-pod-name> -n calico-system

最佳实践建议

1. 镜像仓库高可用：考虑部署高可用的镜像仓库解决方案
2. 镜像同步机制：设置定期同步策略确保所有节点访问的仓库内容一致
3. 网络策略：确保Calico网络策略允许控制平面节点间的必要通信
4. 部署前验证：在加入新节点前，验证其容器运行时配置和网络连通性

总结

在离线环境或限制外网访问的Kubernetes集群中部署Calico时，确保所有节点都能访问配置的镜像仓库是关键。通过统一的容器运行时配置、网络连通性验证和适当的镜像同步策略，可以避免类似问题的发生。对于生产环境，建议建立完善的镜像仓库管理和节点加入验证流程。