OKD项目CNI网络配置问题分析与解决方案

问题背景

在部署OKD 4.15.0版本的Compact集群架构时，管理员可能会遇到节点NotReady状态的问题。具体表现为master节点无法正常加入集群，通过检查kubelet服务日志会发现CNI(容器网络接口)配置缺失的错误提示："No CNI configuration file in /etc/kubernetes/cni/net.d/. Has your network provider started?"。

问题现象

当使用Agent安装程序在OCI环境下部署包含3个Master节点和2个Worker节点的OKD集群时，部分Master节点可能无法达到Ready状态。通过oc get nodes命令查看节点状态时，会显示类似如下的输出：

master01.ocp4.example.net NotReady control-plane,master 16h v1.27.6+b49f9d1
master02.ocp4.example.net Ready control-plane,master 17h v1.27.6+b49f9d1
master03.ocp4.example.net Ready control-plane,master 17h v1.27.6+b49f9d1

进一步检查问题节点的kubelet服务日志，会发现关键的CNI网络插件未就绪的错误信息。

问题原因分析

这个问题通常由以下两种原因导致：

1. CNI配置文件缺失：OKD集群的容器运行时(通常是CRI-O)需要正确的CNI配置文件才能为Pod提供网络连接。当/etc/kubernetes/cni/net.d/目录下缺少必要的配置文件时，kubelet无法初始化Pod网络。

2. 网络地址冲突：当集群网络CIDR与物理网络地址空间存在重叠时，会导致网络插件无法正常工作。这是部署OKD集群时常见的配置错误。

解决方案

方案一：手动创建CNI配置文件

对于CNI配置文件缺失的情况，可以按照以下步骤手动创建配置文件：

1. 登录到问题节点

2. 创建CNI配置文件目录（如果不存在）：

   mkdir -p /etc/kubernetes/cni/net.d/
   

3. 创建并写入CNI配置文件：

   cat << EOF | tee /etc/kubernetes/cni/net.d/10-containerd-net.conflist
   {
    "cniVersion": "1.0.0",
    "name": "containerd-net",
    "plugins": [
      {
        "type": "bridge",
        "bridge": "cni0",
        "isGateway": true,
        "ipMasq": true,
        "promiscMode": true,
        "ipam": {
          "type": "host-local",
          "ranges": [
            [{
              "subnet": "10.128.0.0/14"
            }]
          ],
          "routes": [
            { "dst": "0.0.0.0/0" },
            { "dst": "::/0" }
          ]
        }
      },
      {
        "type": "portmap",
        "capabilities": {"portMappings": true},
        "externalSetMarkChain": "KUBE-MARK-MASQ"
      }
    ]
   }
   EOF
   

4. 重启相关服务：

   systemctl restart crio
   systemctl restart kubelet
   systemctl status crio
   

注意：需要根据实际网络环境调整配置文件中的子网设置。

方案二：解决网络地址冲突

如果问题是由网络地址空间冲突引起的，需要重新规划网络配置：

1. 修改install-config.yaml文件，确保各网络段不重叠：

   networking:
     machineNetwork:
       - cidr: 10.10.0.0/16  # 必须与物理网络匹配
     clusterNetwork:
       - cidr: 10.128.0.0/14  # 不能与物理网络重叠
         hostPrefix: 23
     networkType: OVNKubernetes
     serviceNetwork:
       - 172.30.0.0/16  # 保持默认值
   

2. 关键配置原则：

   • machineNetwork必须与节点物理网络匹配
   • clusterNetwork不能与物理网络或服务网络重叠
   • serviceNetwork通常保持默认值即可

最佳实践建议

1. 网络规划阶段：

   • 在部署前详细规划所有网络段
   • 使用网络地址计算工具验证各段是否重叠
   • 为集群网络保留足够的地址空间

2. 部署验证：

   • 部署完成后立即检查所有节点状态
   • 使用oc get nodes和oc describe node <node-name>命令验证节点状态
   • 检查kubelet和CRI-O服务日志

3. 故障排查：

   • 首先确认是单个节点问题还是集群性问题
   • 检查/etc/kubernetes/cni/net.d/目录内容
   • 验证网络连通性和DNS解析

总结

OKD集群部署过程中的CNI网络问题通常可以通过正确的网络规划和配置文件管理来解决。管理员应当充分理解OKD的网络架构，特别是各网络段的作用和相互关系。通过合理的网络规划和及时的故障排查，可以确保集群网络正常工作，所有节点达到Ready状态。