Kube-OVN Underlay模式安装失败问题分析与解决方案

问题背景

在使用Kube-OVN的Underlay模式进行安装时，用户遇到了安装失败的问题。具体表现为kube-ovn-cni组件无法正常启动，且无法ping通子网join的网关地址。该问题发生在Fedora Server 40系统上，使用Linux 5.8内核，通过sealos搭建的6节点Kubernetes集群（3个master节点和3个worker节点）。

问题现象

1. 安装过程卡在某个阶段无法继续
2. kube-ovn-cni组件无法正常启动
3. 查看CNI日志发现网络连接问题
4. 默认子网配置异常
5. CNI组件无法ping通子网join的网关地址

技术分析

Underlay模式工作原理

Kube-OVN的Underlay模式允许容器直接使用底层网络基础设施，而不是通过Overlay网络隧道。这种模式下，Pod的IP地址直接分配自物理网络，可以实现更高的网络性能和更低的延迟。

可能的原因分析

1. 网络配置冲突：可能是之前安装过Kube-OVN未完全清理干净，导致新旧配置冲突
2. 网关检查失败：默认情况下Kube-OVN会检查网关可达性，如果网络环境特殊可能导致检查失败
3. VLAN配置问题：启用了VLAN但相关参数配置不正确
4. 子网划分问题：join子网应该是Overlay网络的，但配置可能存在问题

解决方案

1. 彻底清理环境

在重新安装前，必须确保彻底清理之前的Kube-OVN安装。清理步骤包括：

• 删除/etc/cni/net.d目录下的相关配置
• 清理OVS相关的网络配置
• 重启所有节点以确保完全清除残留配置

2. 调整安装参数

修改install.sh脚本中的关键参数：

# 禁用网关检查
CHECK_GATEWAY=false

# 确保VLAN配置正确
ENABLE_VLAN=true
VLAN_INTERFACE_NAME="指定物理网卡名称"

3. 验证网络配置

确保POD_CIDR和POD_GATEWAY参数设置正确：

• POD_CIDR应与底层网络规划一致，如"10.16.0.0/16"
• POD_GATEWAY应为底层网络的实际网关地址，如"10.16.0.1"

4. 检查网络连通性

在安装前，手动验证网络连通性：

1. 确认各节点间网络互通
2. 验证网关地址可达
3. 检查VLAN配置是否正确应用到物理网卡

最佳实践建议

1. 环境准备：在安装前确保网络环境干净，没有残留配置
2. 参数验证：仔细核对所有网络参数，确保与底层网络规划一致
3. 分步验证：安装后逐步验证各组件状态，及时发现并解决问题
4. 日志分析：遇到问题时，详细分析各组件日志以定位问题根源

总结

Kube-OVN的Underlay模式安装失败通常与网络配置和环境清理不彻底有关。通过彻底清理环境、正确配置参数和验证网络连通性，可以解决大多数安装问题。对于生产环境，建议在测试环境充分验证后再进行部署，确保网络配置的正确性和稳定性。