解决Submariner在私有云集群中连接问题的方法

Submariner是一个用于连接多个Kubernetes集群的开源项目，它允许不同集群中的Pod和服务直接通信。在实际部署过程中，特别是在私有云环境中，可能会遇到连接问题。本文将详细介绍如何解决Submariner在私有云OKD集群中连接状态卡在"Connecting"的问题。

问题背景

在私有云环境中部署了两个OKD集群，分别运行在RHV 4.4和OpenStack Bobcat平台上。使用subctl工具部署Submariner后，发现集群间的连接状态一直停留在"Connecting"，无法建立正常连接。

环境分析

1. 集群环境：

   • 两个OKD集群（4.13和4.14版本）
   • 位于同一公共IP后面
   • 使用Fortinet防火墙，所有端口已开放

2. 尝试过的连接方式：

   • 使用--natt=false参数
   • 尝试--force-udp-encaps参数
   • 最后尝试--air-gapped参数（仅用于私有IP环境）

问题诊断

通过分析Submariner网关Pod的日志，发现以下关键信息：

1. 网关Pod无法通过UDP端口4490与其他集群的网关通信
2. 一个集群的网关可以接收连接，但另一个集群的网关无法建立连接
3. NAT发现过程超时，最终回退到使用私有IP的旧设置

根本原因

问题出在OpenStack安全组配置上。虽然使用了subctl cloud prepare rhos命令生成了安全组规则，但这些规则可能没有正确创建或配置，导致：

1. 必要的UDP端口（特别是4490和4500）被阻止
2. 集群间的加密隧道无法建立
3. NAT穿越功能失效

解决方案

1. 创建新的安全组规则：

   • 为集群节点创建一个新的安全组
   • 允许所有UDP端口（临时解决方案）
   • 应用这个安全组到所有网关节点

2. 验证连接状态：

   • 使用subctl show connections检查连接状态
   • 确认状态从"Connecting"变为"Connected"

3. 优化安全组规则：

   • 在生产环境中，应精确配置所需端口而非开放所有UDP
   • 确保以下端口开放：
     • UDP 4490（NAT发现）
     • UDP 4500（加密通信）
     • UDP 4800（VXLAN数据通道）

最佳实践建议

1. 网络准备：

   • 在部署前确保网络基础设施支持集群间通信
   • 验证防火墙规则是否允许必要的端口

2. 部署验证：

   • 使用subctl diagnose all进行全面诊断
   • 检查网关Pod日志以获取详细错误信息

3. 安全组配置：

   • 仔细检查subctl cloud prepare生成的规则
   • 必要时手动调整安全组规则

4. 混合环境考虑：

   • 私有云环境可能需要特殊配置
   • 考虑使用--air-gapped参数（仅私有IP环境）

总结

在私有云环境中部署Submariner时，网络配置特别是安全组规则是关键。通过正确配置安全组规则，确保必要的UDP端口开放，可以解决连接状态卡在"Connecting"的问题。建议在部署前充分规划网络架构，并在部署后进行全面验证，以确保集群间的连通性。