Rancher Submariner跨集群网络连接故障排查与解决方案

问题背景

在使用Rancher Submariner构建跨Kubernetes集群网络连接时，用户遇到了安装过程中断和连接不稳定的问题。Submariner是一个专为Kubernetes设计的网络插件，能够实现跨集群的Pod间直接通信和服务发现。

故障现象

用户在部署Submariner时遇到以下主要问题：

1. 部署broker时长时间不完成，最终需要手动终止
2. 诊断防火墙时出现goroutine错误
3. 连接建立后不稳定，频繁断开
4. 集群中出现残留的uninstall pods

技术分析

1. 部署中断问题

部署过程中断的根本原因是集群间的防火墙规则限制了必要的通信端口。Submariner需要以下端口开放才能正常工作：

• UDP 4500端口：用于IPSec NAT穿越
• UDP 4490端口：用于NAT发现
• TCP 8080端口：用于指标收集

当这些端口被防火墙阻止时，部署过程会卡在等待连接建立的阶段。

2. Endpoint资源异常

在正常运行的Submariner集群中，每个集群应该只有一个Endpoint资源。但在故障场景中观察到：

• 一个集群出现3个Endpoint
• 另一个集群出现2个Endpoint

这表明集群中存在多个网关实例或资源同步异常。Endpoint资源由Submariner网关组件创建和维护，用于存储集群的网络拓扑信息。

3. 连接不稳定的根本原因

日志分析发现，Submariner网关创建的Endpoint资源被意外删除。这通常发生在以下情况：

1. 快速连续执行卸载和重新安装操作
2. 卸载过程中断导致清理不完整
3. 多个网关实例竞争管理Endpoint资源

当Endpoint被删除后，跨集群连接将无法建立或维持。

4. 残留的uninstall pods

Submariner卸载过程中会创建uninstall pods来清理节点上的配置。正常情况下，这些pods完成任务后会自动删除。但在故障场景中，它们持续运行，表明：

• 卸载过程被中断
• 或者清理任务未能成功完成

这些残留的pods会干扰新安装的Submariner实例正常工作。

解决方案

1. 防火墙配置

确保集群间开放以下端口：

• UDP 4500
• UDP 4490
• TCP 8080

2. 彻底清理环境

在重新安装前执行完整清理：

1. 删除所有Submariner相关的命名空间：

   kubectl delete ns submariner-operator submariner-k8s-broker
   

2. 手动删除残留的daemonsets：

   kubectl delete ds -n submariner-operator submariner-gateway-uninstall
   

3. 检查并删除所有CRD资源：

   kubectl delete crd submariners.submariner.io servicediscoveries.submariner.io
   

3. 正确安装流程

1. 在第一个集群上部署broker：

   subctl deploy-broker --kubeconfig cluster1-kubeconfig
   

2. 在第一个集群上加入broker：

   subctl join --kubeconfig=cluster1-kubeconfig broker-info.subm
   

3. 在第二个集群上加入同一个broker：

   subctl join --kubeconfig=cluster2-kubeconfig broker-info.subm
   

4. 验证安装

使用以下命令验证连接状态：

subctl show all
subctl diagnose all

最佳实践建议

1. 避免快速重装：在卸载和重新安装之间留出足够时间，确保清理完成

2. 监控网关日志：定期检查网关pod日志，及时发现连接问题

3. 使用稳定版本：确保使用经过验证的Submariner版本

4. 预检查环境：在安装前使用diagnose命令检查环境兼容性

5. 资源监控：安装后验证Endpoint和Cluster资源的数量是否符合预期

总结

Submariner跨集群网络连接问题通常源于环境配置不完整或资源同步异常。通过系统化的排查方法，包括日志分析、资源检查和环境验证，可以有效解决大多数连接问题。关键是要理解Submariner的架构原理，特别是Endpoint资源的作用和同步机制，这样才能快速定位和解决问题。