Submariner跨集群网络连通性故障排查指南

问题背景

在Kubernetes多集群环境中使用Submariner组件时，虽然subctl show all和subctl diagnose all命令显示所有检查项均正常通过，但实际跨集群Pod间的网络通信却出现失败情况。这种情况在OCP 4.12至4.14版本升级过程中出现，Submariner版本为v0.16.3。

现象分析

从诊断输出可以看到：

• 两个集群间的网关连接状态显示为"connected"
• 各组件Pod均运行正常
• 网络插件检测为OVNKubernetes且版本受支持
• 集群CIDR和服务CIDR无重叠
• 所有Submariner组件版本一致

然而实际测试中，从一个集群的Pod ping另一个集群的Pod时出现100%丢包，表明数据平面存在通信问题。

深入排查方法

1. 使用subctl verify命令

subctl verify命令是Submariner提供的端到端测试工具，它比基础诊断命令更全面，能够验证包括Pod到Pod数据路径在内的各种场景。该命令会：

• 创建测试Pod
• 执行跨集群通信测试
• 验证服务发现功能
• 检查网关连接质量

2. 防火墙规则检查

虽然基础诊断显示防火墙允许集群内VXLAN流量，但跨集群防火墙规则需要额外验证。建议手动运行：

subctl diagnose firewall inter-cluster

该命令会验证必要的端口和协议是否在集群间开放。

3. 网关节点日志检查

查看Submariner网关Pod的日志可以获取更详细的连接信息：

kubectl logs -n submariner-operator <gateway-pod-name>

4. 数据包跟踪

在出现问题的Pod所在节点上，可以使用tcpdump等工具捕获数据包，观察流量是否被正确路由。

解决方案

在本案例中，通过重新安装Submariner解决了问题。这表明可能存在某些配置在初始安装时未能正确应用，而标准诊断命令未能捕获这些细微问题。

最佳实践建议

1. 升级前后验证：在集群升级前后都应执行完整的Submariner功能验证
2. 全面诊断：不仅依赖基础诊断命令，还应定期运行subctl verify
3. 监控告警：设置对Submariner连接状态的持续监控
4. 版本兼容性：确保Submariner版本与Kubernetes/OCP版本完全兼容

总结

Submariner作为Kubernetes多集群网络解决方案，其状态检查命令提供了基础的健康指标，但在复杂环境中可能需要更深入的排查手段。当遇到类似"所有检查通过但通信失败"的情况时，建议采用层级式排查方法，从端到端测试开始，逐步深入到具体网络路径分析，以确保跨集群通信的可靠性。