Submariner跨集群服务通信问题排查与解决方案

问题背景

在使用Submariner连接两个Kubernetes集群时，遇到了跨集群服务无法访问的问题。两个集群部署在相同的AWS VPC网络中，使用kubeadm部署，并采用Calico作为CNI插件。集群配置如下：

• 集群1：
  • Pod CIDR: 10.241.0.0/16
  • Service CIDR: 10.111.0.0/16
• 集群2：
  • Pod CIDR: 10.242.0.0/16
  • Service CIDR: 10.112.0.0/16

问题现象

按照官方文档部署Submariner后，发现以下异常情况：

1. 使用subctl show connections命令检查连接状态时，仅显示单向连接（正常应显示双向连接）
2. 跨集群服务无法解析和访问
3. 服务导出后未创建相应的ServiceImport资源

排查过程

1. 基本连接检查

首先使用subctl diagnose all命令进行基础诊断，发现IPSec隧道已建立，但服务发现功能异常。这表明网络层连接正常，但服务发现层存在问题。

2. Calico配置验证

检查Calico的IPPool配置，确认已正确设置：

• 集群1中禁用了集群2的CIDR范围
• 集群2中禁用了集群1的CIDR范围
• 默认IPPool配置正确

3. 服务发现组件检查

检查ServiceImport资源，发现未自动创建，这表明服务发现组件可能存在问题。进一步检查Submariner Operator日志，发现以下关键信息：

Failed to reconcile ServiceExport
Error syncing service export

4. 深入诊断

使用subctl verify命令进行详细验证：

subctl verify --context cluster1 --tocontext cluster2 --only connectivity,service-discovery --verbose

输出显示服务发现测试失败，但网络连通性测试通过。

解决方案

经过多次测试和验证，发现以下解决方案：

1. 启用GlobalNet：虽然两个集群的CIDR范围不重叠，理论上不需要GlobalNet，但启用GlobalNet后问题解决。这表明可能存在某些隐蔽的IP冲突或路由问题。

2. 重新部署方案：

   • 清理现有Submariner部署
   • 使用GlobalNet选项重新部署
   • 验证服务发现功能

经验总结

1. 即使CIDR范围不重叠，在某些网络环境下仍可能需要启用GlobalNet
2. 完整的诊断应包括：
   • 网络层连通性验证
   • 服务发现组件状态检查
   • CNI插件配置审查
3. 使用subctl gather命令收集完整日志对问题定位至关重要

最佳实践建议

1. 在生产环境部署前，先在测试环境验证所有功能
2. 详细记录部署过程中的所有配置变更
3. 对于复杂网络环境，考虑默认启用GlobalNet
4. 定期使用subctl verify命令验证集群间连接状态

通过这次问题排查，我们深入理解了Submariner在复杂网络环境下的行为特征，为今后类似问题的解决积累了宝贵经验。