Submariner项目中跨集群Pod通信问题分析与解决方案

问题背景

在使用Submariner项目实现Kubernetes多集群网络互联时，用户遇到了一个典型问题：当业务Pod部署在非网关节点上时，跨集群的Pod间通信无法正常工作。具体表现为通过curl访问时请求无响应，而如果服务都部署在网关节点上则通信正常。

环境配置

• Kubernetes版本：1.25.3
• Submariner版本：0.18.0
• CNI插件：Calico（使用VXLAN模式）
• 部署了两个集群（cluster1和cluster2）通过Submariner连接

问题现象分析

通过详细排查，发现问题出在Linux内核的FORWARD链上。默认情况下，FORWARD链的策略为DROP，而跨集群通信的数据包未能匹配任何规则，导致数据包被丢弃。当将FORWARD链的默认策略改为ACCEPT或添加适当的规则后，通信恢复正常。

技术原理深入

Submariner实现跨集群通信的数据路径可以分为以下几个关键阶段：

1. 出站路径（Egress）：

   • 源集群非网关节点Pod -> 源集群网关节点：通过vx-submariner虚拟接口
   • 源集群网关节点 -> 目标集群网关节点：通过IPSec隧道

2. 入站路径（Ingress）：

   • IPSec数据包解密
   • CNI插件（Calico）负责将数据包转发到目标Pod

3. 响应路径：

   • 目标集群非网关节点Pod -> 目标集群网关节点
   • 目标集群网关节点 -> 源集群网关节点
   • IPSec解密后由Calico转发回源Pod

根本原因

问题核心在于Calico配置与网络策略的交互。当使用VXLAN模式时：

1. 跨集群通信的数据包源IP是另一集群的Pod IP，不属于本地集群CIDR范围
2. 默认的FORWARD链DROP策略会丢弃这些"异常"数据包
3. 网关节点上的路由表显示对远程集群CIDR的路由为"unreachable"

解决方案评估

临时解决方案

修改FORWARD链默认策略为ACCEPT：

iptables -P FORWARD ACCEPT

推荐解决方案

1. Calico配置优化：

   • 确认Calico的IPPool配置正确，特别是natOutgoing设置为true
   • 检查默认的default-ipv4-ippool配置

2. 网络策略调整：

   • 添加明确的FORWARD链规则允许跨集群通信
   • 确保不破坏现有安全策略

3. Submariner组件管理：

   • 定期重启RouteAgent组件以保持路由同步
   • 监控网关节点状态

性能考量

测试发现不同Calico封装模式对性能有显著影响：

1. CrossSubnet模式：

   • 接近主机间直接通信性能（约1GB/s）
   • 推荐用于同数据中心集群互联

2. VXLAN Always模式：

   • 性能下降约2/3（约200MB/s）
   • 必要时的跨网络环境解决方案

最佳实践建议

1. 生产环境应优先使用CrossSubnet模式以获得最佳性能
2. 跨复杂网络环境时可考虑VXLAN Always模式
3. 定期检查网关节点路由表和iptables规则
4. 实施监控告警机制，及时发现连接问题

总结

Submariner作为多集群网络解决方案，在实际部署时需要特别注意CNI插件配置与主机网络策略的协调。通过合理配置Calico和系统网络策略，可以构建既安全又高效的跨集群通信网络。本文描述的问题和解决方案为类似环境部署提供了重要参考。