Submariner项目中Calico VXLAN模式对跨集群通信的影响分析

背景介绍

在Kubernetes多集群环境中，Submariner是一个常用的跨集群网络解决方案。当与Calico CNI插件结合使用时，网络工程师们经常会遇到一些特定的配置挑战。本文重点分析在Submariner环境下，Calico使用VXLAN封装模式时对跨集群通信性能的影响。

问题现象

在Submariner 0.18.0版本与Kubernetes 1.25.3环境中，当Calico配置为VXLAN模式时，用户观察到以下现象：

1. 非网关节点上的Pod之间跨集群通信失败
2. 网关节点的路由表中出现"unreachable"路由条目
3. 网络性能显著下降，带宽测试显示吞吐量降低约2/3

技术分析

跨集群通信数据路径

Submariner的跨集群通信数据路径可分为以下几个关键阶段：

1. 出口阶段1：源Pod（非网关节点）→ 源集群网关节点（通过vx-submariner）
2. 出口阶段2：源集群网关节点 → 目标集群网关节点（通过IPSec隧道）
3. 入口阶段1：IPSec数据包解密
4. 入口阶段2：Calico将数据包转发至目标Pod
5. 返回路径：类似过程反向进行

VXLAN模式的影响

Calico的VXLAN模式配置会显著影响跨集群通信：

1. CrossSubnet模式：

   • 仅在跨子网通信时使用VXLAN封装
   • 性能接近裸机网络
   • 源IP保持为Pod IP

2. Always模式：

   • 所有通信都使用VXLAN封装
   • 性能下降明显
   • 源IP变为网关节点IP

路由表分析

在网关节点上，Submariner会创建特定的路由表（table 150）来处理跨集群通信：

10.96.0.0/16 dev ens192 proto static scope link src 10.202.44.192 
10.244.0.0/16 dev ens192 proto static scope link src 10.202.44.192

这些路由确保了跨集群流量能够正确转发。

性能对比测试

通过iperf3进行的带宽测试显示了不同配置下的性能差异：

1. 节点间直接通信：

   • 吞吐量：约1GB/s

2. Pod间通信（CrossSubnet模式）：

   • 吞吐量：约950MB/s
   • 接近裸机性能

3. Pod间通信（Always模式）：

   • 吞吐量：约200MB/s
   • 性能下降约2/3

解决方案与建议

1. 网络策略调整：

   • 确保FORWARD链的默认策略为ACCEPT
   • 或添加明确的规则允许跨集群流量

2. Calico配置选择：

   • 在安全环境允许的情况下，优先使用CrossSubnet模式
   • 仅在需要严格安全控制时使用Always模式

3. 路由验证：

   • 定期检查网关节点的路由表（特别是table 150）
   • 确认跨集群CIDR路由正确配置

4. 组件重启：

   • 必要时重启Submariner RouteAgent组件
   • 命令：kubectl delete pods -n submariner-operator -l app=submariner-routeagent

最佳实践

1. 在生产环境部署前，务必进行全面的性能测试
2. 根据实际安全需求选择合适的Calico封装模式
3. 监控跨集群通信的延迟和吞吐量指标
4. 定期检查Submariner各组件的日志和状态

总结

Submariner与Calico的集成提供了强大的跨集群通信能力，但需要仔细配置以获得最佳性能。理解数据路径和不同封装模式的影响，对于设计和维护高效的Kubernetes多集群网络至关重要。通过合理的配置和持续的监控，可以在安全性和性能之间取得良好平衡。