Submariner项目中Calico网络环境下跨集群服务发现的故障排查与解决

背景概述

在Kubernetes多集群环境中，Submariner作为网络互联解决方案，能够实现跨集群的服务发现和网络连通。本文记录了一个典型故障案例：在Calico CNI环境下，虽然Submariner的诊断工具显示所有检查通过，但实际跨集群服务发现功能却无法正常工作。

环境配置

用户环境包含两个Kubernetes集群，关键网络配置如下：

• 集群1:
  • 集群CIDR: 10.46.0.0/16
  • 服务CIDR: 10.45.0.0/16
• 集群2:
  • 集群CIDR: 10.42.0.0/16
  • 服务CIDR: 10.43.0.0/16

集群使用RKE2部署，Kubernetes版本为v1.27.9+rke2r1，Calico版本为v3.26.3，并启用了Calico API Server。环境位于企业代理后方，这一特点为后续排查埋下了伏笔。

故障现象

虽然subctl diagnose all命令显示所有检查通过，且服务导出/导入的CRD状态显示正常，DNS解析也能正确返回服务IP，但实际的网络连通性测试失败。具体表现为：

1. 跨集群的Pod间TCP连接测试失败
2. 从集群1无法ping通集群2的Pod IP（10.42.X.X）
3. 从集群2到集群1的ping请求无任何响应

深入排查

初步分析

通过检查Submariner各组件的日志，发现路由代理（routeagent）报出关键错误：

Error annotating node with CNI interface IP: Error retrieving the CNI interface for 10.46.0.0/24

这表明Submariner在自动检测网络配置时，错误地将集群CIDR识别为/24子网，而非实际配置的/16。

网络路径验证

通过tcpdump抓包分析发现：

1. 跨集群流量没有通过预期的vx-submariner或vxlan.calico隧道接口
2. 流量被错误地路由到默认网络接口
3. 目标不可达的ICMP响应来自一个意外的IP地址（10.128.11.126）

Calico IPPool检查

检查Calico的IPPool资源发现：

1. Submariner自动创建的IPPool使用了/24子网
2. 这些IPPool与实际的集群CIDR范围不匹配
3. 默认的Calico IPPool配置使用了VXLAN模式

根本原因

问题的核心在于Submariner的CIDR自动检测机制与特定Calico配置存在兼容性问题：

1. CIDR检测偏差：Submariner错误地将/16的集群CIDR检测为/24，导致后续的网络配置不正确
2. 路由策略失效：由于CIDR不匹配，Submariner无法正确设置反向路径过滤（rp_filter）规则
3. 隧道建立异常：流量未能通过预期的VXLAN隧道传输

解决方案

通过显式指定CIDR参数解决了问题：

subctl join --kubeconfig cluster1.yaml broker-info.subm \
  --clusterid cluster-1 \
  --context cluster-4f50834d \
  --natt=false \
  --air-gapped \
  --health-check=false \
  --force-udp-encaps \
  --clustercidr 10.46.0.0/16 \
  --servicecidr 10.45.0.0/16

经验总结

1. CIDR验证：在复杂网络环境中，务必验证Submariner自动检测的CIDR是否与实际配置一致
2. 显式配置：当自动检测不可靠时，使用--clustercidr和--servicecidr参数显式指定网络范围
3. 网络策略检查：确保Calico的网络策略允许Submariner的必要流量
4. 环境特殊性：企业代理环境可能需要额外的网络配置，需特别注意

后续改进建议

1. 增强Submariner在Calico环境下的CIDR检测逻辑
2. 改进诊断工具，增加对实际CIDR与检测CIDR一致性的检查
3. 完善文档，明确说明在复杂网络环境下可能需要的手动配置步骤

这个案例展示了在复杂网络环境下使用Submariner时可能遇到的典型问题，也为类似环境的部署提供了有价值的参考经验。