Calico网络插件在Kubernetes集群中的典型通信故障排查

背景概述

在Kubernetes生产环境中，网络插件是实现Pod间通信的核心组件。Calico作为主流的CNI插件之一，其安装配置的正确性直接影响集群网络功能。本文通过一个实际案例，分析当Pod无法互相通信且无法访问Kubernetes服务IP时的排查思路。

故障现象

用户在使用kubeadm部署的Kubernetes 1.31.3集群中，通过Tigera Operator安装了Calico v3.29.2网络插件。主要症状表现为：

1. 跨命名空间的Pod之间无法ping通
2. Pod无法访问Kubernetes服务ClusterIP（10.96.0.1）
3. traceroute显示流量被错误地路由到节点IP

关键配置分析

用户采用的网络配置包含以下关键参数：

• kubeadm初始化时指定了--pod-network-cidr=192.168.0.0/16
• Calico IP池配置为相同CIDR（192.168.0.0/16）
• 关闭了IPIP封装（encapsulation: None）
• 启用了出站NAT（natOutgoing: Enabled）

排查过程详解

1. 基础连通性测试

通过kubectl exec进入Pod执行网络测试：

# Pod间ping测试失败
ping 192.168.143.194 → 100%丢包

# 服务IP访问测试失败
ping 10.96.0.1 → 100%丢包

# 路由追踪异常
traceroute显示流量被错误导向节点IP而非预期目标

2. 网络策略检查

确认未设置限制性NetworkPolicy，仅存在Calico API Server的默认策略：

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-apiserver
spec:
  ingress:
  - ports:
    - port: 443
      protocol: TCP

3. 核心问题定位

最终发现根本原因是主机防火墙规则阻止了Calico所需的网络通信。典型表现包括：

• 节点间BGP协议通信被阻断
• VXLAN/UDP端口被过滤
• 内核转发功能未启用

解决方案与建议

1. 防火墙配置调整

对于Debian系统需确保放行以下流量：

# 允许BGP协议（TCP 179）
iptables -A INPUT -p tcp --dport 179 -j ACCEPT

# 允许VXLAN（UDP 4789）
iptables -A INPUT -p udp --dport 4789 -j ACCEPT

# 启用IP转发
sysctl -w net.ipv4.ip_forward=1

2. 网络插件验证

建议通过以下命令验证Calico组件状态：

calicoctl node status
calicoctl get ippool -o wide

3. 服务连通性测试

推荐使用更全面的测试方法：

# 测试Service连通性
kubectl run test-$RANDOM --image=busybox --rm -it -- wget -qO- http://kubernetes.default

# 测试跨节点Pod通信
kubectl get pods -o wide | awk '{print $6,$7}' | xargs -l bash -c 'kubectl exec $1 -- ping -c 3 $0'

经验总结

1. 在安全加固系统（如Debian hardened）上部署时，必须预先规划网络访问策略
2. Calico的纯三层网络模式（无封装）对底层网络要求较高
3. 建议在生产环境部署前使用calicoctl进行配置预检查
4. 复杂的网络环境应考虑启用Calico的IPIP封装作为备选方案

通过系统性地排查网络链路各环节，最终确认并解决了防火墙导致的通信阻断问题，为类似环境下的Calico部署提供了有价值的参考案例。