Calico网络插件中NodePort服务访问异常问题分析

问题现象描述

在使用Calico作为Kubernetes网络插件的环境中，用户部署了一个NodePort类型的服务(skooner)，发现只能从运行该服务Pod的节点IP访问，而从其他节点(包括Master节点)访问时出现"No route to host"错误。当关闭系统防火墙后，问题得到解决。

环境配置详情

用户环境采用了两节点的Kubernetes集群：

• 主节点IP：192.168.186.40
• 工作节点IP：192.168.186.41

网络配置关键参数：

• Pod子网：172.16.0.0/16
• Calico后端模式：VXLAN(跨子网)
• 禁用IPIP隧道
• 启用出站NAT
• 自定义VXLAN端口为4799

根本原因分析

1. 防火墙规则限制：系统防火墙未正确放行VXLAN通信所需的端口。虽然用户已经开放了4789/udp和4799/udp端口，但实际配置中可能存在冲突或规则顺序问题。

2. VXLAN配置验证：通过calicoctl node status检查发现BGP后端未运行，但VXLAN状态未明确显示，表明VXLAN隧道可能未正确建立。

3. NodePort服务机制：Kubernetes NodePort服务依赖于kube-proxy在所有节点上创建iptables规则，将:的流量转发到后端Pod。当跨节点访问时，需要底层网络能够支持节点间的通信。

解决方案与验证

1. 临时解决方案：关闭防火墙可以立即解决问题，确认了防火墙确实是问题根源。

2. 永久解决方案：

   • 确保所有节点间的VXLAN通信端口(默认4789/udp或自定义端口)双向开放
   • 检查并修正防火墙区域配置，确保节点间通信不受限
   • 验证Calico VXLAN隧道的建立情况

3. 配置验证步骤：

   • 使用calicoctl get ippool -o yaml检查IP池配置
   • 通过ip -d link show查看vxlan.calico接口状态
   • 使用tcpdump -i any port 4799抓包验证VXLAN通信

深入技术解析

在Calico VXLAN模式下，跨节点通信需要特别注意以下几点：

1. MTU设置：VXLAN封装会增加50字节的开销(外部头14 + UDP头8 + VXLAN头8 + 内部以太网头20)，需要确保物理网络MTU足够大或适当调小Calico的MTU。

2. 网络策略影响：Calico网络策略可能会影响节点间通信，需要检查是否有相关策略限制了流量。

3. kube-proxy配合：NodePort服务依赖kube-proxy正确配置iptables规则，需要确认规则是否存在且正确。

最佳实践建议

1. 防火墙配置：

   • 开放所有节点间的VXLAN通信端口
   • 允许节点间Pod子网通信
   • 开放Kubernetes服务端口范围(30000-32767)

2. Calico配置：

   • 明确监控VXLAN隧道状态
   • 考虑启用BGP作为补充或替代方案
   • 定期检查Calico组件日志

3. 诊断工具：

   • 使用calicoctl node diags收集诊断信息
   • 利用calicoctl get heps检查主机端点状态
   • 通过calicoctl node checksystem验证系统配置

总结

NodePort服务访问异常问题通常源于底层网络配置问题。在Calico VXLAN模式下，需要确保节点间VXLAN隧道能够正常建立，防火墙规则不会阻断必要的通信。通过系统化的排查和正确的配置，可以确保Kubernetes服务在各种网络环境下可靠工作。