Cilium网络插件中节点路由异常问题分析与解决

问题背景

在使用Cilium作为Kubernetes CNI插件时，用户报告了一个特殊的网络路由配置问题。在10.0.0.0/16子网的Kubernetes集群中，当尝试使用10.240.0.0/12作为Cilium子网时，某个工作节点异常地创建了错误的路由条目（10.0.0.0/24），而其他节点则正常配置了预期的路由。

技术细节分析

异常路由表现

故障节点上出现了异常的路由条目：

10.0.0.0/24 via 10.0.0.51 dev cilium_host proto kernel src 10.0.0.51

而正常节点配置的是：

10.0.2.0/24 via 10.0.2.93 dev cilium_host proto kernel src 10.0.2.93

配置参数解析

用户使用的Helm配置包含几个关键参数：

• ipv4NativeRoutingCIDR=10.240.0.0/12：指定原生路由CIDR范围
• ipam.operator.clusterPoolIPv4PodCIDRList=10.240.0.0/12：定义IPAM使用的Pod CIDR
• ipam.operator.clusterPoolIPv4MaskSize=24：设置子网掩码大小
• routingMode=native：使用原生路由模式

根本原因

经过技术分析，这个问题可能源于CiliumNode对象的缓存状态不一致。当节点重新加入集群时，旧的网络配置可能被错误地保留，导致新配置无法正确应用。特别是在以下情况下容易发生：

1. 节点曾经使用过不同的IPAM配置
2. Cilium组件升级过程中配置变更
3. 网络接口未完全清理干净

解决方案

推荐解决步骤

1. 删除问题节点的CiliumNode对象：

   kubectl delete ciliumnode <problem-node-name>
   

2. 重启Cilium Pod：

   kubectl delete pod -n kube-system -l k8s-app=cilium
   

3. 验证配置： 检查节点路由表是否已更新为正确的CIDR配置：

   ip route show
   

操作注意事项

• 执行操作前确保节点上没有运行关键业务Pod
• 建议在维护窗口期进行操作
• 操作后验证网络连通性和Pod间通信

深入技术原理

Cilium的IPAM(IP地址管理)机制在集群模式下会为每个节点分配一个子网。当配置变更时，需要确保：

1. CiliumOperator：负责分配和协调各节点的Pod CIDR
2. CiliumAgent：负责在节点上应用网络配置
3. CiliumNode CRD：存储每个节点的网络配置状态

三者之间的同步出现问题时就可能导致此类路由配置异常。

最佳实践建议

1. 配置变更流程：

   • 先进行配置验证
   • 采用滚动更新方式
   • 监控变更过程中的网络指标

2. 故障排查工具：

   • 使用cilium status检查组件健康状态
   • 通过cilium debuginfo收集详细诊断信息
   • 检查CiliumOperator日志了解IPAM分配过程

3. 版本兼容性：

   • 保持Cilium各组件版本一致
   • 特别注意Kubernetes版本兼容性

总结

Cilium作为高性能Kubernetes CNI插件，其网络配置机制复杂但强大。遇到路由配置异常时，理解其IPAM和路由分发机制是解决问题的关键。通过正确管理CiliumNode对象生命周期和组件重启，可以有效解决这类配置不一致问题。建议用户在变更网络配置时遵循标准操作流程，并建立完善的监控机制以便及时发现和解决问题。