loxilb项目中DHCP主机路由导致流量转发异常的故障分析

问题背景

在loxilb项目中，用户报告了一个关于DHCP主机路由导致流量转发异常的故障。当在Kubernetes集群中部署微服务并安装loxilb Helm chart时，发现主节点上自动添加了一条特殊的DHCP主机路由：

192.168.10.1 dev ens3 proto dhcp scope link src 192.168.10.10 metric 100

这条路由的存在导致了loxilb的流量转发功能出现异常，影响了微服务间的正常通信。

故障现象

在部署环境中的路由表显示如下：

default via 192.168.10.1 dev ens3 proto dhcp src 192.168.10.10 metric 100
10.244.0.0/24 dev cni0 proto kernel scope link src 10.244.0.1
10.244.1.0/24 via 10.244.1.0 dev flannel.1 onlink
10.244.2.0/24 via 10.244.2.0 dev flannel.1 onlink
10.244.3.0/24 via 10.244.3.0 dev flannel.1 onlink
172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 linkdown
192.168.10.0/24 dev ens3 proto kernel scope link src 192.168.10.10
192.168.10.1 dev ens3 proto dhcp scope link src 192.168.10.10 metric 100

其中，192.168.10.1是宿主机上virbr1虚拟桥接接口的IP地址。这条特殊的路由条目干扰了loxilb的正常路由决策，导致流量转发异常。

环境配置

故障环境配置如下：

• Kubernetes版本：v1.25.10
• 节点IP分配：
  • 主节点：192.168.10.10
  • worker-1节点：192.168.10.40
  • worker-2节点：192.168.10.50
  • worker-3节点：192.168.10.60
• 宿主机virbr1接口IP：192.168.10.1/24

问题分析

这条特殊的DHCP主机路由是由Linux系统的DHCP客户端自动添加的，目的是为了直接访问DHCP服务器。在正常情况下，访问192.168.10.1的流量应该通过默认网关转发，但这条特定路由的存在导致系统优先使用这条直接路由。

在loxilb的工作机制中，这种特定主机路由可能会干扰其路由决策逻辑，导致流量无法正确转发。特别是当loxilb尝试处理目标为192.168.10.1的流量时，系统会优先匹配这条特定路由，而不是loxilb期望的路由路径。

解决方案

loxilb开发团队在版本0.9.2-beta中修复了这个问题。修复方案包括：

1. 修改路由决策逻辑，使loxilb能够识别并忽略这类特殊的DHCP主机路由
2. 确保loxilb的路由表不会受到这类系统自动添加的路由影响
3. 保持原有路由功能的同时，正确处理这类特殊情况

验证表明，在修复后的版本中，即使这条DHCP主机路由存在，loxilb也能正常工作，流量统计计数器正常增长，不再出现转发中断的情况。

临时解决方案

在修复版本发布前，用户可以采用以下临时解决方案：

1. 手动删除问题路由：

   sudo ip route del 192.168.10.1 dev ens3
   

2. 重启loxilb pod使更改生效

最佳实践建议

对于类似环境配置的用户，建议：

1. 确保使用loxilb 0.9.2-beta或更高版本
2. 在部署前检查系统路由表，确认没有可能干扰的特殊路由
3. 对于使用DHCP分配IP的环境，考虑配置DHCP客户端不添加特定主机路由
4. 定期监控loxilb的流量统计，确保转发功能正常

结论

这个案例展示了在复杂网络环境中，系统自动配置与应用程序路由决策之间可能产生的冲突。loxilb团队通过改进路由处理逻辑，成功解决了这一问题，提高了组件在各种网络环境下的兼容性和稳定性。对于用户而言，及时更新到修复版本是最佳的解决方案。