Kube-Router IPv6集群网络配置问题解析与解决方案

问题背景

在使用Kube-Router构建纯IPv6 Kubernetes集群时，当关闭Overlay网络模式（enable-overlay=false）时，出现了Pod间通信异常的情况。具体表现为：

1. 同一节点内的Pod可以互相通信
2. Pod可以访问Service IP
3. 跨节点的Pod无法直接通信
4. CoreDNS无法与节点建立连接

网络架构分析

该集群采用以下IPv6地址规划：

• 节点网络：fd00:0000:0000:1000::/59
• 虚拟IP：fd00:0000:0000:1020::/59
• Service CIDR：fd00:0000:0000:1040::/108
• Pod CIDR：fd00:0000:0000:10c0::/58

每个节点配置了两个网络接口：

1. 主接口连接主机网络
2. 次接口连接内部桥接网络（用于集群内部通信）

根本原因

Kube-Router在非Overlay模式下有三种工作方式：

1. IPIP隧道：通过封装实现跨节点通信（Overlay模式）
2. 直接路由：当节点处于同一子网时，自动配置路由
3. BGP路由：依赖外部路由器传播Pod路由

问题出在节点网络配置上。虽然管理员配置了/59的路由，但节点接口实际配置的是/64地址，导致Kube-Router无法识别节点处于同一子网，因而未能正确设置直接路由。

解决方案验证

通过以下调整解决了问题：

1. 将节点接口的子网掩码从/64改为/59
2. 确保所有节点处于同一广播域（L2网络）

调整后，Kube-Router能够正确识别节点间的直连关系，自动配置Pod CIDR路由，实现跨节点Pod通信。

技术原理详解

Kube-Router的路由控制器工作流程：

1. 监听节点路由变化
2. 检查目标节点是否在同一子网：
   • 通过节点Status.Addresses获取IP
   • 查找对应的本地链路地址
   • 验证下一跳IP是否在链路子网内
3. 若在同一子网，则添加直接路由
4. 若不在同一子网且关闭Overlay，则依赖BGP传播

最佳实践建议

1. 网络规划：

   • 确保节点间通信接口处于同一L2网络
   • 合理划分子网掩码（建议至少/60）

2. 配置检查：

   # 验证节点路由表
   ip -6 route show table all
   
   # 检查BGP邻居状态
   kubectl exec -n kube-system <kube-router-pod> -- gobgp neighbor
   

3. 故障排查：

   • 优先验证同一节点Pod通信
   • 检查Service IP可达性
   • 使用tcpdump抓包分析跨节点流量

总结

在纯IPv6环境中使用Kube-Router时，正确理解其路由决策机制至关重要。通过合理规划网络地址和子网划分，可以充分发挥直接路由模式的高性能优势，避免不必要的封装开销。对于复杂网络环境，建议结合BGP实现更灵活的路由控制。