EKS Anywhere 在 vSphere 上使用 Cilium Direct Routing 模式的配置问题分析

在 EKS Anywhere v0.21.0 版本中，用户在使用 vSphere 平台部署 Kubernetes 集群时遇到了一个与 Cilium CNI 相关的网络配置问题。本文将详细分析该问题的技术背景、原因以及解决方案。

问题现象

当用户尝试在 vSphere 上部署 EKS Anywhere 集群，并配置 Cilium 使用 Direct Routing 模式时，集群无法正常启动。具体表现为：

1. 节点在 vSphere 上成功创建并显示为 Running 状态
2. 通过 kubectl 查询机器状态也显示所有控制平面节点和工作节点均正常运行
3. 但实际集群功能不可用
4. 节点日志中出现关键错误信息："auto-direct-node-routes cannot be used with tunneling. Packets must be routed through the tunnel device."

技术背景

Cilium 作为 Kubernetes CNI 插件，支持多种网络路由模式：

1. Overlay 模式：使用封装技术（如 VXLAN）创建虚拟网络
2. Direct Routing 模式：直接利用底层网络基础设施进行路由，不进行封装
3. Native Routing 模式：完全依赖底层网络路由

Direct Routing 模式通常用于性能优化场景，因为它避免了封装/解封装的开销。然而，这种模式对底层网络环境有特定要求。

问题原因分析

根据错误信息和配置情况，可以确定：

1. 用户正确配置了 Cilium 使用 Direct Routing 模式（routingMode: "direct"）
2. 网络 CIDR 配置正确，没有与其他网络段冲突
3. 问题根源在于 Cilium 检测到系统环境中存在隧道设备，这与 Direct Routing 模式不兼容

在 vSphere 环境中，默认的网络配置可能会创建某些隧道设备或虚拟网络接口，这与 Cilium 的 Direct Routing 模式产生了冲突。Cilium 的安全机制阻止了这种不兼容的配置组合。

解决方案

EKS Anywhere 团队在后续版本（v0.21.7 和 v0.22.0）中修复了这个问题。对于遇到此问题的用户，建议：

1. 升级到修复版本（v0.21.7 或 v0.22.0）
2. 如果暂时无法升级，可以暂时禁用 Direct Routing 模式（注释掉 routingMode: "direct" 配置）

最佳实践建议

在 vSphere 环境中使用 Cilium 时：

1. 确保使用最新版本的 EKS Anywhere 以获得所有修复
2. 如果必须使用 Direct Routing 模式，检查并清理不必要的隧道设备
3. 考虑网络性能需求，权衡 Overlay 和 Direct Routing 模式的优缺点
4. 在生产环境部署前，先在测试环境验证网络配置

总结

这个案例展示了 Kubernetes 网络配置中模式选择与环境兼容性的重要性。Cilium 作为高性能 CNI 提供了多种路由模式，但需要根据具体基础设施环境进行适当配置。EKS Anywhere 团队通过版本更新解决了这一兼容性问题，体现了开源项目持续改进的特性。