OpenYurt 项目中适配 Cilium-CNI 实现流量拓扑功能的实践指南

背景与挑战

在边缘计算场景下，OpenYurt 作为 Kubernetes 的扩展项目，提供了节点池和流量拓扑等关键功能，能够有效管理分布式边缘环境中的网络流量。其中，服务拓扑功能允许将流量限制在同一节点或节点池内部，这对于边缘场景下的网络优化至关重要。

然而，当用户尝试将 Cilium 作为 CNI 插件与 OpenYurt 集成时，发现原有的服务拓扑功能无法正常工作。这是因为 Cilium 默认使用 eBPF 技术直接处理 ClusterIP 流量，绕过了传统的 iptables 规则，导致 OpenYurt 基于 kube-proxy 和 iptables 实现的流量拓扑功能失效。

问题分析

在标准 OpenYurt 环境中，服务拓扑功能通过以下机制实现：

1. yurt-hub 组件会过滤 endpointslices 资源，只保留同一节点池内的端点
2. kube-proxy 根据过滤后的 endpointslices 生成 iptables 规则
3. 流量被限制在同一节点池内部

但当使用 Cilium 时，我们发现：

1. Cilium 直接通过 eBPF 处理服务流量，不依赖 kube-proxy 的 iptables 规则
2. 即使开启了 kube-proxy，Cilium 仍会优先处理服务流量
3. 修改 Cilium 的 loadBalancer.serviceTopology 参数无效，因为其底层仍基于未过滤的 endpointslices

解决方案

经过实践验证，我们找到了两种可行的解决方案：

方案一：部署 Cilium-Edge 专用组件

1. 组件分离：

   • 为边缘节点部署专用的 cilium-edge DaemonSet
   • 为云端节点保留标准 cilium DaemonSet

2. 关键配置：

   • 修改 cilium-edge 连接 yurt-hub 的地址（127.0.0.1:10261）
   • 设置节点亲和性，确保 cilium-edge 只运行在边缘节点
   • 调整环境变量，指向本地 yurt-hub 服务

3. 优势：

   • 完全兼容 OpenYurt 的服务拓扑机制
   • 可以充分利用 Cilium 的高级网络功能

方案二：配置 yurt-hub 数据过滤

1. 修改 ConfigMap：

   • 在 yurt-hub-cfg 中添加 servicetopology 配置
   • 指定需要过滤的组件名称（cilium,cilium-agent）

2. 效果：

   • yurt-hub 会自动过滤 cilium 获取的 endpointslices
   • 无需修改 Cilium 本身的部署方式

3. 优势：

   • 配置简单，无需维护两套 Cilium 部署
   • 对系统侵入性小

实施建议

对于生产环境，我们推荐以下最佳实践：

1. 环境准备：

   • 确保 Kubernetes 版本 ≥1.21（无需特别处理 endpointSlice featureGate）
   • 正确配置 yurt-hub 和 yurt-manager 组件
   • 预先创建好节点池并将节点正确归类

2. 验证步骤：

   • 部署测试工作负载和服务
   • 检查 cilium 服务列表中的端点数量
   • 通过 telnet 或 curl 验证流量是否被正确限制

3. 监控与维护：

   • 定期检查 cilium-agent 日志
   • 监控 yurt-hub 的过滤行为
   • 确保节点池配置与实际网络拓扑一致

总结

通过本文介绍的两种方案，用户可以在 OpenYurt 环境中成功集成 Cilium CNI 并保留服务拓扑功能。这两种方案各有优劣，方案一更适合需要精细控制网络行为的场景，而方案二则提供了更简单的配置方式。实际选择时，应根据具体业务需求和技术栈特点做出决策。

随着边缘计算的普及，网络功能的灵活性和性能将变得越来越重要。OpenYurt 与 Cilium 的结合为边缘场景提供了强大的网络解决方案，本文的实践经验将为面临类似挑战的团队提供有价值的参考。