RKE2集群中通过Cilium BGP实现服务暴露的注意事项

在RKE2集群环境中，使用Cilium BGP功能对外暴露服务时，管理员需要特别注意不同端口的服务特性差异。本文详细分析了一个典型场景：通过BGP宣告VIP地址时，为什么Kubernetes API服务的443端口可以正常访问，而RKE2管理API的9345端口却无法工作。

核心问题分析

在RKE2集群中，存在两种关键服务端口：

1. Kubernetes API服务端口（默认6443）
2. RKE2管理API端口（9345）

当管理员尝试通过Cilium BGP功能将10.46.0.60这个VIP地址宣告出去时，发现443端口（映射到6443）可以正常访问，但9345端口却无法响应。这实际上反映了两种服务在Kubernetes体系中的不同定位。

技术原理详解

Kubernetes API服务的工作机制

Kubernetes API服务在集群内部通过Service资源暴露，默认使用443端口。这个端口会被kube-proxy（或替代组件如Cilium）自动映射到各个控制平面节点上的6443端口。因此，当通过BGP宣告VIP地址时：

1. 外部请求到达VIP的443端口
2. Cilium作为kube-proxy替代，将流量转发到后端节点的6443端口
3. 控制平面节点上的apiserver进程监听6443端口并响应

RKE2管理API的特殊性

RKE2管理API（9345端口）与Kubernetes API服务有本质区别：

1. 它不是通过Kubernetes Service资源管理的
2. 没有对应的Endpoints资源
3. 直接由RKE2进程监听在节点网络接口上
4. 不在Kubernetes的服务发现机制范围内

因此，当尝试通过VIP访问9345端口时，Cilium无法像处理Kubernetes Service那样自动进行端口映射和流量转发。

解决方案建议

对于需要同时暴露两种服务的场景，推荐以下两种方案：

方案一：使用kube-vip作为静态Pod

1. 部署kube-vip作为静态Pod
2. 配置kube-vip管理VIP地址
3. 同时暴露6443（Kubernetes API）和9345（管理API）端口
4. 通过BGP宣告VIP地址

方案二：Cilium BGP的精细化配置

1. 为Kubernetes API服务保持现有的BGP宣告配置
2. 为管理API单独配置：
   • 创建自定义的CiliumBGPAdvertisement资源
   • 直接宣告节点IP和9345端口的组合
   • 可能需要手动管理端点信息

最佳实践总结

1. 区分Kubernetes原生服务和RKE2特有服务的暴露需求
2. 对于Kubernetes Service资源，可以利用Cilium的自动服务发现和BGP宣告
3. 对于节点级服务（如9345端口），需要考虑专门的暴露方案
4. 生产环境中建议使用专门的负载均衡解决方案（如kube-vip）处理控制平面流量
5. 测试环境中可以直接使用节点IP访问9345端口，避免复杂配置

理解这些底层机制差异，可以帮助管理员更有效地设计RKE2集群的网络架构，确保所有必要的服务都能被正确访问。