Kube-OVN项目中实现自定义VPC访问Kubernetes API Server的技术方案

在Kubernetes网络环境中，Kube-OVN作为一款优秀的网络插件，为用户提供了丰富的网络功能，其中自定义VPC（Virtual Private Cloud）功能允许用户创建隔离的网络环境。然而，在实际使用过程中，用户可能会遇到从自定义VPC访问Kubernetes API Server服务的问题。本文将深入探讨这一问题的技术背景和解决方案。

问题背景分析

当用户在Kube-OVN中创建自定义VPC后，该VPC与默认VPC是完全隔离的网络环境。这种隔离性导致了一个常见问题：部署在自定义VPC中的Pod（如Ingress Nginx控制器）无法访问Kubernetes API Server服务（通常位于10.96.0.1:443）。这是因为API Server位于默认VPC中，而自定义VPC的网络路由并不包含到达API Server的路径。

技术原理探究

Kube-OVN通过VPC实现了网络隔离，每个VPC拥有独立的网络命名空间和路由表。默认情况下，自定义VPC中的Pod只能访问同一VPC内的资源或通过NAT网关访问外部网络，但无法直接访问默认VPC中的服务，包括Kubernetes API Server。

解决方案实现

要解决这一问题，我们需要为自定义VPC中的Pod添加额外的网络接口，使其能够访问默认VPC中的API Server服务。具体实现步骤如下：

1. 创建专用网络附件定义(NetworkAttachmentDefinition)： 首先需要创建一个专用的NetworkAttachmentDefinition(NAD)，该定义将用于为Pod提供额外的网络接口。

2. 配置专用子网： 创建一个专门用于API Server访问的子网，该子网将作为Pod访问API Server的通道。

3. 为Pod添加网络注解： 在需要访问API Server的Pod上添加特定的网络注解，指定额外的网络接口和路由规则。

具体配置示例

以下是实现这一功能的具体配置示例：

1. 创建NetworkAttachmentDefinition和子网：

apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
  name: api-ovn-nad
  namespace: kube-system
spec:
  config: '{
      "cniVersion": "0.3.0",
      "type": "kube-ovn",
      "server_socket": "/run/openvswitch/kube-ovn-daemon.sock",
      "provider": "api-ovn-nad.kube-system.ovn"
    }'

---
apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: vpc-apiserver-subnet
spec:
  protocol: IPv4
  cidrBlock: 100.100.100.0/24
  provider: api-ovn-nad.kube-system.ovn

2. 在Pod上添加网络注解：

annotations:
  k8s.v1.cni.cncf.io/networks: kube-system/api-ovn-nad
  api-ovn-nad.kube-system.ovn.kubernetes.io/routes: '[{"dst":"10.96.0.1/32","gw":"100.100.100.1"}]'

实现效果验证

通过上述配置，Pod将获得一个额外的网络接口，并添加了指向Kubernetes API Server的特定路由。这使得Pod能够通过新增的网络接口访问API Server服务，同时保持原有VPC的网络隔离特性。

注意事项

1. CIDR规划：确保为API访问子网分配的CIDR范围（如100.100.100.0/24）不与现有网络冲突。
2. 网关地址：路由配置中的网关地址应与子网的CIDR范围匹配（如100.100.100.1对应100.100.100.0/24）。
3. 命名空间一致性：NetworkAttachmentDefinition和其引用应位于同一命名空间（如kube-system）。
4. 性能考虑：此方案会为Pod添加额外网络接口，可能对网络性能有轻微影响。

总结

通过本文介绍的方法，用户可以在保持自定义VPC网络隔离的同时，实现特定Pod对Kubernetes API Server的访问。这一方案不仅适用于Ingress控制器，也可应用于其他需要访问API Server的自定义VPC工作负载。Kube-OVN的这种灵活设计展示了其在复杂网络场景下的强大适应能力。