Kube-OVN中实现自定义VPC访问Kubernetes API Server的解决方案

在Kubernetes网络插件Kube-OVN的使用过程中，用户可能会遇到一个典型场景：当业务组件部署在自定义VPC（Virtual Private Cloud）中时，默认无法访问Kubernetes API Server服务。本文将深入分析这一问题的技术背景，并提供完整的解决方案。

问题背景分析

Kube-OVN通过多租户VPC实现网络隔离，这种架构带来安全性的同时也引入了连通性挑战。默认情况下，自定义VPC与主VPC（承载API Server服务的网络平面）处于不同的路由域，导致以下典型现象：

• 部署在自定义VPC中的Ingress Controller无法连接API Server（10.96.0.1:443）
• VPC NAT网关缺少到API Server的特定路由规则
• 跨VPC的网络流量被默认策略阻断

核心解决思路

解决这一问题的关键在于建立跨VPC的路由通道。Kube-OVN提供了以下技术组件协同工作：

1. NetworkAttachmentDefinition(NAD)：定义额外的网络接口
2. 自定义Subnet：为API访问创建专用子网
3. 静态路由注入：通过Pod注解指定API Server的路由

具体实现方案

第一步：创建API访问专用网络

在kube-system命名空间创建以下资源：

apiVersion: k8s.cni.cncf.io/v1
kind: NetworkAttachmentDefinition
metadata:
  name: api-ovn-nad
  namespace: kube-system
spec:
  config: '{
      "cniVersion": "0.3.0",
      "type": "kube-ovn",
      "server_socket": "/run/openvswitch/kube-ovn-daemon.sock",
      "provider": "api-ovn-nad.kube-system.ovn"
    }'

---
apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: vpc-apiserver-subnet
spec:
  protocol: IPv4
  cidrBlock: 100.100.100.0/24
  provider: api-ovn-nad.kube-system.ovn

这个配置创建了一个专用子网（100.100.100.0/24），其网关地址默认为100.100.100.1。

第二步：配置Pod网络注解

对于需要访问API Server的Pod（如Ingress Controller），添加以下注解：

annotations:
  k8s.v1.cni.cncf.io/networks: kube-system/api-ovn-nad
  api-ovn-nad.kube-system.ovn.kubernetes.io/routes: '[{"dst":"10.96.0.1/32","gw":"100.100.100.1"}]'

这将会：

1. 为Pod附加第二个网络接口
2. 添加指向API Server的静态路由（通过专用子网网关）

实现原理详解

该方案的技术实现基于以下核心机制：

1. 多网络接口支持：通过Multus CNI为Pod附加辅助网络接口
2. 路由注入：利用Kube-OVN的注解机制动态添加路由规则
3. 跨VPC通信：专用子网作为桥梁连接自定义VPC和默认VPC

生产环境注意事项

在实际部署时需要考虑以下因素：

1. CIDR规划：确保专用子网不与现有网络冲突
2. 规模扩展：/24子网支持约250个Pod，更大规模需要扩展CIDR
3. 安全策略：建议通过NetworkPolicy限制API访问权限
4. 高可用：考虑为API Server路由配置多个网关节点

验证方法

部署后可通过以下方式验证连通性：

# 在目标Pod中执行
nc -zv 10.96.0.1 443
route -n  # 确认路由表存在API Server路由项

总结

通过本文介绍的方案，用户可以在保持网络隔离的前提下，实现自定义VPC对Kubernetes API Server的安全访问。这种架构既满足了多租户隔离需求，又保证了关键组件的通信能力，是Kube-OVN在复杂网络场景下的典型应用模式。