eksctl 0.24.0 版本解读:全私有集群、Kubernetes 1.17 与 T3 Unlimited 支持

原创2026-10-14 20:16:311,944 阅读
文章标签:云原生容器编排DevOps

eksctl 0.24.0 版本解读:全私有集群、Kubernetes 1.17 与 T3 Unlimited 支持

eksctl 0.24.0 是 eksctl 发展历程中的一个重要里程碑,本次发布围绕"安全隔离与集群可运维性"展开:正式支持创建完全私有(fully-private)集群(#2384),让集群节点完全脱离公网;同时引入 Kubernetes 1.17 支持(#2407)、将 AWS CNI 升级到 1.6.3(#2408)、新增 T3 Unlimited 突发性能实例支持(#2391),并为混合实例节点组实现了 kubeReserved 资源预留计算(#2378)。读完本文,你将掌握全私有集群的配置方法、T3 实例的 CPU 积分策略,以及 kubelet 资源预留的底层计算逻辑,并了解 0.24.0 修复的节点组扩缩容与集群升级相关缺陷。

全私有集群(Fully-Private Cluster)支持

0.24.0 新增的最重要能力是创建没有任何公网出站流量的全私有集群:集群只包含私有子网,节点无法访问公网,对 AWS 服务的私有访问通过 VPC Endpoint 完成。这一能力在后续版本中持续演进,当前仓库中 examples/37-outposts-fully-private.yaml 还保留了它在 AWS Outposts 场景下的配置示例。

配置方式与最小配置

在 ClusterConfig 中,创建全私有集群的唯一必填字段是 privateCluster.enabled(参见 userdocs/src/usage/eks-private-cluster.md):

apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig

metadata:
  name: private-cluster
  region: us-west-2

privateCluster:
  enabled: true

nodeGroups:
- name: ng1
  instanceType: m5.large
  desiredCapacity: 2
  # 全私有集群中必须显式设置 privateNetworking
  privateNetworking: true

managedNodeGroups:
- name: m1
  instanceType: m5.large
  desiredCapacity: 2
  privateNetworking: true

底层原理:VPC Endpoint 的自动创建

在源码层面,全私有集群的端到端能力由多个模块协同完成:

  • 配置模型:PrivateCluster 结构体定义在 pkg/apis/eksctl.io/v1alpha5/types.go,包含 Enabled、SkipEndpointCreation 与 AdditionalEndpointServices 三个字段;IsFullyPrivate() 方法(同文件 第 920-923 行)用于判断集群是否处于全私有模式。
  • Endpoint 服务清单:pkg/apis/eksctl.io/v1alpha5/endpoint_service.go 定义了支持的全部 endpoint 服务,其中 ec2、ecr.api、ecr.dkr、s3、sts 等为必需服务,logs、cloudformation、autoscaling 为可选服务;RequiredEndpointServices() 负责筛选必需项。
  • CloudFormation 生成:pkg/cfn/builder/cluster.go 中,当 privateCluster.Enabled == true 且未设置 SkipEndpointCreation 时,会创建 VPCEndpointResourceSet 并把 VPC Endpoint 资源写入集群堆栈模板。

eksctl 会为以下服务自动创建 VPC Endpoint:

  • ECR 的接口端点(ecr.api 与 ecr.dkr),用于拉取容器镜像(如 AWS CNI 插件);
  • S3 的网关端点,用于拉取实际镜像层;
  • EC2 接口端点,供 aws-cloud-provider 集成使用;
  • STS 接口端点,支撑 Fargate 与 IRSA(IAM Roles for Service Accounts);
  • 启用 CloudWatch 日志时创建 logs 接口端点。

这些端点对私有集群的可用性至关重要,因此 eksctl 不支持配置或禁用它们。

扩展私有访问:additionalEndpointServices

如果集群还需要访问其他 AWS 服务(例如 Cluster Autoscaler 依赖 Autoscaling),可通过 privateCluster.additionalEndpointServices 指定,合法取值为 autoscaling、cloudformation 和 logs(参见 endpoint_service.go 的校验逻辑):

privateCluster:
  enabled: true
  additionalEndpointServices:
  # 供 Cluster Autoscaler 使用
  - "autoscaling"
  # CloudWatch 日志
  - "logs"

跳过端点创建:skipEndpointCreation

若复用已有 VPC 且其中已按 EKS 文档配置好全部必需端点并关联到子网,可设置 skipEndpointCreation: true 跳过端点创建。该设置会跳过所有端点创建,且不能与 additionalEndpointServices 同时使用,仅建议在端点与子网拓扑已正确配置(子网 ID 正确、vpce 路由已带前缀地址建立、必需 EKS 端点均已创建并关联到指定 VPC)时开启——eksctl 不会改动这些已有资源。

节点组与网络约束

全私有集群存在以下强制约束,均有对应的校验逻辑支撑(见 pkg/apis/eksctl.io/v1alpha5/validation.go):

  • 集群 VPC 不含公网子网,因此只支持私有节点组,nodeGroups[*].privateNetworking 与 managedNodeGroups[*].privateNetworking 必须显式设置为 true,未设置属于配置错误;
  • 不支持在创建时修改 clusterEndpointAccess,设置 clusterEndpoints.publicAccess 或 clusterEndpoints.privateAccess 均报错(全私有集群只允许私有访问);
  • 使用用户自带的 VPC 与子网时,只能指定 vpc.subnets.private 下的子网,在 vpc.subnets.public 下指定子网属于错误;每个子网需关联显式路由表(eksctl 不修改主路由表),并会为其修改路由表以接入端点。

管理、删除与已知限制

  • 管理操作:创建后,需要访问 Kubernetes API Server 的 eksctl 命令必须在集群 VPC 内、对等 VPC 或经 AWS Direct Connect 等途径执行;需要访问 EKS 管理 API 的命令在集群 VPC 内反而无法执行,需为 EKS 创建接口端点。
  • 强制删除:删除全私有集群时容易出错(eksctl 无法自动访问集群的全部资源),可用 --force 强制执行并在出错时继续。
  • 创建耗时:当前实现会先用公网+私有端点访问创建集群,待自管理节点加入、GitOps 与 Fargate 等操作完成后,再关闭公网端点、切换为仅私有访问。这使全私有集群的创建耗时比普通集群更长,后续版本可能改用 VPC 内的 Lambda 执行这些 API 操作。
  • 区域限制:eu-south-1 不支持全私有集群。
  • 代理访问:经 HTTP(S) 代理访问 AWS API 时,需正确设置 no_proxy(包含 .eks.amazonaws.com 值),避免 VPC Endpoint 请求被代理劫持;若代理做 SSL 拦截且使用 IRSA,必须对 oidc.<region>.amazonaws.com 显式绕过 MITM,否则 OIDC 提供者的根证书指纹获取错误,AWS VPC CNI 插件将无法获取 IAM 凭证而导致集群不可用。

Kubernetes 1.17 支持与集群升级修复

0.24.0 新增对 Kubernetes 1.17 的支持(#2407),同时在本次发布中修复了一个关键缺陷:"集群总是升级到默认版本"(#2414)。

从当前源码可以还原该问题的修复思路:pkg/actions/cluster/upgrade.go 中的升级逻辑通过 ClusterVersionsManager.ResolveUpgradeVersion() 解析目标版本,只有解析结果非空时才执行升级;pkg/eks/versions_manager.go 在初始化时调用 DescribeClusterVersions 拉取 EKS 当前支持的全部版本,依据 DefaultVersion 标志确定默认版本,并计算出最旧/最新版本与废弃版本列表。修复后,升级动作会根据"期望版本 vs 当前版本"的比对结果正确决定执行升级、回滚(降级)还是提示"无需版本更新",且日志会对降级场景使用方向正确的措辞("roll back"),不再无条件跳到默认版本。

需要说明的是:当前仓库的 DefaultVersion 已演进到 Version1_34(见 pkg/apis/eksctl.io/v1alpha5/types.go),0.24.0 时代引入的 1.17 支持属于该版本发布时的能力记录。

AWS CNI 升级到 1.6.3

0.24.0 将 AWS CNI(amazon-vpc-cni)升级到 1.6.3(#2408(对 coredns、kube-proxy、vpc-cni 等系统组件的识别与修补均在该文件中处理,服务账号 aws-node 相关逻辑见第 303-390 行)。在 0.24.0 发布时,这一升级为 EKS 集群带来了更稳定的网络插件版本,与全私有集群"仅通过 VPC Endpoint 拉取 CNI 镜像"的架构相互配合。

T3 Unlimited 支持:CPU 积分策略配置

背景:突发型实例与 CPU 积分

T 系列实例(如 t3.small、t3.medium)属于突发性能实例:基线 CPU 占用之内消耗累计积分,突发需求会透支积分。T3 Unlimited 允许实例在积分耗尽后继续以按秒计费的方式透支 CPU,适合偶发高负载场景。

配置方式与校验规则

0.24.0 通过节点组的 cpuCredits 字段暴露该能力(#2391,只对 T 类型实例有效:

nodeGroups:
  - name: ng-1
    instanceType: t3.medium
    cpuCredits: unlimited  # 或 standard

校验逻辑位于 pkg/apis/eksctl.io/v1alpha5/validation.go:

  • 取值只能为 standard 或 unlimited(大小写不敏感);
  • 节点组必须包含 T 类型实例(单实例类型或 instancesDistribution.instanceTypes 中任一以 t 开头),否则报错 cpuCredits option set for nodegroup, but it has no t2/t3 instance types。

底层实现:写入启动模板

在 CloudFormation 生成阶段,pkg/cfn/builder/nodegroup.go 会把 cpuCredits 转写为启动模板(Launch Template)数据中的 CreditSpecification.CpuCredits(统一转为小写),最终作用于 Auto Scaling 组的实例启动配置。混合实例场景(配置了 instancesDistribution)同样支持,校验时会对 instanceTypes 列表逐项判断。

混合实例节点组的 kubeReserved 计算

解决的问题

kubelet 需要预留系统资源(CPU/内存/临时存储),否则资源匮乏时 kubelet 可能无法驱逐 Pod,节点最终变为 NotReady。在 0.24.0 之前,混合实例(mixed instances)节点组缺乏合适的 kubeReserved 计算支持;本次发布(#2378)补上了这一能力。

计算策略:取实例分布中的最小实例

根据 userdocs/src/usage/customizing-the-kubelet.md 的说明,混合实例节点组的 kubeReserved 计算基于 InstanceDistribution.InstanceTypes 中的最小实例:

  • 优点:即使节点组由规格差异很大的实例组成,也不会在最小实例上预留过量资源;
  • 权衡:对最大规格的实例而言,预留可能偏小。

完整配置示例

apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig

metadata:
  name: dev-cluster-1
  region: eu-north-1

nodeGroups:
  - name: ng-1
    instanceType: m5a.xlarge
    desiredCapacity: 1
    kubeletExtraConfig:
        kubeReserved:
            cpu: "300m"
            memory: "300Mi"
            ephemeral-storage: "1Gi"
        kubeReservedCgroup: "/kube-reserved"
        systemReserved:
            cpu: "300m"
            memory: "300Mi"
            ephemeral-storage: "1Gi"
        evictionHard:
            memory.available:  "200Mi"
            nodefs.available: "10%"
        featureGates:
            RotateKubeletServerCertificate: true # 必须保留,否则会被关闭

使用要点(均见 customizing-the-kubelet.md):

  • kubeletExtraConfig 接受自由格式 YAML,会被嵌入生成的 kubelet.yaml;
  • 部分字段由 eksctl 强制设置、不可覆盖,例如 address、clusterDomain、authentication、authorization、serverTLSBootstrap;不可覆盖字段的校验在 pkg/apis/eksctl.io/v1alpha5/validation.go 的 validateNodeGroupKubeletExtraConfig 中实现;
  • 配置中显式给出的 kubeReserved 值会完全覆盖 eksctl 默认值;缺失的参数则按所用实例类型回退到合理默认值;
  • 警告:eksctl 默认开启 featureGates.RotateKubeletServerCertificate=true,一旦自定义 featureGates,该开关会被清除,应始终显式包含 RotateKubeletServerCertificate: true(除非必须关闭)。

混合实例节点组的配置样式可参考 examples/08-spot-instances.yaml(instancesDistribution 指定 instanceTypes 列表及 spot 相关参数)。

文档改进

  • 在最低 IAM 策略文档中补充了 KMS 资源(#2402,KMS 加密说明见 userdocs/src/usage/kms-encryption.md;
  • 为 git、Fargate 与 CloudWatch 相关配置补充了 schema 文档(#2394(如全私有集群相关字段见第 776、3133、3150 行附近)。

Bug 修复:节点组扩缩容相关

0.24.0 修复了两个影响 eksctl scale nodegroup 的问题:

  • 修复 name 参数(#2417),当两者均为空时回退为按配置文件缩放全部节点组(scaleAllNodegroups)。
  • 修复 nil 指针解引用(#2416)会先通过 DescribeNodeGroupStacksAndResources 查询节点组栈信息,依据栈标签判断节点组类型,再分别走自管理节点组(查找 NodeGroup 逻辑资源对应的 ASG,校验 AMI 后调用 UpdateAutoScalingGroup)与托管节点组(调用 EKS UpdateNodegroupConfig)两条路径,并对任何错误统一包装上下文信息。

实际使用中,缩放命令的常用形态为:

eksctl scale nodegroup --cluster <cluster> --name <nodegroup> --nodes <desired> [--nodes-min <min>] [--nodes-max <max>] [--wait]

其中 --nodes 为必填的期望节点数,--nodes-min/--nodes-max 可同时调整最小/最大容量,--wait 会等待更新完成(相关参数定义见 pkg/ctl/scale/nodegroup.go)。

总结

eksctl 0.24.0 通过"全私有集群 + T3 Unlimited + 混合实例资源预留 + 1.17 版本支持 + CNI 升级"组合拳,显著增强了集群的安全隔离能力与节点资源管理的精细化程度。其中全私有集群能力至今仍是 eksctl 处理高安全合规场景的核心特性之一,其 VPC Endpoint 自动编排、强制私有节点组等设计在后续版本中被持续沿用和扩展;而 kubeReserved 混合实例计算、cpuCredits 校验等实现,也为理解 eksctl 的 CloudFormation 生成与 kubelet 引导逻辑提供了清晰的切入点。

登录后查看全文
eksctl