eksctl 0.24.0 版本解读:全私有集群、Kubernetes 1.17 与 T3 Unlimited 支持
eksctl 0.24.0 版本解读:全私有集群、Kubernetes 1.17 与 T3 Unlimited 支持
eksctl 0.24.0 是 eksctl 发展历程中的一个重要里程碑,本次发布围绕"安全隔离与集群可运维性"展开:正式支持创建完全私有(fully-private)集群(#2384),让集群节点完全脱离公网;同时引入 Kubernetes 1.17 支持(#2407)、将 AWS CNI 升级到 1.6.3(#2408)、新增 T3 Unlimited 突发性能实例支持(#2391),并为混合实例节点组实现了 kubeReserved 资源预留计算(#2378)。读完本文,你将掌握全私有集群的配置方法、T3 实例的 CPU 积分策略,以及 kubelet 资源预留的底层计算逻辑,并了解 0.24.0 修复的节点组扩缩容与集群升级相关缺陷。
全私有集群(Fully-Private Cluster)支持
0.24.0 新增的最重要能力是创建没有任何公网出站流量的全私有集群:集群只包含私有子网,节点无法访问公网,对 AWS 服务的私有访问通过 VPC Endpoint 完成。这一能力在后续版本中持续演进,当前仓库中 examples/37-outposts-fully-private.yaml 还保留了它在 AWS Outposts 场景下的配置示例。
配置方式与最小配置
在 ClusterConfig 中,创建全私有集群的唯一必填字段是 privateCluster.enabled(参见 userdocs/src/usage/eks-private-cluster.md):
apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig
metadata:
name: private-cluster
region: us-west-2
privateCluster:
enabled: true
nodeGroups:
- name: ng1
instanceType: m5.large
desiredCapacity: 2
# 全私有集群中必须显式设置 privateNetworking
privateNetworking: true
managedNodeGroups:
- name: m1
instanceType: m5.large
desiredCapacity: 2
privateNetworking: true
底层原理:VPC Endpoint 的自动创建
在源码层面,全私有集群的端到端能力由多个模块协同完成:
- 配置模型:
PrivateCluster结构体定义在 pkg/apis/eksctl.io/v1alpha5/types.go,包含Enabled、SkipEndpointCreation与AdditionalEndpointServices三个字段;IsFullyPrivate()方法(同文件 第 920-923 行)用于判断集群是否处于全私有模式。 - Endpoint 服务清单:pkg/apis/eksctl.io/v1alpha5/endpoint_service.go 定义了支持的全部 endpoint 服务,其中
ec2、ecr.api、ecr.dkr、s3、sts等为必需服务,logs、cloudformation、autoscaling为可选服务;RequiredEndpointServices()负责筛选必需项。 - CloudFormation 生成:pkg/cfn/builder/cluster.go 中,当
privateCluster.Enabled == true且未设置SkipEndpointCreation时,会创建VPCEndpointResourceSet并把 VPC Endpoint 资源写入集群堆栈模板。
eksctl 会为以下服务自动创建 VPC Endpoint:
- ECR 的接口端点(
ecr.api与ecr.dkr),用于拉取容器镜像(如 AWS CNI 插件); - S3 的网关端点,用于拉取实际镜像层;
- EC2 接口端点,供
aws-cloud-provider集成使用; - STS 接口端点,支撑 Fargate 与 IRSA(IAM Roles for Service Accounts);
- 启用 CloudWatch 日志时创建
logs接口端点。
这些端点对私有集群的可用性至关重要,因此 eksctl 不支持配置或禁用它们。
扩展私有访问:additionalEndpointServices
如果集群还需要访问其他 AWS 服务(例如 Cluster Autoscaler 依赖 Autoscaling),可通过 privateCluster.additionalEndpointServices 指定,合法取值为 autoscaling、cloudformation 和 logs(参见 endpoint_service.go 的校验逻辑):
privateCluster:
enabled: true
additionalEndpointServices:
# 供 Cluster Autoscaler 使用
- "autoscaling"
# CloudWatch 日志
- "logs"
跳过端点创建:skipEndpointCreation
若复用已有 VPC 且其中已按 EKS 文档配置好全部必需端点并关联到子网,可设置 skipEndpointCreation: true 跳过端点创建。该设置会跳过所有端点创建,且不能与 additionalEndpointServices 同时使用,仅建议在端点与子网拓扑已正确配置(子网 ID 正确、vpce 路由已带前缀地址建立、必需 EKS 端点均已创建并关联到指定 VPC)时开启——eksctl 不会改动这些已有资源。
节点组与网络约束
全私有集群存在以下强制约束,均有对应的校验逻辑支撑(见 pkg/apis/eksctl.io/v1alpha5/validation.go):
- 集群 VPC 不含公网子网,因此只支持私有节点组,
nodeGroups[*].privateNetworking与managedNodeGroups[*].privateNetworking必须显式设置为true,未设置属于配置错误; - 不支持在创建时修改
clusterEndpointAccess,设置clusterEndpoints.publicAccess或clusterEndpoints.privateAccess均报错(全私有集群只允许私有访问); - 使用用户自带的 VPC 与子网时,只能指定
vpc.subnets.private下的子网,在vpc.subnets.public下指定子网属于错误;每个子网需关联显式路由表(eksctl 不修改主路由表),并会为其修改路由表以接入端点。
管理、删除与已知限制
- 管理操作:创建后,需要访问 Kubernetes API Server 的 eksctl 命令必须在集群 VPC 内、对等 VPC 或经 AWS Direct Connect 等途径执行;需要访问 EKS 管理 API 的命令在集群 VPC 内反而无法执行,需为 EKS 创建接口端点。
- 强制删除:删除全私有集群时容易出错(eksctl 无法自动访问集群的全部资源),可用
--force强制执行并在出错时继续。 - 创建耗时:当前实现会先用公网+私有端点访问创建集群,待自管理节点加入、GitOps 与 Fargate 等操作完成后,再关闭公网端点、切换为仅私有访问。这使全私有集群的创建耗时比普通集群更长,后续版本可能改用 VPC 内的 Lambda 执行这些 API 操作。
- 区域限制:
eu-south-1不支持全私有集群。 - 代理访问:经 HTTP(S) 代理访问 AWS API 时,需正确设置
no_proxy(包含.eks.amazonaws.com值),避免 VPC Endpoint 请求被代理劫持;若代理做 SSL 拦截且使用 IRSA,必须对oidc.<region>.amazonaws.com显式绕过 MITM,否则 OIDC 提供者的根证书指纹获取错误,AWS VPC CNI 插件将无法获取 IAM 凭证而导致集群不可用。
Kubernetes 1.17 支持与集群升级修复
0.24.0 新增对 Kubernetes 1.17 的支持(#2407),同时在本次发布中修复了一个关键缺陷:"集群总是升级到默认版本"(#2414)。
从当前源码可以还原该问题的修复思路:pkg/actions/cluster/upgrade.go 中的升级逻辑通过 ClusterVersionsManager.ResolveUpgradeVersion() 解析目标版本,只有解析结果非空时才执行升级;pkg/eks/versions_manager.go 在初始化时调用 DescribeClusterVersions 拉取 EKS 当前支持的全部版本,依据 DefaultVersion 标志确定默认版本,并计算出最旧/最新版本与废弃版本列表。修复后,升级动作会根据"期望版本 vs 当前版本"的比对结果正确决定执行升级、回滚(降级)还是提示"无需版本更新",且日志会对降级场景使用方向正确的措辞("roll back"),不再无条件跳到默认版本。
需要说明的是:当前仓库的 DefaultVersion 已演进到 Version1_34(见 pkg/apis/eksctl.io/v1alpha5/types.go),0.24.0 时代引入的 1.17 支持属于该版本发布时的能力记录。
AWS CNI 升级到 1.6.3
0.24.0 将 AWS CNI(amazon-vpc-cni)升级到 1.6.3(#2408(对 coredns、kube-proxy、vpc-cni 等系统组件的识别与修补均在该文件中处理,服务账号 aws-node 相关逻辑见第 303-390 行)。在 0.24.0 发布时,这一升级为 EKS 集群带来了更稳定的网络插件版本,与全私有集群"仅通过 VPC Endpoint 拉取 CNI 镜像"的架构相互配合。
T3 Unlimited 支持:CPU 积分策略配置
背景:突发型实例与 CPU 积分
T 系列实例(如 t3.small、t3.medium)属于突发性能实例:基线 CPU 占用之内消耗累计积分,突发需求会透支积分。T3 Unlimited 允许实例在积分耗尽后继续以按秒计费的方式透支 CPU,适合偶发高负载场景。
配置方式与校验规则
0.24.0 通过节点组的 cpuCredits 字段暴露该能力(#2391,只对 T 类型实例有效:
nodeGroups:
- name: ng-1
instanceType: t3.medium
cpuCredits: unlimited # 或 standard
校验逻辑位于 pkg/apis/eksctl.io/v1alpha5/validation.go:
- 取值只能为
standard或unlimited(大小写不敏感); - 节点组必须包含 T 类型实例(单实例类型或
instancesDistribution.instanceTypes中任一以t开头),否则报错cpuCredits option set for nodegroup, but it has no t2/t3 instance types。
底层实现:写入启动模板
在 CloudFormation 生成阶段,pkg/cfn/builder/nodegroup.go 会把 cpuCredits 转写为启动模板(Launch Template)数据中的 CreditSpecification.CpuCredits(统一转为小写),最终作用于 Auto Scaling 组的实例启动配置。混合实例场景(配置了 instancesDistribution)同样支持,校验时会对 instanceTypes 列表逐项判断。
混合实例节点组的 kubeReserved 计算
解决的问题
kubelet 需要预留系统资源(CPU/内存/临时存储),否则资源匮乏时 kubelet 可能无法驱逐 Pod,节点最终变为 NotReady。在 0.24.0 之前,混合实例(mixed instances)节点组缺乏合适的 kubeReserved 计算支持;本次发布(#2378)补上了这一能力。
计算策略:取实例分布中的最小实例
根据 userdocs/src/usage/customizing-the-kubelet.md 的说明,混合实例节点组的 kubeReserved 计算基于 InstanceDistribution.InstanceTypes 中的最小实例:
- 优点:即使节点组由规格差异很大的实例组成,也不会在最小实例上预留过量资源;
- 权衡:对最大规格的实例而言,预留可能偏小。
完整配置示例
apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig
metadata:
name: dev-cluster-1
region: eu-north-1
nodeGroups:
- name: ng-1
instanceType: m5a.xlarge
desiredCapacity: 1
kubeletExtraConfig:
kubeReserved:
cpu: "300m"
memory: "300Mi"
ephemeral-storage: "1Gi"
kubeReservedCgroup: "/kube-reserved"
systemReserved:
cpu: "300m"
memory: "300Mi"
ephemeral-storage: "1Gi"
evictionHard:
memory.available: "200Mi"
nodefs.available: "10%"
featureGates:
RotateKubeletServerCertificate: true # 必须保留,否则会被关闭
使用要点(均见 customizing-the-kubelet.md):
kubeletExtraConfig接受自由格式 YAML,会被嵌入生成的kubelet.yaml;- 部分字段由 eksctl 强制设置、不可覆盖,例如
address、clusterDomain、authentication、authorization、serverTLSBootstrap;不可覆盖字段的校验在 pkg/apis/eksctl.io/v1alpha5/validation.go 的validateNodeGroupKubeletExtraConfig中实现; - 配置中显式给出的
kubeReserved值会完全覆盖 eksctl 默认值;缺失的参数则按所用实例类型回退到合理默认值; - 警告:eksctl 默认开启
featureGates.RotateKubeletServerCertificate=true,一旦自定义featureGates,该开关会被清除,应始终显式包含RotateKubeletServerCertificate: true(除非必须关闭)。
混合实例节点组的配置样式可参考 examples/08-spot-instances.yaml(instancesDistribution 指定 instanceTypes 列表及 spot 相关参数)。
文档改进
- 在最低 IAM 策略文档中补充了 KMS 资源(#2402,KMS 加密说明见 userdocs/src/usage/kms-encryption.md;
- 为 git、Fargate 与 CloudWatch 相关配置补充了 schema 文档(#2394(如全私有集群相关字段见第 776、3133、3150 行附近)。
Bug 修复:节点组扩缩容相关
0.24.0 修复了两个影响 eksctl scale nodegroup 的问题:
- 修复 name 参数(#2417),当两者均为空时回退为按配置文件缩放全部节点组(
scaleAllNodegroups)。 - 修复 nil 指针解引用(#2416)会先通过
DescribeNodeGroupStacksAndResources查询节点组栈信息,依据栈标签判断节点组类型,再分别走自管理节点组(查找NodeGroup逻辑资源对应的 ASG,校验 AMI 后调用UpdateAutoScalingGroup)与托管节点组(调用 EKSUpdateNodegroupConfig)两条路径,并对任何错误统一包装上下文信息。
实际使用中,缩放命令的常用形态为:
eksctl scale nodegroup --cluster <cluster> --name <nodegroup> --nodes <desired> [--nodes-min <min>] [--nodes-max <max>] [--wait]
其中 --nodes 为必填的期望节点数,--nodes-min/--nodes-max 可同时调整最小/最大容量,--wait 会等待更新完成(相关参数定义见 pkg/ctl/scale/nodegroup.go)。
总结
eksctl 0.24.0 通过"全私有集群 + T3 Unlimited + 混合实例资源预留 + 1.17 版本支持 + CNI 升级"组合拳,显著增强了集群的安全隔离能力与节点资源管理的精细化程度。其中全私有集群能力至今仍是 eksctl 处理高安全合规场景的核心特性之一,其 VPC Endpoint 自动编排、强制私有节点组等设计在后续版本中被持续沿用和扩展;而 kubeReserved 混合实例计算、cpuCredits 校验等实现,也为理解 eksctl 的 CloudFormation 生成与 kubelet 引导逻辑提供了清晰的切入点。