异构算力的大集群也能被统一调度:这条交付路线多了个新变量
异构算力的大集群也能被统一调度:这条交付路线多了个新变量
当一家 AI 工厂同时拥有 H100、H200、GB200,甚至不同代际的 Vera Rubin 机器时,最先被提出的问题通常是"调度器能不能把任务放到对的卡上"。但真正把这类集群跑起来的团队会发现,卡在中间的往往不是调度器,而是集群交付链路:机器怎么被发现、用哪个镜像启动、节点以什么身份加入、升级时谁能和谁放在同一个集群里。
NVIDIA Kubernetes Engine(NVKE)正好落在这个位置上。它不是 Kubernetes 发行版,也不是某个 Cluster API 的 flavor,仓库自己的定位是"一个自举式的 Kubernetes 集群工厂":一个用完即弃的 seed 集群拉起管理集群,管理集群上的管理平面再按需生产大量互相隔离的业务集群,每个业务集群都有自己的控制面、etcd 和节点池(README.md、docs/architecture.md)。这套模型天然要面对异构卡型,也因此把"统一调度"和"统一交付"这两件事的边界划得非常清楚。
混合卡型真正撕裂的是四样东西,不是调度队列
NVKE 的节点池 schema 很克制。看 management-engine/apis/v1/nodepool_types.go,一个 NodePool 只有这些字段:name、instanceType、replicas、vpcSubnetID、nodeProfile、userParams、rollout。没有 GPU 型号、没有 MIG 切分、没有显存或互联拓扑的任何字段。
type NodePool struct {
Name ResourceName `json:"name"`
// +kubebuilder:validation:XValidation:rule="self == oldSelf",message="instanceType is immutable"
InstanceType ResourceName `json:"instanceType"`
Replicas *int32 `json:"replicas"`
VPCSubnetID string `json:"vpcSubnetID"`
NodeProfile NodeProfileReference `json:"nodeProfile"`
UserParams *UserParams `json:"userParams,omitempty"`
Rollout *Rollout `json:"rollout,omitempty"`
}
这段结构体说明了一个非常重要的设计判断:在 NVKE 的世界里,"什么卡"是通过"哪台机器 + 哪个镜像"表达的,不是通过调度属性表达的。 而 instanceType 上有 self == oldSelf 的 CEL 校验,注释写得很直白——"cannot change after creation"。要换机型,只能新建节点池。
于是混合卡型带来的分裂,实际落在四个地方:
| 分裂点 | 代码中的体现 | 后果 |
|---|---|---|
| 机型粒度 | InstanceType 创建后不可变,+kubebuilder:validation:XValidation:rule="self == oldSelf" |
一张新卡型进来就是新池,不能"原地换卡" |
| 镜像粒度 | MachineImageSpec 整个 spec 不可变:machine image spec is immutable; publish a new name instead |
换驱动、换 OS 点版本都要发布新镜像对象 |
| 启动配置粒度 | NodePoolRelease 把 machineImageRef 与 machineInit 绑在一起 |
同一镜像可以有多种首启配置,但一种配置只能对应一个发布名 |
| 池的 Kubernetes 版本 | 节点池可落后控制面最多 3 个 minor | 旧卡型的镜像可能被版本天花板卡住 |
这四点合起来,解释了一个常被误判的现象:混合卡型集群里最先出问题的不是 Pod 调度,而是"同一个集群里我到底能放几种节点池"。 NVKE 的答案是"想放几种放几种,但每种都必须是一个自洽的 (机型, 镜像, 首启配置, K8s 版本) 四元组",这比在调度器里塞一堆 label 要笨,但可验证。
统一交付的第二层:镜像与 GPU 软件栈被刻意拆开了
如果只看 README 的架构图,会以为 NVKE 负责从裸机一路管到 GPU 驱动。恰恰相反,仓库在 docs/dsx-stack.md 里把自己的边界写得毫不含糊:
- GPU 驱动与集群内软件栈 → Nodewright + GPU Operator,通过 AICR(AI Cluster Runtime)安装;
- 集群就绪认证 → CRE;
- 工作负载感知的节点修复 → NVSentinel。
NVKE 只负责"把机器变成合规的 Kubernetes 节点":nvkectl bootstrap site 用临时 Kind 集群驱动 kubeadm init/join,节点上的 nvke-agent 以 gRPC 服务形式监听 15005 端口、由 systemd 托管,并且是控制面主动拨号节点,agent 不反向 dial home(docs/architecture.md)。
这个拆分在代码里还有一处很有意思的"预留但未开放":
// AcceleratedRuntimeSelection selects a runtime release or explicitly opts out.
// +kubebuilder:validation:XValidation:rule="self.name == 'none' ? !has(self.version) : has(self.version)"
type AcceleratedRuntimeSelection struct {
Name ResourceName `json:"name"`
Version string `json:"version,omitempty"`
}
NVKEClusterSpec 里已经有 acceleratedRuntime 字段,语义是"选一个加速运行时发布,或者用 name: none 显式退出"。但同一个仓库的 management-engine/controllers/nvkecluster_controller.go 里,校验函数把它挡住了:
if runtime := cluster.Spec.AcceleratedRuntime; runtime != nil && (runtime.Name != "none" || runtime.Version != "") {
return invalidNVKEControllerRequest("Accelerated runtime configuration is not supported")
}
也就是说:API 形态已经按"运行时是一个可版本化、可选中的制品"来设计了,但执行权目前仍然交给 AICR 这条外部链路。 对做异构集群的平台团队,这就是那个"新变量"——交付路线不再止于"节点 Ready",而是延伸到一个版本锁定、可审计的加速运行时选择,只不过这个选择当前发生在 NVKE 之外。
理解这一点很关键:混合卡型的真正难题不是装不上驱动,而是每个池的驱动、Operator、DRA 组合是否被同一份已验证配方覆盖。AICR 的定位正是"版本锁定的已知可用组合",并渲染成 GitOps bundle。NVKE 负责把机器的身份、网络、Kubernetes 版本钉死,AICR 负责把卡跑起来。两个系统各自可验证,合起来才是可交付的异构集群。
镜像为什么会"分裂":CNI 和 kubeadm 都被烤进了节点镜像
异构环境中镜像数量爆炸,通常被归咎于"每张卡一个驱动镜像"。在 NVKE 里还有两个更隐蔽的原因。
第一,CNI 的版本是镜像属性,不是集群属性。 节点镜像构建阶段会下载锁定版本的 OVN-Kubernetes 源码、构建镜像、产出两个 Debian 包,并把包和 apt 索引放到镜像的 /usr/lib/nvke/debs。支持矩阵里写得很清楚:受支持的 stream 是 2.4.2,其他 cniVersion "Not in the node image"——因为节点 agent 是从节点上的包里安装 CNI 的,换 CNI 版本必须换镜像(docs/overview/supported-platforms.md、docs/workload-clusters/ovn-kubernetes.md)。
第二,kubeadm 发行版也是镜像属性。 os-image/packages/kubeadm-distro/Makefile 默认构建 v1.37.2 v1.36.3 v1.35.3 v1.34.2 四个版本,但支持矩阵只承认 1.36.3 一个:其余三个"staged but not supported"。这是典型的交付现实——镜像里可以多放,但对外承诺只能一个。 多放的代价是镜像体积和构建时间,收益是升级时还有回退余地。
这两点叠加,会让"混合卡型"直接演变成"混合节点镜像矩阵":卡型 × Ubuntu 版本(24.04 / 26.04)× 架构(amd64 / arm64)× 变体(非 FDE / FDE)× kubeadm 版本。任何一维变化都要重新构建、重新托管、重新注册 MachineImage,因为它的 spec 是不可变的。
更有意思的是升级路径上的硬约束。文档明确:升级到某个 Kubernetes 版本时,NVKE 会挑选"与当前镜像架构、variant、Ubuntu 版本相同"的目标发布;如果一个都没有注册,升级直接失败,除非当前发布在装机时就注入了版本号(docs/overview/supported-platforms.md、docs/operate/build-node-images.md)。
翻译成运维语言:在一个集群里混用不同 Ubuntu 点版本或不同 variant 的节点池,会在第一次控制面升级时集中爆发。 这是"统一交付"路线里最容易被低估的坑,而且它和调度器毫无关系。
千卡规模的真实约束:地址空间、API QPS 与"模拟节点"
讨论大集群时最容易失真的一步,是把"验证过 5000 节点"当成"跑过 5000 张卡"。NVKE 仓库在这点上的自我披露相当克制,值得逐条看。
地址空间是一道硬闸门。 controller/internal/server/cluster_network.go 里,每个节点占用一个 /24:
const (
defaultClusterPodCIDR = "192.168.0.0/16"
podCIDRNodePrefixBits = 24
minimumPodCIDRHeadroom = 1
)
func validatePodCIDRCapacity(podCIDRs []netip.Prefix, desiredNodes, configuredSurge int) error {
headroom := max(minimumPodCIDRHeadroom, configuredSurge)
requiredNodeBlocks := desiredNodes + headroom
availableNodeBlocks := 0
for _, podCIDR := range podCIDRs {
availableNodeBlocks += 1 << (podCIDRNodePrefixBits - podCIDR.Bits())
}
...
}
默认 192.168.0.0/16 只能切出 1 << (24-16) = 256 个节点块。也就是说:默认配置下,一个集群的节点数上限是 255(还要留 1 个 headroom),而且这个数字是把控制面和所有工作节点池加在一起算的。想上 1024 节点,必须显式换成更大的 CIDR(例如 /12 给出 4096 个块),或者传多个逗号分隔的 CIDR。API 会拒绝请求并给出很具体的错误信息:"provides N /24 node blocks, but M are required"。这条约束对千卡集群是决定性的——一张卡一个节点不是唯一形态,但节点数一旦逼近 4 位数,网络规划就必须在创建集群之前算清楚,且创建后不可改。
规模结论的边界写在测试报告里。 仓库 benchmarks/results/1.34.2/ 下的发布物把真实与模拟分得很开:
cl2-slo-conformance-2026-05-25.md:47 个节点(3 控制面 + 2 监控 + 42 工作节点),峰值 3920 个 Pod,40 QPS 下 pod startup p99 为 2.54 s(SLO ≤ 5 s),所有 API verb p99 约 49–50 ms,零 APF 429。报告自己声明"Not a maximum-scale claim"。node-density-2026-09-21.md:42 个工作节点,每节点平均 105 个 Pod,4120 个 Pod 在 212 s 内创建完,pod-ready p99 为 2 s。cluster-density-2026-09-18.md:378 个 namespace、3780 个 Pod、12474 个其他对象,只读 inflight 峰值 18、变更 36,远低于单台 API server 的 APF 上限 600。scheduler-baseline-2026-07-13.md:100 到 5000 节点的 80 格矩阵,全部是 KWOK 假节点,没有 kubelet、没有容器运行时。结论是 1000 节点以内,只要 scheduler 的kube-api-qps不低于工作负载提交速率,PodScheduled P99 就能保持在 1 s 内;2500 和 5000 节点开始出现排队,最差格子达到 727 s,算法阶段 P99 在 5000 节点时为 19.1 ms。
这三类数据放在一起才是可靠的判断依据:控制面与调度的能力边界可以通过模拟压测刻画,但 Pod 真正跑起来、镜像真正拉下来、GPU 真正初始化的能力,只在 42 个工作节点的真实硬件上被验证过。 千卡集群要用这些数字外推,必须自己补上按节点数换算的 pod CIDR、kube-api-qps、APF 与 CNI 端点的实测。
故障域与节点修复也被拆到系统之外。 docs/tenant-clusters/node-lifecycle.md 的措辞几乎是强硬的:"NVKE is not responsible for deciding when tenant workloads may be disrupted." NVKE 提供生命周期 API,cordon/drain 与 SLO 策略由 NVSentinel 或租户 SRE 决定。代码里对应的机制是 controller/internal/controllers/automode/controller.go:当节点池里有已弃用的 NodeSet 时,控制器只给节点打上 nvke.nvidia.com/NeedsRecycle 条件,并且遵守 recycleBudget:
// - Applies the NeedsRecycle node condition, respecting the recycleBudget.
// - Only applied if (desiredCount - availableCount) < recycleBudget.
//
// NVSentinel (the downstream consumer of NeedsRecycle conditions) may:
// - Allow less recycle parallelism than recycleBudget at the NVKE layer.
// - Enforce maintenance windows, leaving NeedsRecycle nodes in place until customer-specified windows.
这段注释把"谁决定扰动"讲清楚了:NVKE 只保证"不会一次性标记超过预算的节点",剩下的窗口、并发、是否 cordon 归下游。大规模 GPU 集群里,这个分工比"调度器能不能感知故障"更贴近事故现场——真正的风险不是排不上队,而是 NVSentinel 和平台团队同时各拆一半,把 PDB 打穿。
统一交付比统一调度更现实:一条可执行的落地顺序
把上面的证据收拢,可以得到一个相当明确的结论:对异构 GPU 集群,先把"交付单元"统一起来,收益远大于先把"调度语义"统一起来。
理由是 NVKE 的结构决定的:
- 交付单元是节点池,而不是节点。
instanceType不可变、nodeProfile不可变、nodeLabels/nodeTaints"fixed at creation and applied only when a node joins"。同一个池里不可能出现两张不同型号的卡,这反而让"异构"变成了"多池"这个可穷举的问题。 - 可验证性来自不可变对象。
MachineImage的整个 spec 不可变,NodePoolRelease的machineImageRef与machineInit不可变。任何一次变更都必须在 API 层表现为"新对象",这给审计和回滚留了锚点。 - 身份与加密是逐集群的。 节点在拿到 join 凭证前要通过 TPM + SPIFFE/SPIRE 证明自己;etcd 静态加密按集群开启,开启后不能关闭;
nvke-agent与控制面之间走 SPIFFE mTLS。异构机器要进同一个信任域,靠的是硬件根信任,不是配置文件。 - 升级是集群级动作,受镜像三元组约束。 控制面一次只能升一个 minor 或一个更高的 patch,且必须有
controlPlaneVIP,同一时刻只允许一个升级;工作节点池可以落后 3 个 minor。这条规则直接决定了异构池能不能共存于同一个集群:能共存的不是"卡型",而是"架构 + variant + Ubuntu 版本"一致的镜像。
据此给出一条可落地的顺序,比讨论调度器插件更省时间:
第一步,先按镜像三元组切集群,而不是按卡型切集群。 同一架构、同一 Ubuntu 版本、同一 variant 的机器,无论 H100 还是 H200,都可以先放进同一个集群的不同节点池;跨 Ubuntu 点版本的机器强行合并,等于给自己埋一颗升级时的雷。
第二步,把 pod CIDR 按节点数一次算够。 需要 N 个节点就准备至少 N + max(1, maxSurge) 个 /24 块;默认 /16 只有 256 块,千卡规模请直接上 /12。这段逻辑在 controller/internal/server/cluster_network.go 里,创建后网络不可改,写错只能重建集群。
第三步,用节点池表达异构,用 release 表达软件栈。 一个业务集群的创建请求可以同时声明多个池,每个池引用自己的 instanceTypeID 与 release:
name: <WORKLOAD_CLUSTER>
controlPlaneKubernetesVersion: <K8S_VERSION>
cniPlugin: ovn-kubernetes
etcdEncrypted: true
controlPlaneVIP: <API_VIP>
network:
podCIDR: 10.0.0.0/12 # 4096 个 /24 节点块
serviceCIDR: 10.96.0.0/12
nico:
orgID: <NICO_ORG_ID>
siteID: <NICO_SITE_ID>
vpcID: <NICO_VPC_ID>
controlPlaneConfig:
desiredCount: 3
maxSurge: 1
nico:
instanceTypePreference:
- <CP_INSTANCE_TYPE_ID>
- <CP_INSTANCE_TYPE_FALLBACK_ID> # 有序,index 0 优先
vpcPrefixIDs:
- <VPC_PREFIX_ID>
release: <CP_RELEASE>
nodePools:
- name: gpu-h100
nodeNamePrefix: h
desiredNodeCount: 8
recycleBudget: 1
nico:
instanceTypeID: <H100_INSTANCE_TYPE_ID>
vpcPrefixIDs: [<VPC_PREFIX_ID>]
release: <H100_WORKER_RELEASE>
- name: gpu-h200
nodeNamePrefix: m
desiredNodeCount: 8
recycleBudget: 1
nico:
instanceTypeID: <H200_INSTANCE_TYPE_ID>
vpcPrefixIDs: [<VPC_PREFIX_ID>]
release: <H200_WORKER_RELEASE>
注意 instanceTypePreference 是有序列表,语义是"首选 + 回退",而不是"任意一种"。这在容量紧张的 AI 工厂里非常实用:控制面可以在首选机型售罄时落到同规格备选,而工作池仍然钉死在特定卡型上。
第四步,把扰动权交给独立的 break-fix 系统。 给每个池设一个 recycleBudget(例如 1),让 NVSentinel 决定什么时候真正 drain。NVKE 的删除路径本身是会尊重 PDB 的:删除节点时先 cordon,再通过 Kubernetes eviction API 驱逐,只有超过 100 秒仍有 Pod 未走或驱逐报错时才无宽限期强制删除(docs/workload-clusters/node-pools.md)。这条兜底对训练任务不友好,所以窗口必须由外部系统控制。
第五步,把 GPU 软件栈当成独立交付物版本化。 不要指望在节点镜像里一次装完所有驱动组合。NVKE 的路线是:镜像负责 OS、kubeadm、CNI、agent、SPIRE;其余交给 AICR 的配方。内部 API 里已经预留了 acceleratedRuntime 的 name/version 选择(用 name: none 显式退出且禁止带 version),虽然当前 controller 会以 "Accelerated runtime configuration is not supported" 拒绝非 none 值,但这个形态本身就说明方向:运行时会被当成可版本化、可选中的制品,而不是镜像里的隐式副作用。
这条路线的新变量,与它还没解决的部分
把这个选题放回标题:"这条交付路线多了个新变量"。变量不是一个新调度器,而是交付单元从"集群"细化到了"(机型, 镜像, 首启配置, K8s 版本)"四元组,并且 GPU 软件栈被正式外置为一个可版本化的运行时选择。对做异构大集群的平台团队,这意味着工作量从"调优调度器"转移到"管理一个制品矩阵",而后者是可以靠不可变对象、CEL 校验和发布目录来治理的。
同时必须说清 NVKE 当前的边界,否则结论会失真(docs/overview/preview-status.md):
- 管理集群不管自己。 它不升级、不扩缩、不替换自己的节点;预览阶段没有管理平面升级流程,也没有备份恢复流程。异构业务集群再漂亮,管理面仍是单点手艺活。
- API 安装后是明文 HTTP、默认无认证,且没有授权。 文档的建议是把 API 只暴露给必要网段,并在前面加 TLS 终结。任何被认证放行的调用者可以调用所有端点。
- 客户只拿到 admin kubeconfig。 没有按用户签发凭证,
enableOidc也不会把客户 IdP 接到业务集群;且交出去的 admin kubeconfig 无法吊销,只能等客户端证书过期。 - 预览不支持 FDE 的数据静态保密。 同一镜像构建出的所有节点共享同一把卷加密密钥,任何人都能用镜像和公开的引导口令恢复它。异构集群若要合规,这一条必须自己补。
- 节点标签与污点只在加入时应用一次。 之后被
kubectl改掉不会纠正。用污点做"按卡型隔离"时,这是一处静默漂移源。
路线图(ROADMAP.md)给出的下一步也印证了重心在交付侧而非调度侧:"通过 NVKE 管理管理集群自身节点"、"支持 NVIDIA GB300 / Vera Rubin 工作节点"、"分离控制面与工作负载网络"、"通过 API 管理工作负载集群 add-on"、"支持 Kubernetes 1.37"。其中"分离控制面与工作负载网络"对千卡集群的意义最大——它把控制面流量从 GPU 东西向流量里摘出来,这正是大规模下最难调的一类干扰。
所以,异构算力的大集群当然可以被统一管理,但统一的第一步不是让调度器认识所有卡型,而是让每一种机器都有唯一、不可变、可审计的交付身份。NVKE 把这件事做成了 API 对象和 CEL 校验;AICR、CRE、NVSentinel 把 GPU 运行时、就绪认证和故障处置接在后面。对平台团队来说,真正需要重新设计的不是调度插件,而是那张"卡型 × 镜像 × 版本"的矩阵,以及谁有权在上面按下升级按钮。