Kubernetes Kueue v0.11.0 版本深度解析：调度优化与功能增强

Kubernetes Kueue 是一个开源的 Kubernetes 原生批处理作业队列系统，旨在帮助用户高效管理和调度批处理作业。作为 Kubernetes 生态系统中的重要组件，Kueue 通过智能的资源分配和作业调度机制，显著提升了集群资源的利用率。最新发布的 v0.11.0 版本带来了一系列重要更新，包括调度算法的优化、新功能的引入以及多项错误修复。

核心功能增强

拓扑感知调度（TAS）的全面升级

v0.11.0 版本对拓扑感知调度功能进行了重大改进。新增的最小资源碎片化算法（LeastFreeCapacityFit）能够更有效地利用集群资源，减少资源浪费。同时，该版本还引入了队列内和队列间的抢占机制，使得资源分配更加灵活高效。

特别值得注意的是，现在当集群队列（ClusterQueue）中的所有资源风味（ResourceFlavor）都指定了拓扑名称时，系统会自动为工作负载启用拓扑感知调度，无需手动添加注解，这大大简化了用户的操作流程。

公平共享机制的扩展

公平共享（FairSharing）功能在本版本中得到了显著增强。新增了队列公平共享状态和指标监控，让用户可以更直观地了解资源分配情况。同时，该功能现在能够与分层队列（Hierarchical Cohorts）更好地协同工作，无论是在调度阶段还是抢占阶段，都能保证资源的公平分配。

多集群队列（MultiKueue）支持更多工作负载类型

MultiKueue 功能在本版本中扩展了对多种工作负载类型的支持，包括：

• KubeRay 的 RayJob 和 RayCluster
• 原生 Pod 工作负载
• Kubeflow Training-Operator Jobs

这些增强使得 MultiKueue 能够覆盖更广泛的使用场景，满足不同用户的多样化需求。

重要变更与升级注意事项

接口变更

对于实现 GenericJob 接口的自定义 Job CRD，需要注意两个重要变更：

1. PodSets 函数的签名已扩展，现在需要返回潜在的错误信息
2. PodSet.Name 字段的类型已从 string 变更为 PodSetReference

配置变更

integrations.podOptions 配置字段已被标记为废弃。如果用户设置了非默认值的命名空间选择器，需要计划迁移到使用 managedJobsNamespaceSelector 替代，因为 PodOptions 选择器将在未来版本中移除。

关键错误修复

本版本修复了多个影响系统稳定性和功能完整性的问题，包括：

1. 拓扑感知调度相关修复：

   • 修复了在多个 PodSet 场景下拓扑分配冲突的问题
   • 解决了不可调度节点被错误计入可用容量的问题
   • 修正了拓扑更新器在高可用模式下无法触发的问题

2. 状态管理改进：

   • 修复了工作负载资源使用指标未正确填充的问题
   • 解决了在 ProvisioningRequest 创建失败时 AdmissionCheck 状态更新不及时的问题

3. 集成功能优化：

   • 修正了 StatefulSet Webhook 阻止非 Kueue 管理的 StatefulSet 扩缩的问题
   • 改进了 Pod 资源请求不满足 LimitRange 约束时的错误信息

运维与监控增强

v0.11.0 版本在可观测性方面做了多项改进：

1. 新增了 LocalQueue 状态中的 TopologyName 展示，方便用户了解队列的拓扑分配情况
2. 允许配置指标服务的证书，提升了安全性
3. 修复了控制器运行时指标未被 Prometheus 正确跟踪的问题
4. 在抢占日志中添加了完整的工作负载名称，简化了故障排查过程

未来展望

随着 v0.11.0 的发布，Kueue 在调度能力、多集群支持和系统稳定性方面都迈上了一个新台阶。值得注意的是，团队已经开始准备将部分功能从测试阶段（Alpha/Beta）升级为稳定版本，如 WorkloadResourceRequestsSummary 功能已在本版本中标记为稳定。

对于计划升级的用户，建议仔细阅读升级注意事项，特别是涉及 GenericJob 接口实现和配置变更的部分。虽然 v0.11.0 带来了许多令人兴奋的新功能，但团队已经在着手解决已知问题，并计划在后续版本中进一步完善系统功能。