Volcano调度器队列状态异常问题分析与解决方案

问题背景

在Kubernetes集群中部署使用Volcano调度器时，用户遇到了无法提交作业的问题。错误信息显示调度器拒绝接受作业提交，原因是默认队列(default)的状态不是"Open"状态。这是一个典型的调度器队列状态管理问题，会影响作业的正常提交和调度。

问题现象

用户部署了Volcano 1.11.0-network-topology-preview版本后，尝试提交作业时收到如下错误：

admission webhook "validatejob.volcano.sh" denied the request: can only submit job to queue with state `Open`, queue `default` status is ``;

检查队列状态发现，default队列确实没有正确的状态标识。同时查看控制器日志发现存在状态更新冲突：

Update queue state from  to Open failed for Apply failed with 1 conflict: conflict with "vc-scheduler" using scheduling.volcano.sh/v1beta1: .status

技术分析

根本原因

这个问题是由于Volcano控制器和调度器组件在队列状态管理上出现了竞争条件导致的。具体表现为：

1. 调度器组件(vc-scheduler)在启动时会创建默认队列(default)和根队列(root)
2. 控制器组件(vc-controller)随后尝试更新这些队列的状态为"Open"
3. 两个组件同时对队列资源的状态字段进行操作，产生了写冲突
4. 控制器更新状态失败，导致队列保持无状态

组件交互流程

1. 调度器初始化阶段：创建队列资源，设置基础属性
2. 控制器同步阶段：尝试更新队列状态
3. 冲突产生：两个组件同时修改资源状态字段
4. 状态不一致：队列最终保持无状态，导致作业提交被拒绝

解决方案

临时解决方案

对于遇到此问题的用户，可以采用以下命令手动修复：

kubectl patch queue default --type=json --patch '[{"op": "remove", "path": "/metadata/managedFields"}]'

这个命令会清除队列资源的managedFields，解除状态更新时的冲突限制。

长期解决方案

开发团队已在v1.11.0-network-topology-preview.2版本中修复了这个问题。建议用户升级到这个或更高版本，从根本上解决问题。

最佳实践建议

1. 安装方式：建议使用官方Helm仓库直接安装，而非本地打包

   helm install volcano volcano-sh/volcano -n volcano-system --create-namespace --version 1.11.0-network-topology-preview.0
   

2. 版本选择：优先选择已修复该问题的版本(v1.11.0-network-topology-preview.2+)

3. 部署检查：安装后应验证队列状态是否正常

   kubectl get queue default -o yaml | grep state
   

技术总结

这个问题展示了Kubernetes控制器设计中常见的资源竞争场景。Volcano作为高级调度器，其队列状态管理需要多个组件协同工作。开发团队通过版本迭代解决了这个状态同步问题，体现了开源项目持续改进的特点。

对于生产环境用户，建议：

1. 关注官方发布说明
2. 采用稳定的发布版本
3. 建立完善的部署前检查机制
4. 了解核心组件交互原理，便于问题排查