首页
/ EasyScheduler任务调度中基于Worker Group的任务队列优化方案

EasyScheduler任务调度中基于Worker Group的任务队列优化方案

2025-05-17 14:24:46作者:裴锟轩Denise

背景与问题分析

在分布式任务调度系统EasyScheduler中,任务分发机制是核心功能之一。当前系统采用单线程处理所有待分发任务,这些任务被统一存放在一个全局等待队列中。这种设计在实际运行中暴露出一个明显的性能问题:

当某个Worker Group下的工作节点负载过高时,高优先级任务可能会因为分发失败而被重新放回队列尾部,而低优先级任务却可能因为负载变化而先被执行。这种场景直接违反了任务优先级的基本原则,影响了系统调度的公平性和效率。

技术方案设计

为了解决上述问题,我们提出了一种基于Worker Group的多队列任务分发机制。该方案的核心思想是将任务按照Worker Group进行分组管理,每个Worker Group拥有自己独立的任务队列。

核心组件设计

  1. WorkerGroupQueueMap
    这是一个按Worker Group名称组织的延迟队列映射结构,每个队列中的任务按照以下规则排序:
    • 首先比较任务优先级(数值越大优先级越高)
    • 当优先级相同时,再比较任务的过期时间(创建时间)
public int compareTo(@NotNull Delayed o) {
    // 优先比较任务优先级
    int priorityComparison = Integer.compare(this.priority, ((Task) other).priority);
    if (priorityComparison != 0) {
        return priorityComparison;
    }
    // 优先级相同则比较创建时间
    return Long.compare(this.startTime, ((Task) other).startTime);
}
  1. 全局任务队列重构
    原有的GlobalTaskDispatchWaitingQueue简化为仅按时间排序的队列,不再考虑任务优先级因素。

双线程协作机制

新架构采用双线程协作的工作模式:

  1. 时间调度线程
    负责从全局队列中按时间顺序获取任务,并将其分发到对应的Worker Group队列中。

  2. 任务执行线程
    非阻塞地处理所有Worker Group队列中的任务,严格按照优先级和时间顺序执行。当任务执行失败时,会将其重新放回原Worker Group队列。

动态Worker Group管理

系统通过以下机制保证Worker Group变更时的数据一致性:

  • 守护线程定期检测Worker Group变更情况
  • API接口在Worker Group变更时主动通知Master节点
  • WorkerGroupQueueMap动态创建和销毁对应的任务队列

架构优势

  1. 优先级保障
    确保高优先级任务总能优先获得执行机会,不受Worker Group负载波动影响。

  2. 隔离性
    不同Worker Group的任务互不干扰,某个Worker Group的负载问题不会波及其他组。

  3. 可扩展性
    新增Worker Group无需修改核心调度逻辑,系统自动创建对应的任务队列。

  4. 故障恢复
    任务执行失败后会被重新放回原队列,保证任务不会丢失。

实现效果

通过这种设计,EasyScheduler能够:

  • 严格保证任务优先级顺序
  • 提高系统整体吞吐量
  • 增强调度公平性
  • 降低高负载场景下的任务等待时间

该方案已在生产环境验证,显著提升了大规模任务调度场景下的系统稳定性和执行效率。

登录后查看全文
热门项目推荐
相关项目推荐