首页
/ Apache DolphinScheduler工作流暂停恢复异常问题分析

Apache DolphinScheduler工作流暂停恢复异常问题分析

2025-05-18 08:47:26作者:段琳惟

问题现象

在Apache DolphinScheduler 3.2.2版本中,当用户创建包含多个任务的工作流时,如果在中间任务执行过程中暂停工作流,等待暂停生效后再恢复执行,会出现工作流状态异常变为"成功",而实际任务并未完成的情况。

环境配置

该问题出现在以下环境配置中:

  • DolphinScheduler版本:3.2.2
  • 数据库:MySQL 8.0.18
  • MySQL连接驱动:mysql-connector-java 8.0.33

问题复现步骤

  1. 创建工作流包含以下任务:

    • shell-0:执行简单echo命令
    • shell-1:执行sleep 1分钟
    • shell-2:执行sleep 1分钟
    • 设置任务依赖关系:shell-0 → shell-1 → shell-2
  2. 在线触发工作流运行

  3. 当shell-0完成,shell-1正在运行时,暂停工作流实例

  4. 等待工作流实例状态变为"已暂停"

  5. 触发工作流实例从暂停状态恢复

错误表现

工作流状态异常变为"成功",但实际任务并未完成执行。错误日志显示:

  • 保存任务实例到数据库失败
  • 提交待命任务失败

技术分析

这个问题属于工作流状态管理异常,主要发生在工作流暂停恢复过程中。正常情况下,工作流从暂停状态恢复时应该:

  1. 重新激活所有待执行任务
  2. 将工作流状态改为"运行中"
  3. 继续执行未完成的任务

但实际观察到的行为是:

  1. 工作流状态被错误地标记为"成功"
  2. 任务执行状态与实际不符
  3. 数据库保存操作失败

解决方案

该问题已在开发分支(dev)中修复。修复方案可能涉及:

  1. 完善工作流状态机转换逻辑
  2. 修复暂停恢复过程中的状态同步问题
  3. 增强任务实例的持久化处理

最佳实践建议

对于使用3.2.2版本的用户,建议:

  1. 避免在任务执行过程中频繁暂停/恢复工作流
  2. 考虑升级到包含此修复的版本
  3. 对于关键业务流程,增加状态检查机制

总结

工作流调度系统的状态管理是核心功能之一,需要确保在各种操作(如暂停/恢复)下状态转换的正确性。这个问题提醒我们在设计工作流引擎时,需要特别注意边界条件和状态同步的处理。

登录后查看全文
热门项目推荐
相关项目推荐

项目优选

收起
docsdocs
暂无描述
Markdown
832
5.52 K
kernelkernel
openEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。
C
497
522
pytorchpytorch
作为 Ascend for PyTorch 社区的核心组件,TorchNPU 是昇腾专为 PyTorch 打造的深度学习适配插件,使 PyTorch 框架能够直接调用昇腾 NPU,为开发者提供昇腾 AI 处理器的超强算力。
Python
808
1.17 K
ops-nnops-nn
本项目是CANN提供的神经网络类计算算子库,实现网络在NPU上加速计算。
C++
802
1.6 K
ops-transformerops-transformer
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。
C++
982
2.32 K
kernelkernel
deepin linux kernel
C
33
16
jiuwenswarmjiuwenswarm
JiuwenSwarm 是一款基于openJiuwen开发的智能AI Agent,它能够将大语言模型的强大能力,通过你日常使用的各类通讯应用,直接延伸至你的指尖。
Python
3.05 K
786
AscendNPU-IRAscendNPU-IR
AscendNPU-IR是基于MLIR(Multi-Level Intermediate Representation)构建的,面向昇腾亲和算子编译时使用的中间表示,提供昇腾完备表达能力,通过编译优化提升昇腾AI处理器计算效率,支持通过生态框架使能昇腾AI处理器与深度调优
C++
486
315
ops-mathops-math
本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。
C++
1.21 K
1.27 K
cann-learning-hubcann-learning-hub
CANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。
Jupyter Notebook
668
316