Apache DolphinScheduler 中停止 Spark on YARN 作业失败问题分析与解决

问题背景

在使用 Apache DolphinScheduler 管理 Spark on YARN 作业时，用户发现通过 DolphinScheduler 停止作业的操作虽然将任务实例状态标记为"已终止"，但实际上 Spark 作业仍在 YARN 上继续运行。手动执行生成的 .kill 文件却能成功终止作业。

问题现象

当通过 DolphinScheduler 界面停止 Spark 作业时，系统日志显示以下关键错误信息：

1. 出现 ExitCodeException，退出码为 137
2. 错误信息表明执行 yarn application -kill 命令失败
3. 任务实例状态被标记为终止，但实际作业仍在运行

深入分析

执行环境差异

经过排查发现，DolphinScheduler 和手动执行 .kill 文件的主要区别在于：

1. 执行用户不同：DolphinScheduler 通过租户用户执行，而手动执行使用的是当前会话用户
2. 环境变量加载：DolphinScheduler 执行时会加载完整的环境配置

关键发现

通过 Arthas 工具调试发现，DolphinScheduler 在执行停止操作时尝试加载 /usr/hdp/current/hadoop/libexec/yarn-config.sh 文件，但该文件在系统中不存在。进一步调查发现这是由于 Hadoop 环境变量配置错误导致的。

根本原因

问题根源在于：

1. 环境变量 HADOOP_HOME 配置错误，指向了不存在的路径
2. YARN 相关脚本依赖的环境变量未能正确加载
3. 虽然手动执行 .kill 文件可以工作，但这是因为当前会话中已经包含了必要的环境变量

解决方案

1. 修正 Hadoop 环境变量：确保 HADOOP_HOME 指向正确的 Hadoop 安装目录
2. 验证 yarn-config.sh 存在：确认 /usr/hdp/current/hadoop/libexec/yarn-config.sh 文件存在且可读
3. 检查权限配置：确保 DolphinScheduler 的租户用户有权限执行相关命令和访问所需文件

技术要点

1. YARN 作业管理机制：Spark on YARN 作业的停止依赖于 YARN 的资源管理机制
2. 环境变量重要性：Hadoop/YARN 相关命令执行依赖正确的环境变量配置
3. 多用户执行环境：DolphinScheduler 的多租户特性可能导致环境变量加载与直接执行存在差异

最佳实践建议

1. 在部署 DolphinScheduler 时，确保所有工作节点具有一致的 Hadoop 环境配置
2. 定期验证关键脚本文件（如 yarn-config.sh）的存在和可执行性
3. 对于生产环境，建议建立配置检查清单，包含所有必要的环境变量和文件路径验证

总结

这个问题展示了分布式任务调度系统中环境配置的重要性。通过本次排查，我们不仅解决了具体的作业停止问题，也加深了对 DolphinScheduler 与 YARN 集成机制的理解。正确的环境配置是保证调度系统稳定运行的基础，特别是在涉及多租户和复杂依赖的场景下。