Apache DolphinScheduler 中停止 Spark on YARN 任务失败问题分析与解决

问题背景

在使用 Apache DolphinScheduler 调度 Spark on YARN 任务时，用户遇到了无法正常停止任务的问题。虽然 DolphinScheduler 的任务实例状态显示为"已终止"，但实际上 Spark 作业仍在 YARN 上继续运行。

现象描述

当用户尝试通过 DolphinScheduler 停止 Spark 任务时，系统日志显示以下关键错误信息：

1. 执行 yarn application -kill 命令失败
2. 抛出 ExitCodeException，退出码为 137（表示 shell 执行被中断）
3. 手动执行生成的 .kill 文件可以成功终止任务，但通过 DolphinScheduler 执行却失败

深入排查

通过 Arthas 调试工具深入分析，发现了根本原因：系统在执行停止操作时，尝试加载 /usr/hdp/current/hadoop/libexec/yarn-config.sh 文件失败。

这个文件是 Hadoop/YARN 环境配置文件，包含运行 YARN 命令所需的环境变量设置。当该文件不存在或无法访问时，会导致 YARN 命令执行失败。

问题根源

经过进一步分析，确定问题出在环境变量配置上：

1. HADOOP_HOME 环境变量配置错误，指向了不存在的路径
2. 由于环境变量错误，系统无法定位到正确的 YARN 配置文件位置
3. 手动执行可以成功是因为用户环境中已经正确设置了必要的环境变量

解决方案

解决此问题需要以下步骤：

1. 检查并修正 Hadoop 环境变量：

   • 确保 HADOOP_HOME 指向正确的 Hadoop 安装目录
   • 验证 PATH 环境变量包含 Hadoop 的 bin 目录

2. 验证 YARN 配置文件：

   • 确认 /usr/hdp/current/hadoop/libexec/yarn-config.sh 文件存在
   • 确保 DolphinScheduler 执行用户有读取该文件的权限

3. 环境变量配置：

   • 在 DolphinScheduler 的环境配置文件（如 dolphinscheduler_env.sh）中添加必要的 Hadoop/YARN 环境变量
   • 确保这些变量在任务执行时能被正确加载

技术原理

在 DolphinScheduler 中停止 YARN 应用的流程如下：

1. 系统生成一个包含停止命令的 .kill 文件
2. 通过 Shell 执行该文件
3. 执行过程中会加载 YARN 相关环境配置
4. 调用 yarn application -kill 命令终止应用

当环境变量配置不正确时，第三步会失败，导致整个停止操作无法完成。

最佳实践建议

为了避免类似问题，建议：

1. 环境检查清单：

   • 部署前验证所有必要的环境变量
   • 确保关键配置文件存在且可读
   • 测试基础命令（如 yarn 命令）能否正常执行

2. 权限管理：

   • 确保 DolphinScheduler 执行用户有足够的权限
   • 验证 sudo -u 命令能否正常执行

3. 日志分析：

   • 关注系统日志和任务日志中的环境加载信息
   • 使用调试工具（如 Arthas）进行深入分析

总结

通过本次问题排查，我们了解到环境变量配置对于分布式任务调度系统的重要性。正确的环境配置是保证 DolphinScheduler 与底层资源管理系统（如 YARN）正常交互的基础。开发者和运维人员应当重视环境检查，确保各组件间的无缝集成。