Apache DolphinScheduler中Spark任务终止失败问题分析与解决方案

问题背景

在使用Apache DolphinScheduler调度系统管理Spark on YARN任务时，用户发现通过系统界面终止任务时出现异常。虽然DolphinScheduler任务实例状态显示为"terminated"，但实际的Spark作业仍在YARN集群中继续运行。通过日志分析发现，系统执行终止操作时抛出ExitCodeException异常，错误码为137（表示shell执行被中断）。

问题现象

1. 通过DolphinScheduler界面停止Spark任务失败
2. 系统日志显示yarn application kill命令执行异常
3. 手动执行生成的.kill脚本可以成功终止任务
4. 错误日志中提示"ERROR: Cannot execute /usr/hdp/current/hadoop/libexec/yarn-config.sh"

根本原因分析

经过深入排查，发现问题根源在于环境配置：

1. Hadoop环境变量配置错误：系统中HADOOP_HOME环境变量指向了错误的路径，导致无法找到yarn-config.sh配置文件。

2. 环境依赖差异：

   • 手动执行.kill脚本时，使用的是当前用户的环境变量
   • DolphinScheduler执行时，使用的是任务所属租户的环境上下文
   • 系统执行过程中会加载yarn-config.sh来获取必要的环境配置

3. 权限问题：虽然.kill文件本身有执行权限，但执行过程中依赖的Hadoop环境配置不可用。

解决方案

1. 修复Hadoop环境配置：

   • 检查并修正HADOOP_HOME环境变量
   • 确保/usr/hdp/current/hadoop/libexec/yarn-config.sh文件存在且可读

2. 权限检查：

   • 确认DolphinScheduler执行用户有权限访问Hadoop相关配置
   • 检查sudo -u命令的执行权限

3. 环境一致性验证：

   • 使用DolphinScheduler执行用户身份测试yarn命令
   • 验证环境变量是否完整加载

技术要点

1. DolphinScheduler任务终止机制：

   • 生成包含yarn application -kill命令的.kill脚本
   • 通过shell执行该脚本终止YARN应用

2. 环境依赖：

   • 执行yarn命令需要完整的Hadoop环境
   • yarn-config.sh提供关键的Hadoop环境变量

3. 权限控制：

   • 多租户环境下权限隔离
   • sudo -u切换用户执行

最佳实践建议

1. 部署前检查：

   • 验证所有节点Hadoop环境一致性
   • 测试基础命令执行

2. 权限管理：

   • 确保执行用户有必要的sudo权限
   • 统一各节点权限配置

3. 日志监控：

   • 关注系统操作日志中的异常信息
   • 建立关键操作的结果验证机制

总结

这个问题展示了分布式任务调度系统中环境配置的重要性。DolphinScheduler作为调度系统，其执行环境与实际命令行环境可能存在差异，特别是在多租户场景下。通过本次问题排查，我们不仅解决了具体的Spark任务终止问题，也为类似的环境配置问题提供了排查思路。建议用户在部署和使用调度系统时，特别注意环境一致性和权限配置的完整性。