Apache DolphinScheduler任务插件进程终止逻辑缺陷分析与修复

问题背景

在Apache DolphinScheduler任务插件中，AbstractCommandExecutor类的cancelApplication方法负责终止正在运行的进程。当前实现仅能终止主进程，而无法确保其子进程被正确终止，这可能导致资源泄漏和系统稳定性问题。

问题现象

当用户运行某些会产生子进程的任务（如Seatunnel集群模式任务）并通过界面停止任务时，虽然主进程被终止，但子进程仍然继续运行。这会导致系统资源无法及时释放，可能影响后续任务的执行和系统稳定性。

技术分析

当前实现缺陷

当前cancelApplication方法的实现仅调用了Process对象的destroy()和destroyForcibly()方法：

public void cancelApplication() throws InterruptedException {
    if (process == null) {
        return;
    }
    log.info("Begin to kill process process, pid is : {}", taskRequest.getProcessId());
    process.destroy();
    if (!process.waitFor(5, TimeUnit.SECONDS)) {
        process.destroyForcibly();
    }
    log.info("Success kill task: {}, pid: {}", taskRequest.getTaskAppId(), taskRequest.getProcessId());
}

这种方法存在两个主要问题：

1. 无法终止子进程：Java的Process API默认只终止直接创建的进程，不会自动终止该进程创建的子进程。

2. 超时处理不足：5秒的等待时间可能不足以让某些进程完全终止，特别是那些需要进行清理工作的进程。

进程树终止原理

在Unix/Linux系统中，进程通常以树状结构组织。当父进程被终止时，其子进程可能成为孤儿进程并被init进程接管，继续运行。要彻底终止一个进程及其所有子进程，需要：

1. 识别进程树中的所有进程
2. 从叶子节点开始向上终止进程
3. 确保所有进程都被正确终止

解决方案

改进方案设计

针对这个问题，我们可以采用以下改进方案：

1. 获取进程树：通过系统命令获取指定进程的所有子进程ID
2. 递归终止：从最底层子进程开始向上终止
3. 超时控制：为每个进程设置合理的终止超时时间
4. 强制终止：优雅终止失败后使用强制终止

代码实现示例

public void cancelApplication() throws InterruptedException {
    if (process == null) {
        return;
    }
    
    long pid = taskRequest.getProcessId();
    log.info("Begin to kill process tree, root pid is: {}", pid);
    
    // 获取进程树中的所有进程ID
    Set<Long> processTree = getProcessTree(pid);
    
    // 从叶子节点开始终止
    for (Long processId : processTree) {
        try {
            ProcessHandle.of(processId).ifPresent(handle -> {
                handle.destroy();
                if (!handle.destroyForcibly()) {
                    log.warn("Failed to forcibly terminate process: {}", processId);
                }
            });
        } catch (Exception e) {
            log.error("Error terminating process {}: {}", processId, e.getMessage());
        }
    }
    
    // 终止主进程
    process.destroy();
    if (!process.waitFor(5, TimeUnit.SECONDS)) {
        process.destroyForcibly();
    }
    
    log.info("Successfully killed task: {}, pid: {}", taskRequest.getTaskAppId(), pid);
}

private Set<Long> getProcessTree(long rootPid) {
    Set<Long> processTree = new HashSet<>();
    Deque<Long> toProcess = new ArrayDeque<>();
    toProcess.add(rootPid);
    
    while (!toProcess.isEmpty()) {
        long pid = toProcess.pop();
        processTree.add(pid);
        
        // 使用系统命令获取子进程
        String command = String.format("pgrep -P %d", pid);
        try {
            Process p = Runtime.getRuntime().exec(command);
            BufferedReader reader = new BufferedReader(new InputStreamReader(p.getInputStream()));
            String line;
            while ((line = reader.readLine()) != null) {
                long childPid = Long.parseLong(line);
                toProcess.add(childPid);
            }
        } catch (Exception e) {
            log.warn("Failed to get child processes for {}: {}", pid, e.getMessage());
        }
    }
    
    return processTree;
}

兼容性考虑

1. 跨平台支持：不同操作系统获取进程树的方式不同，需要针对不同平台实现
2. Java版本兼容：ProcessHandle API需要Java 9+，对于旧版本需要替代方案
3. 权限问题：确保执行终止操作的用户有足够权限

实施建议

1. 测试验证：在修改后应进行全面测试，特别是针对会产生多级子进程的任务
2. 日志增强：增加详细的日志记录，便于问题排查
3. 配置化：将超时时间等参数设计为可配置项
4. 监控指标：添加进程终止成功率的监控指标

总结

Apache DolphinScheduler的任务终止逻辑需要正确处理进程树终止，以避免资源泄漏。通过获取完整的进程树并从叶子节点开始终止，可以确保所有相关进程都被正确清理。这一改进将提升系统的稳定性和资源管理能力，特别是在运行会产生复杂进程树的任务时。