Rundeck远程任务执行失败问题分析与解决方案

问题现象描述

在使用Rundeck 3.4.9社区版执行自动化任务时，用户遇到了一个典型的问题：通过Rundeck调用包含curl命令的Shell脚本时，任务异常终止并返回"Failed: NonZeroResultCode: Remote command failed with exit status -1"错误。值得注意的是，该脚本在终端手动执行时能够正常运行，且实际上文件上传操作已经成功完成。

技术背景分析

这个问题涉及到几个关键技术点：

1. SSH连接保持机制：Rundeck通过SSH协议与远程节点通信，SSH连接存在超时限制
2. 长时间运行任务：文件上传操作可能需要较长时间（用户设置了900秒超时）
3. 异步任务管理：用户使用了Ansible的async/poll机制来处理长时间运行任务

根本原因定位

经过深入分析，问题的根本原因是SSH连接超时设置不当。在默认配置下，SSH服务器（sshd）会主动断开空闲连接，而Rundeck任务执行时间超过了SSH服务端的ClientAliveInterval设置（默认为300秒）。

解决方案实施

解决此问题需要进行以下配置调整：

1. 修改SSH服务端配置：

sudo vi /etc/ssh/sshd_config

2. 调整以下参数：

ClientAliveInterval 600

3. 重启SSH服务使配置生效：

sudo systemctl restart sshd

配置参数说明

• ClientAliveInterval：指定服务器向客户端发送活动消息的时间间隔（秒）
• 设置为600秒意味着SSH连接在无活动10分钟后才会被断开
• 这个值应该大于Rundeck任务执行的最长时间预期

最佳实践建议

1. 对于长时间运行的任务，建议：

   • 同时调整ClientAliveInterval和ClientAliveCountMax参数
   • 在Rundeck任务中考虑使用nohup或screen/tmux等工具
   • 对于特别长时间的任务，考虑拆分为多个小任务

2. 监控与日志：

   • 在SSH配置中启用详细日志以便诊断连接问题
   • 在Rundeck任务中添加详细的日志输出

3. 环境一致性：

   • 确保测试环境与生产环境的SSH配置一致
   • 考虑在自动化部署中包含SSH配置的标准化

总结

通过调整SSH服务的保持连接参数，我们成功解决了Rundeck执行长时间任务时意外断开的问题。这个案例提醒我们，在构建自动化运维系统时，不仅需要关注应用层面的配置，还需要注意底层基础设施服务的参数调优，特别是当涉及跨系统通信时。正确的超时设置对于保证自动化任务的可靠执行至关重要。