Sidekiq 周期性任务停止运行的排查与解决方案

问题现象

在使用Sidekiq Enterprise版本时，用户遇到了周期性任务(cron jobs)突然停止执行的问题。这些任务原本运行正常，但在某些情况下会完全停止工作，直到手动重启Sidekiq服务才能恢复。特别值得注意的是，这些任务中有些涉及网络文件系统操作，包括通过SMB挂载的远程文件系统访问和使用FTP服务器的操作。

技术背景

Sidekiq是一个流行的Ruby后台任务处理框架，其Enterprise版本提供了周期性任务功能。周期性任务通过Sidekiq的Periodic模块管理，按照预设的时间表自动将任务加入队列执行。

问题分析

通过分析用户提供的GDB堆栈跟踪信息，发现了一个关键线索：一个名为"agent_thread"的线程在执行DNS查询时出现了阻塞。这种阻塞可能导致整个周期性任务调度机制停止工作。

进一步分析发现，问题可能与以下因素有关：

1. DNS解析问题：线程在执行getdomainname系统调用时卡住
2. 网络IO操作：涉及SMB和FTP的网络文件操作可能因网络问题导致线程阻塞
3. 第三方监控工具：NewRelic的agent线程可能是DNS查询的来源

解决方案

1. 使用Ruby纯DNS解析器

在Sidekiq初始化文件中添加以下代码，使用Ruby内置的DNS解析器替代系统调用：

require "resolv"

这可以避免因系统DNS查询导致的线程阻塞问题。

2. 网络IO操作的防护措施

对于涉及网络文件系统操作的任务，建议：

• 设置合理的超时机制
• 使用begin-rescue捕获可能的网络异常
• 考虑将长时间运行的任务拆分为更小的子任务

3. 更新相关依赖

确保所有相关gem都是最新版本，特别是：

• NewRelic RPM gem
• Sidekiq及其插件

4. 线程监控与调试

可以通过以下方式监控Sidekiq线程状态：

Sidekiq::ProcessSet.new.each do |process|
  puts "Process #{process['hostname']} threads: #{process['concurrency']}"
end

最佳实践建议

1. 隔离高风险任务：将可能阻塞的任务放入专用队列，使用单独的Sidekiq进程处理
2. 实施健康检查：设置监控检查周期性任务是否按时执行
3. 日志记录：增强任务执行日志，记录开始、结束时间和可能的异常
4. 资源限制：为网络操作任务设置适当的超时和重试策略

总结

Sidekiq周期性任务停止运行的问题通常与线程阻塞有关，特别是涉及网络操作和DNS查询的情况。通过使用纯Ruby DNS解析器、优化网络IO操作以及合理配置任务隔离，可以有效预防和解决这类问题。对于关键业务任务，建议实施额外的监控和告警机制，确保及时发现和处理类似问题。