Sidekiq-Pro中Redis过期键问题的分析与解决方案

问题背景

在使用Sidekiq-Pro的批处理功能时，Redis实例中出现了大量名为b-#{bid}-notify的键，这些键的TTL值为-1（永不过期）。这种情况会导致Redis内存不断增长，最终可能引发内存不足的问题。

技术分析

Sidekiq-Pro的批处理功能会在Redis中创建多个数据结构来跟踪批处理状态。正常情况下，b-#{bid}-notify这类键应该设置有过期时间，系统会在批处理完成后自动清理。但在某些特殊场景下，这些键可能不会自动过期。

经过深入分析，发现问题可能出现在以下场景：

1. 在批处理的:complete回调中直接调用batch_status.delete方法
2. 批处理作业配置了retry: false选项
3. 批处理未能正常完成但也没有被标记为死亡状态

解决方案

推荐方案

官方建议不要提前删除批处理状态。批处理系统设计时就包含了自动清理机制，手动干预可能导致状态不一致。正确的做法是：

1. 让系统自动管理批处理的生命周期
2. 对于确实需要清理的已完成批处理，可以通过定期任务处理

替代方案

如果确实需要主动清理，可以考虑以下方法：

# 创建定期清理任务
namespace :sidekiq do
  task :clean_stale_batches => :environment do
    Sidekiq::Batch::DeadSet.new.each do |status|
      status.delete
    end
  end
end

将此任务设置为每日执行的cron作业，可以安全地清理已死亡的批处理状态。

最佳实践

1. 避免在:complete回调中直接删除批处理状态
2. 谨慎使用retry: false选项，了解其对批处理生命周期的影响
3. 定期监控Redis中的键数量和内存使用情况
4. 考虑为批处理设置适当的过期时间，即使出现异常也能自动清理

总结

Sidekiq-Pro的批处理功能是强大的，但需要正确理解其生命周期管理机制。通过遵循官方推荐的最佳实践，可以避免Redis内存泄漏问题，同时确保批处理功能的可靠性。对于特殊情况下的清理需求，应该采用系统提供的标准接口，而不是直接操作底层数据结构。

对于已经存在的无过期键问题，可以按照上述方案进行清理，并持续观察系统行为，确保问题不再复发。