Redisson线程挂起问题分析与解决方案

问题背景

在使用Redisson 3.15.2版本与Spring Data Redis集成时，出现了一个严重的线程挂起问题。具体表现为线程在执行Redis GET操作时无限期挂起，持续时间可达6天之久，直到线程被中断才会抛出InterruptedException异常。该问题发生在Redis集群环境中，且仅在部分Pod中出现，导致线程池中大量线程被阻塞。

错误现象

从错误日志中可以观察到以下关键信息：

1. 线程最终抛出org.redisson.client.RedisException，原因是java.lang.InterruptedException
2. 调用栈显示问题发生在Redisson的CommandAsyncService.get()方法中
3. 底层实际上是Netty的Promise在await时被中断
4. 问题发生时伴随Redis连接写入异常和超时错误

根本原因分析

经过深入分析，该问题与Redisson在Redis集群故障转移(failover)后的处理机制有关。具体表现为：

1. 故障转移处理缺陷：当Redis集群发生主从切换时，Redisson 3.15.2版本存在连接恢复机制的缺陷，特别是在重试间隔(retryInterval)配置为0时，可能导致线程无限等待。

2. 连接池耗尽：从日志中可以看到"Unable to acquire connection"错误，表明连接池资源被耗尽，这与线程挂起形成恶性循环。

3. 重试机制问题：虽然配置了retryInterval=1500ms，但在某些特定故障场景下，重试机制未能按预期工作。

解决方案

Redisson官方在后续版本中修复了多个与故障转移相关的问题。针对此问题，建议采取以下解决方案：

1. 版本升级：将Redisson升级到3.25.1或更高版本(推荐3.25.2)。这些版本包含了针对故障转移后线程挂起问题的专门修复。

2. 配置优化：

   • 确保retryInterval设置为合理的非零值(如1500ms)
   • 适当增大连接池大小
   • 根据业务需求调整超时时间

3. 监控增强：

   • 实现Redis集群健康监控
   • 对长时间运行的Redis操作设置超时机制
   • 监控线程池状态，防止线程耗尽

升级注意事项

从3.15.2升级到3.25.2时需要注意：

1. 仔细阅读CHANGELOG中的破坏性变更说明
2. 在测试环境充分验证新版本
3. 关注API变更，特别是与Spring Data Redis集成的部分
4. 监控升级后的性能表现和稳定性

总结

Redis集群环境下的故障转移处理是一个复杂的场景，早期版本的Redisson在此方面存在一些缺陷。通过升级到最新稳定版本，结合合理的配置调整，可以有效避免线程挂起问题。对于生产环境中的关键系统，建议始终保持中间件版本的及时更新，以获得最佳稳定性和性能。