Bandit服务器高负载下连接挂起问题分析与解决方案

问题背景

在使用Elixir生态中的Bandit服务器(1.2.2版本)和Thousand Island(1.3.2版本)处理高并发WebSocket连接时，系统在持续运行一段时间后会出现连接挂起现象。具体表现为：

1. 现有连接突然中断
2. 新连接无法建立，处于挂起状态
3. 健康检查失败导致Pod重启
4. 重启后服务恢复正常

该问题在多个高流量网站中复现，这些网站都具有大量的WebSocket连接和HTTP请求。

现象分析

通过监控数据可以观察到几个关键指标的变化：

1. 端口数量变化：在问题发生时，活跃端口数量首先急剧下降
2. 运行队列长度：随后出现明显的运行队列长度峰值
3. 周期性重启：系统呈现周期性重启模式，每次重启后恢复正常

这些现象表明系统在达到某种临界状态后无法正常处理新连接，最终导致服务不可用。

问题根源

经过深入分析，发现问题出在Thousand Island的连接重试机制上。当系统达到最大连接数限制时：

1. 默认配置下，Thousand Island会尝试重试建立连接
2. 在高负载场景下，这种重试机制会导致连接积压
3. 最终形成恶性循环，使系统无法恢复

特别是在处理WebSocket这种长连接时，问题更为明显，因为：

• 长连接占用资源时间更长
• 连接数更容易达到上限
• 重试机制的影响被放大

解决方案

Thousand Island 1.3.3版本已经修复了这个问题。升级后，系统在高负载下表现稳定，24小时内未再出现连接挂起现象。

对于无法立即升级的用户，可以采取以下临时解决方案：

config :my_app, MyAppWeb.Endpoint,
  http: [
    thousand_island_options: [max_connections_retry_count: 0]
  ]

通过将max_connections_retry_count设置为0，可以禁用连接重试机制，避免连接积压问题。

最佳实践建议

1. 及时升级：保持Bandit和Thousand Island为最新版本
2. 监控指标：重点关注端口数量和运行队列长度
3. 容量规划：根据业务特点合理设置最大连接数
4. 优雅降级：在高负载时考虑实施限流策略

总结

Bandit作为高性能的Elixir Web服务器，在处理高并发WebSocket连接时表现出色。通过这次问题的分析和解决，我们不仅修复了一个关键缺陷，也加深了对服务器在高负载场景下行为模式的理解。建议所有用户尽快升级到Thousand Island 1.3.3或更高版本，以获得更稳定的服务体验。