HAProxy TCP内存泄漏问题分析与修复

问题背景

在Kubernetes环境中作为负载均衡层运行的HAProxy 2.8版本出现了一个严重的TCP内存泄漏问题。运维团队发现，随着时间的推移，主机分配的TCP套接字内存（/proc/net/sockstat）会缓慢但持续地增加，最终导致主机进入内存压力模式，影响整体性能。这个问题在HAProxy 2.6版本中并不存在，但在升级到2.8版本后变得明显。

问题现象

运维团队观察到以下关键现象：

1. TCP内存使用量随时间线性增长，与流量变化无关
2. 重启HAProxy进程会立即释放积累的TCP内存
3. 问题在HAProxy 2.8各个子版本（包括2.8.11）中都存在
4. 环境中有大量长连接（客户端超时设置为3小时）

技术分析

通过对问题环境的深入分析，HAProxy开发团队发现了问题的根本原因：

1. 连接状态异常：当后端服务器异常断开时，HAProxy未能正确处理这些连接
2. 超时机制缺陷：在2.8版本中，当尝试关闭连接时，会等待对等方响应关闭，这实际上使超时时间翻倍
3. 缓冲区阻塞：当服务器端出现错误时，发送操作被阻塞，但写超时未被正确触发

具体表现为：

• 大约2000个流处于无超时状态（exp=）
• 请求和响应缓冲区中都有数据被阻塞
• 这些"僵尸"连接持续占用系统资源

解决方案

开发团队通过以下修复措施解决了这个问题：

1. 正确报告阻塞发送：修复了当发送因错误而阻塞时未能正确报告的问题
2. 优化超时处理：确保在通道非空时报告阻塞发送，从而正确触发超时机制

关键修复代码变更：

if (!channel_is_empty(oc))
    sc_ep_report_blocked_send(sc, 0);

验证结果

修复后的HAProxy 2.8.13版本在实际环境中表现良好：

1. TCP内存使用量保持稳定，不再随时间增长
2. 长期运行测试未再出现内存泄漏现象
3. 系统资源利用率回归正常水平

最佳实践建议

对于使用HAProxy作为负载均衡器的用户，特别是处理大量长连接的环境，建议：

1. 及时升级到包含此修复的HAProxy版本
2. 对于长连接场景，考虑设置tcp-ut参数（如30秒）以加速检测失效连接
3. 监控系统TCP内存使用情况，设置适当的告警阈值
4. 定期检查HAProxy的连接状态，及时发现异常

此问题的解决体现了HAProxy社区对产品质量的重视和快速响应能力，确保了其在负载均衡领域的高可靠性和稳定性。