Mooncake项目中SGLang PD解耦模式的网络连接问题分析与解决

问题背景

在Mooncake项目中使用SGLang的PD解耦模式时，我们遇到了一个关键的网络连接问题。该问题表现为在压力测试过程中，两个节点间的连接数会持续增长而无法正常释放，最终导致网络卡顿甚至网卡失效。

问题现象

在初始配置中，我们设置了两个节点：

• 节点1（29.163.184.201）：运行prefill服务和中间服务器
• 节点2（29.163.178.171）：运行decode服务

Mooncake配置文件指定了8个RDMA网卡设备。系统启动后，初始会建立8个连接用于元数据服务器与decode节点间的通信。但在实际运行中发现：

1. 每个请求会新增9个连接，请求完成后仅释放1个，净增8个连接
2. 当连接数超过1000时，压力测试任务会出现卡顿
3. 重启任务后连接数会继续增长至近2000，最终导致网卡失效
4. decode节点的内存使用量随连接数增加而增长，而prefill节点内存保持稳定

技术分析

连接管理机制

SGLang在引擎层面设计了连接复用机制，理论上应该能够有效管理连接生命周期。但实际观察到的现象表明：

1. 连接创建与释放不平衡，存在内存泄漏风险
2. 连接数增长导致decode节点内存压力增大
3. 网卡失效可能是由于连接数超过设备处理能力

多网卡配置问题

在最新版本的测试中还发现，Mooncake会尝试使用所有网卡设备，包括配置文件中未指定的设备。这可能导致：

1. 资源争用问题
2. 性能不稳定
3. 潜在的网络冲突

解决方案

连接管理优化

1. 确保使用最新版本的SGLang和Mooncake代码
2. 监控连接生命周期，确认连接释放机制是否正常工作
3. 检查内存管理策略，特别是decode节点的内存分配

网卡配置规范

对于多网卡环境，推荐以下配置方式：

1. 明确指定使用的网卡设备
2. 使用--disaggregation-ib-device参数替代配置文件中的设备列表
3. 避免让系统自动选择所有可用网卡

最佳实践建议

1. 对于生产环境，建议先进行小规模测试验证连接稳定性
2. 监控系统连接数和内存使用情况，设置预警阈值
3. 考虑使用单一高性能网卡而非多网卡绑定，除非有特殊需求
4. 定期检查网络设备状态和系统日志

总结

Mooncake项目中SGLang PD解耦模式的网络连接问题揭示了分布式系统中资源管理的重要性。通过合理配置和持续监控，可以有效避免连接泄漏和资源耗尽问题。开发团队应关注连接生命周期管理和网卡资源配置，确保系统在高负载下的稳定性。