Mooncake项目中的传输引擎吞吐量下降问题分析与解决方案

问题背景

在Mooncake项目的实际应用场景中，当sglang服务器接收到大量请求时，传输引擎(Mooncake Transfer Engine)的吞吐量会出现显著下降现象。具体表现为：在第一次测试中，传输引擎吞吐量约为130MB/s，P99 TTFT(Time To First Token)约为2秒；而在第二次测试中，吞吐量骤降至70MB/s，P99 TTFT则增加到12秒。

问题现象详细描述

测试环境配置如下：

• 使用两台机器分别运行prefill和decode服务
• 采用Mooncake传输引擎
• 使用sglang.bench_serving进行压力测试
• 每次测试发送1000个请求
• 每个请求输出长度为512个token
• 网络配置为RoCE 200G×2 RDMA

值得注意的是，当输出长度较短(如5个token)时，该问题不会出现，说明问题与请求规模和处理负载密切相关。

技术分析

从技术角度分析，这种吞吐量突然下降的现象可能源于以下几个方面：

1. 内存管理机制：Mooncake传输引擎在处理大规模请求时可能存在内存分配或回收效率问题
2. 页面调度策略：默认的页面大小设置可能不适合高负载场景
3. 资源竞争：大量并发请求可能导致内部资源竞争加剧
4. 网络缓冲区管理：RDMA网络在高负载下的缓冲区管理可能存在问题

解决方案

经过项目维护者的诊断，确认该问题可以通过调整页面大小参数来解决。具体解决方案为：

在启动服务时添加--page-size 64参数，这一调整能够显著改善高负载情况下的性能表现。

实施建议

对于面临类似问题的用户，建议：

1. 根据实际负载情况调整页面大小参数
2. 进行阶梯式压力测试，逐步增加请求量观察性能变化
3. 监控系统资源使用情况，特别是内存和网络资源
4. 考虑请求批处理(batching)策略优化

总结

Mooncake传输引擎在高负载场景下的性能优化是一个需要细致调参的过程。通过合理配置页面大小等关键参数，可以有效避免吞吐量骤降问题，保证系统在高并发情况下的稳定运行。这一案例也提醒我们，在分布式系统设计中，内存管理和资源调度策略对系统性能有着至关重要的影响。