LMDeploy分布式推理中RDMA QP创建失败问题解析

问题背景

在使用LMDeploy进行分布式推理服务部署时，用户尝试按照官方文档的指导，在PD（Prefill-Decode）解耦模式下启动路由服务、预填充工作节点和解码工作节点。虽然服务能够正常启动，但在实际发送推理请求时，预填充工作节点崩溃，并出现"Failed to create QP"的错误信息。

环境配置

该问题出现在配备以下硬件的环境中：

• 2个eRDMA网络接口卡
• 8块NVIDIA A10 GPU
• 相关驱动包括nvidia_uvm、nvidia_peermem、ib_core等内核模块

软件环境使用Qwen2.5-7B-Instruct模型，通过LMDeploy的分布式服务模式进行部署。

错误现象分析

当用户通过curl发送POST请求时，系统表现出以下异常行为：

1. 预填充工作节点：

   • 首先正常接收并处理了HTTP请求
   • 随后在尝试建立RDMA连接时失败，错误信息显示"Failed to create QP"
   • 最终导致段错误(Segmentation fault)并崩溃

2. 路由服务：

   • 初始请求返回422状态码
   • 尝试重连预填充工作节点多次失败
   • 最终返回500内部服务器错误

3. 系统层面：

   • 在进程崩溃后，nvidia-smi命令也出现异常

技术原理分析

QP(Queue Pair)是RDMA(远程直接内存访问)技术中的核心概念，用于在节点间建立直接内存访问通道。在分布式推理场景中，预填充节点和解码节点需要通过RDMA进行高效的数据交换。

错误信息表明系统在创建QP时失败，这通常与以下因素有关：

1. RDMA设备资源限制
2. 队列对参数配置不当
3. 设备驱动或固件问题
4. 网络配置限制

解决方案

经过深入分析，发现问题根源在于eRDMA云服务器环境下，默认的max_send_sge和max_recv_sge参数值(4)与硬件不兼容。通过以下修改解决了问题：

在dlslime的rdma_context实现中，将max_send_sge和max_recv_sge参数从4调整为1。这是因为：

1. eRDMA云服务器通常对单次操作的SGE(Scatter-Gather Element)数量有更严格的限制
2. 减少SGE数量可以降低内存注册和DMA操作的开销
3. 在大多数推理场景中，单SGE已能满足数据传输需求

经验总结

在分布式AI推理系统部署时，特别是使用RDMA技术时，需要注意：

1. 不同RDMA硬件实现(如Mellanox、eRDMA等)可能有不同的参数限制
2. 云环境下的虚拟化RDMA设备往往比物理设备有更多限制
3. 系统参数需要根据实际硬件环境进行调整
4. 错误日志中的"Failed to create QP"通常是RDMA资源分配问题的表现

这个问题展示了在分布式AI系统部署中，底层网络配置对系统稳定性的重要影响，也提醒开发者在不同环境中需要灵活调整系统参数。