NCCL在Kubernetes环境中使用RDMA通信的故障排查与解决方案

背景介绍

NCCL（NVIDIA Collective Communications Library）是NVIDIA开发的高性能通信库，专为多GPU系统设计，能够实现GPU之间的高效数据交换。在实际生产环境中，用户经常需要在Kubernetes集群上部署NCCL应用，并期望利用RDMA（远程直接内存访问）技术来获得更高的网络性能。

问题现象

用户在Kubernetes 1.26.3环境中使用MPIJob运行NCCL的all_reduce_perf测试时，发现程序在kubectl exec命令后挂起。具体表现为：

1. 在物理机上使用RDMA时工作正常
2. 在Docker容器中使用RDMA时工作正常
3. 在Kubernetes（containerd）中使用集群网络（非RDMA）时工作正常
4. 在Kubernetes（containerd）中使用RDMA时出现挂起

环境配置

用户的环境配置如下：

• NCCL版本：2.21.5
• MPI版本：2.19.3
• Kubernetes版本：1.26.3
• containerd版本：1.6.28
• NVIDIA驱动版本：525.105.17
• CUDA版本：12.4

MPIJob的YAML配置中指定了RDMA资源请求，并尝试通过环境变量配置NCCL使用特定的网络接口和HCA设备。

根本原因分析

经过排查，发现问题与MPI的HCOLL组件有关。HCOLL是Mellanox开发的高性能集体通信库，但在某些Kubernetes RDMA环境中可能存在兼容性问题。具体表现为：

1. MPI在Kubernetes RDMA环境下的初始化过程可能存在问题
2. HCOLL组件与Kubernetes网络栈的交互可能出现异常
3. RDMA设备在容器环境中的映射可能不完全

解决方案

通过添加-mca coll_hcoll_enable 0参数禁用HCOLL组件后，问题得到解决。这是因为：

1. 禁用HCOLL后，MPI会回退到其他集体通信实现
2. NCCL本身不依赖MPI的通信功能，只使用MPI进行初始化和协调
3. 实际的数据传输由NCCL直接通过RDMA完成

技术建议

对于在Kubernetes中使用NCCL和RDMA的用户，建议：

1. 在MPI参数中添加-mca coll_hcoll_enable 0禁用HCOLL
2. 可以进一步精简MPI参数，如使用-mca btl tcp,self
3. 确保RDMA设备在容器中正确映射和配置
4. 检查NCCL环境变量设置是否正确，特别是：
   • NCCL_IB_HCA
   • NCCL_SOCKET_IFNAME
   • UCX_NET_DEVICES

性能考量

虽然禁用HCOLL可能影响纯MPI应用的性能，但对于使用NCCL的应用：

1. NCCL不通过MPI进行数据传输
2. 集体操作由NCCL直接优化实现
3. RDMA性能不会受到影响
4. all_reduce_perf等测试工具的结果仍然有效

总结

在Kubernetes环境中使用NCCL和RDMA时，可能会遇到MPI初始化问题。通过适当调整MPI参数，特别是禁用HCOLL组件，可以解决这类问题而不影响NCCL的实际性能。这为在容器化环境中部署高性能GPU应用提供了可靠的解决方案。