NVIDIA NCCL中P2P通信阻塞问题分析与解决方案

问题现象

在使用NVIDIA NCCL进行多GPU通信测试时，当执行all_reduce_perf性能测试工具时，进程会出现阻塞现象。具体表现为程序在初始化完成后无法继续进行性能测试，日志停留在通信初始化完成阶段。

环境配置

测试环境配置如下：

• 使用两台NVIDIA A100-SXM4-80GB GPU
• GPU拓扑显示通过PCIe P2P方式连接
• NCCL版本为2.21.5+cuda11.8
• 操作系统为Linux环境

问题分析

通过日志分析发现，当NCCL尝试使用P2P(Peer-to-Peer)直接通信时会出现阻塞。而设置环境变量NCCL_P2P_DISABLE=1强制禁用P2P通信后，测试可以正常进行。这表明问题与PCIe的P2P通信机制有关。

深入分析发现，这是由于PCIe访问控制服务(ACS)被启用导致的。ACS是一种PCIe安全特性，主要用于隔离不同PCIe设备间的直接通信，防止未经授权的访问。当ACS启用时，它会阻止GPU间通过PCIe进行的直接内存访问(DMA)，从而导致NCCL的P2P通信失败。

解决方案

要解决此问题，需要在系统BIOS中禁用ACS功能。具体步骤如下：

1. 重启服务器并进入BIOS设置界面
2. 查找与PCIe相关的设置选项
3. 找到"PCIe Access Control Services"或类似选项
4. 将其设置为Disabled
5. 保存设置并重启系统

验证方法

修改后可通过以下方式验证是否生效：

1. 不设置NCCL_P2P_DISABLE环境变量
2. 重新运行NCCL测试工具
3. 观察是否能够正常完成性能测试
4. 检查日志中是否显示成功建立了P2P连接

技术背景

NCCL(NVIDIA Collective Communications Library)是NVIDIA开发的用于多GPU间高效通信的库。它支持多种通信方式，包括：

• 通过PCIe的P2P通信
• 通过NVLink的高速连接
• 通过网络的跨节点通信

其中PCIe P2P通信是最基础的通信方式，它允许GPU间直接通过PCIe总线交换数据，而不需要经过主机内存中转。这种通信方式对于单节点多GPU系统特别重要，能够显著降低通信延迟。

ACS是PCIe规范中的一项安全特性，它通过以下机制提供隔离：

• 地址转换服务
• 访问权限控制
• 通信隔离

虽然ACS提高了系统安全性，但对于高性能计算场景，特别是需要GPU间直接通信的应用，它会造成性能瓶颈。因此在高性能计算环境中通常建议禁用ACS。

总结

NCCL的P2P通信阻塞问题通常与PCIe ACS设置有关。通过禁用ACS可以恢复GPU间的直接通信能力，使NCCL能够充分利用PCIe P2P通信带来的性能优势。这一解决方案不仅适用于本文描述的测试场景，对于所有基于NCCL的多GPU应用都具有参考价值。