AWS OFI NCCL 插件使用教程

项目介绍

AWS OFI NCCL 是一个插件，允许 EC2 开发者在运行 NCCL 应用程序时使用 libfabric 作为网络提供商。NCCL（NVIDIA 集体通信库）是一个标准的集体通信例程库，用于单个节点或多个节点上的多个 GPU。通过结合 EFA、libfabric 和 MPI，NCCL 可以支持各种机器学习工作负载。

项目快速启动

安装步骤

1. 安装必要的工具

   对于 Amazon Linux 2：

   sudo yum install hwloc-devel
   

   对于 Ubuntu：

   sudo apt-get install libhwloc-dev
   

2. 下载 AWS OFI NCCL 插件文件

   wget https://github.com/aws/aws-ofi-nccl/releases/download/v1.10.0-aws/aws-ofi-nccl-1.10.0-aws.tar.gz
   

3. 解压文件并进入目录

   tar -xf aws-ofi-nccl-1.10.0-aws.tar.gz && cd aws-ofi-nccl-1.10.0-aws
   

4. 生成 make 文件

   ./configure --prefix=/opt/aws-ofi-nccl \
   --with-mpi=/opt/amazon/openmpi \
   --with-libfabric=/opt/amazon/efa \
   --with-cuda=/usr/local/cuda \
   --enable-platform-aws
   

5. 设置 PATH 变量

   export PATH=/opt/amazon/openmpi/bin/:$PATH
   

6. 安装插件

   make && sudo make install
   

安装 NCCL 测试

1. 进入主目录

   cd $HOME
   

2. 克隆 NCCL 测试仓库

   git clone https://github.com/NVIDIA/nccl-tests.git && cd nccl-tests
   

3. 设置 LD_LIBRARY_PATH

   export LD_LIBRARY_PATH=/opt/amazon/efa/lib:$LD_LIBRARY_PATH
   

应用案例和最佳实践

应用案例

AWS OFI NCCL 插件主要用于在 Amazon EC2 实例上运行机器学习工作负载。通过结合 EFA 和 NCCL，可以显著提高多 GPU 和多节点之间的通信效率，从而加速深度学习模型的训练过程。

最佳实践

• 选择合适的实例类型：建议使用 p3dn.24xlarge、p4d.24xlarge 或 p5.48xlarge 实例类型。
• 使用支持的操作系统：推荐使用 Amazon Linux 2 或 Ubuntu 20.04/22.04。
• 确保 NCCL 版本兼容：仅支持 NCCL 2.4.2 及更高版本。

典型生态项目

• NCCL：NVIDIA 集体通信库，用于多 GPU 和多节点之间的通信。
• EFA：Elastic Fabric Adapter，用于提高 HPC 和机器学习工作负载的性能。
• libfabric：提供高性能网络接口的库。
• MPI：消息传递接口，用于并行计算。

通过结合这些项目，可以构建一个高效、可扩展的机器学习工作负载环境。