AWS Deep Learning Containers发布PyTorch 2.7.1训练镜像

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的预配置深度学习环境容器镜像，它集成了主流深度学习框架及其依赖项，使开发者能够快速部署和运行深度学习工作负载。这些容器镜像经过优化，可直接在Amazon EC2实例上运行，大幅简化了深度学习环境的配置过程。

近日，AWS Deep Learning Containers项目发布了PyTorch 2.7.1版本的训练镜像，为开发者提供了最新的PyTorch训练环境支持。本次更新包含CPU和GPU两个版本，均基于Ubuntu 22.04操作系统构建。

CPU版本镜像特性

CPU版本镜像（pytorch-training:2.7.1-cpu-py312-ubuntu22.04-ec2-v1.4）主要面向不需要GPU加速的训练场景。该镜像包含了PyTorch 2.7.1 CPU版本及其相关生态工具：

• 核心框架：PyTorch 2.7.1 + CPU优化版本
• Python环境：Python 3.12
• 科学计算栈：NumPy 2.3.0、SciPy 1.15.3
• 计算机视觉支持：OpenCV 4.11.0、Pillow 11.2.1
• 数据处理工具：Pandas 2.3.0
• 机器学习库：scikit-learn 1.7.0
• 自然语言处理：spaCy 3.8.7
• 开发工具：Cython 3.1.2、pybind11 2.13.6

该镜像还预装了AWS CLI工具（1.40.32版本）和boto3 SDK（1.38.33版本），方便用户与AWS服务进行交互。

GPU版本镜像特性

GPU版本镜像（pytorch-training:2.7.1-gpu-py312-cu128-ubuntu22.04-ec2-v1.4）针对CUDA 12.8进行了优化，适合需要GPU加速的训练任务。除了包含CPU版本的所有功能外，还增加了：

• CUDA支持：CUDA 12.8工具链
• cuDNN：9.x版本
• NCCL：支持NVIDIA Collective Communications Library
• GPU优化版PyTorch：PyTorch 2.7.1 + cu128

GPU版本额外包含了Ninja构建系统（1.11.1.4版本），用于加速CUDA内核的编译过程。

技术细节与优化

这两个镜像都基于Ubuntu 22.04 LTS构建，使用了GCC 11作为默认编译器，并配置了最新的MKL（2025.1.0版本）数学库以获得最佳性能。镜像中还包含了开发工具如Emacs，方便开发者进行代码编辑。

值得注意的是，PyTorch 2.7.1版本带来了多项性能改进和新特性，包括：

• 改进了动态形状支持
• 增强的分布式训练功能
• 优化了内存使用效率
• 新增了多个算子支持

AWS对这些镜像进行了专门的优化，确保其在EC2实例上能够发挥最佳性能。用户可以直接使用这些镜像，无需担心依赖项管理和环境配置问题，可以专注于模型开发和训练工作。

对于需要自定义环境的用户，这些镜像也可以作为基础镜像使用，在其基础上安装额外的软件包或进行进一步配置。AWS定期更新这些容器镜像，确保用户能够获得最新的安全补丁和性能改进。