AWS Deep Learning Containers发布PyTorch 2.3.0训练镜像

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的一套预配置的深度学习容器镜像，这些镜像经过优化，可直接在AWS云平台上运行。这些容器包含了流行的深度学习框架及其依赖项，使数据科学家和开发人员能够快速部署深度学习工作负载，而无需花费时间配置环境。

近日，AWS Deep Learning Containers项目发布了PyTorch 2.3.0版本的训练镜像，支持Python 3.11环境。这些新镜像基于Ubuntu 20.04操作系统，针对EC2实例进行了优化，提供了CPU和GPU两种版本。

镜像版本详情

本次发布的PyTorch训练镜像包含两个主要版本：

1. CPU版本：适用于不需要GPU加速的训练任务，镜像标签为2.3.0-cpu-py311-ubuntu20.04-ec2-v1.31。

2. GPU版本：支持CUDA 12.1，镜像标签为2.3.0-gpu-py311-cu121-ubuntu20.04-ec2-v1.31，适用于需要GPU加速的训练场景。

两个版本都预装了PyTorch 2.3.0框架及其相关组件，包括torchaudio 2.3.0和torchvision 0.18.0，构成了完整的PyTorch生态系统。

关键软件包

这些镜像预装了深度学习开发所需的常用软件包：

• 核心框架：PyTorch 2.3.0作为主要深度学习框架
• 数据处理：NumPy 1.26.4、pandas 2.2.2、scikit-learn 1.6.1和SciPy 1.13.0
• 计算机视觉：OpenCV 4.9.0.80和Pillow 10.3.0
• 自然语言处理：spaCy 3.7.3
• AWS工具：awscli 1.32.108、boto3 1.34.108和botocore 1.34.108
• 开发工具：Cython 3.0.10、pybind11 2.12.0和setuptools 78.1.0

GPU版本额外包含了NVIDIA相关的软件包和工具，如CUDA 12.1支持、cuDNN库以及Apex混合精度训练库。

技术特点

1. Python 3.11支持：这些镜像是首批支持Python 3.11的PyTorch训练镜像，利用了Python 3.11的性能改进。

2. Ubuntu 20.04基础：基于长期支持的Ubuntu 20.04 LTS操作系统，提供稳定可靠的基础环境。

3. EC2优化：专门针对AWS EC2实例进行了优化，确保在云环境中获得最佳性能。

4. 完整的PyTorch生态系统：不仅包含PyTorch核心框架，还预装了torchaudio和torchvision等扩展库，覆盖音频和视觉领域的深度学习需求。

5. 开发友好：预装了Emacs等开发工具，方便用户直接在容器中进行代码编辑和调试。

使用场景

这些预配置的PyTorch训练镜像适用于多种深度学习场景：

• 模型训练：直接在AWS EC2实例上启动深度学习模型训练
• 实验环境：快速搭建可复现的实验环境
• 生产部署：作为持续集成/持续部署(CI/CD)流水线的一部分
• 教学研究：为学生和研究人员提供一致的开发环境

总结

AWS Deep Learning Containers发布的PyTorch 2.3.0训练镜像为深度学习开发者提供了开箱即用的解决方案，特别是对于需要在AWS云平台上快速部署PyTorch训练环境的用户。这些镜像经过专业优化，包含了深度学习工作流所需的完整工具链，大大减少了环境配置的时间，让开发者可以专注于模型开发和训练本身。