AWS Deep Learning Containers发布PyTorch 2.4.0训练镜像

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的预构建深度学习环境容器镜像，它集成了主流深度学习框架及其依赖项，使开发者能够快速部署和运行深度学习工作负载。这些容器镜像经过优化，可直接在Amazon SageMaker、Amazon ECS和Amazon EKS等服务中使用。

近日，AWS发布了PyTorch 2.4.0版本的训练容器镜像，支持Python 3.11环境，为深度学习开发者提供了最新的工具链和框架支持。

镜像版本概览

本次发布包含两个主要镜像版本：

1. CPU版本：基于Ubuntu 22.04系统，适用于没有GPU加速需求的训练任务
2. GPU版本：同样基于Ubuntu 22.04系统，支持CUDA 12.4，适用于需要GPU加速的训练场景

两个版本都预装了PyTorch 2.4.0及其生态系统组件，包括torchvision 0.19.0和torchaudio 2.4.0，确保开发者能够使用最新的PyTorch功能。

关键特性与预装组件

深度学习框架与工具

两个版本都预装了完整的PyTorch生态系统：

• PyTorch核心框架（2.4.0版本）
• torchvision计算机视觉库（0.19.0版本）
• torchaudio音频处理库（2.4.0版本）
• Apex混合精度训练工具（仅GPU版本）
• smdistributed-dataparallel分布式训练支持（仅GPU版本）

数据处理与科学计算

镜像中包含了丰富的数据处理和科学计算工具：

• NumPy 1.26.4：基础数值计算库
• Pandas 2.2.3：数据分析和处理工具
• OpenCV 4.10.0：计算机视觉库
• scikit-learn 1.6.0：机器学习工具包
• SciPy 1.14.1：科学计算库

AWS服务集成

作为AWS官方镜像，它深度集成了AWS服务：

• AWS CLI 1.36.19：AWS命令行工具
• Boto3 1.35.78：AWS Python SDK
• SageMaker SDK 2.245.0：SageMaker服务接口
• SageMaker Experiments 0.1.45：实验管理工具
• S3FS 0.4.2：S3文件系统接口

开发工具与实用程序

为方便开发，镜像中还包含：

• Cython 3.0.11：Python C扩展工具
• pybind11 2.13.6：Python/C++接口工具
• Ninja 1.11.1.2：构建系统（仅GPU版本）
• Emacs编辑器：开发环境支持

版本兼容性与选择建议

对于需要GPU加速的训练任务，推荐使用GPU版本镜像，它支持CUDA 12.4，能够充分利用NVIDIA GPU的计算能力。而对于轻量级训练或推理任务，CPU版本则更为轻量且节省成本。

Python 3.11的支持意味着开发者可以使用最新的Python语言特性，同时享受性能改进。Ubuntu 22.04作为基础系统提供了稳定的运行环境和长期支持。

使用场景

这些预构建的容器镜像特别适合以下场景：

• 快速启动PyTorch训练任务
• 需要与AWS SageMaker服务深度集成的项目
• 希望避免复杂环境配置的开发团队
• 需要可重复、标准化环境的机器学习项目

通过使用这些官方维护的容器镜像，开发者可以专注于模型开发本身，而不必花费大量时间在环境配置和依赖管理上。AWS定期更新这些镜像，确保安全补丁和框架更新能够及时应用。