AWS Deep Learning Containers发布PyTorch 2.2.0训练环境镜像

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的一套预配置的深度学习容器镜像，这些镜像包含了流行的深度学习框架及其依赖项，能够帮助开发者快速部署和运行深度学习工作负载。这些容器镜像经过优化，可以直接在Amazon EC2实例上运行，大大简化了深度学习环境的搭建过程。

近日，AWS Deep Learning Containers项目发布了针对PyTorch 2.2.0框架的新版本训练环境镜像。这些镜像基于Ubuntu 20.04操作系统，支持Python 3.10环境，为开发者提供了开箱即用的PyTorch训练环境。

镜像版本概览

本次发布包含两个主要镜像版本：

1. CPU版本：pytorch-training:2.2.0-cpu-py310-ubuntu20.04-ec2

   • 适用于不需要GPU加速的PyTorch训练任务
   • 包含了PyTorch 2.2.0及其相关生态工具

2. GPU版本：pytorch-training:2.2.0-gpu-py310-cu121-ubuntu20.04-ec2

   • 支持CUDA 12.1，适用于需要GPU加速的训练场景
   • 包含了Apex混合精度训练库等GPU优化工具

关键软件包版本

两个镜像版本都预装了PyTorch生态系统中常用的工具和库：

• 核心框架：

  • PyTorch 2.2.0
  • TorchVision 0.17.0
  • TorchAudio 2.2.0

• 数据处理与科学计算：

  • NumPy 1.26.4
  • Pandas 2.2.2
  • SciPy 1.13.0
  • scikit-learn 1.6.1

• 计算机视觉：

  • OpenCV-Python 4.9.0.80
  • Pillow 10.3.0

• 自然语言处理：

  • spaCy 3.7.3

• 深度学习工具：

  • fastai 2.7.15
  • Cython 3.0.10
  • pybind11 2.12.0

GPU版本额外包含了Apex 0.1库，这是一个由NVIDIA维护的PyTorch扩展库，提供了混合精度训练和分布式训练优化等功能。

系统级优化

这些镜像在系统层面也进行了多项优化：

1. 编译器支持：

   • 包含了GCC 9系列编译器及相关开发库
   • 标准C++库（libstdc++）版本与GCC 9匹配

2. 开发工具：

   • 预装了Emacs编辑器及其相关组件
   • 包含了常用的构建工具如Ninja 1.11.1.1

3. CUDA支持（GPU版本）：

   • 完整支持CUDA 12.1
   • 包含了cuDNN 8库及其开发文件

使用场景建议

这些预构建的PyTorch训练环境镜像适用于多种深度学习场景：

1. 快速原型开发：开发者可以直接使用这些镜像快速搭建PyTorch训练环境，无需手动安装和配置各种依赖。

2. 生产环境部署：镜像经过AWS官方优化和测试，可以直接用于生产环境的模型训练。

3. 教学与研究：教育机构和研究人员可以利用这些标准化的环境进行教学和实验，确保环境一致性。

4. CI/CD流水线：可以作为持续集成/持续部署流程中的标准训练环境。

版本兼容性说明

需要注意的是，这些镜像基于PyTorch 2.2.0版本构建，开发者在使用时应确保自己的代码与该版本兼容。特别是：

• PyTorch 2.x系列引入了许多新特性和API变化
• CUDA 12.1（GPU版本）需要相应的NVIDIA驱动支持
• Python 3.10环境可能影响某些依赖旧版Python的库

AWS Deep Learning Containers项目会定期更新这些镜像，以包含最新的安全补丁和性能优化。开发者可以根据自己的需求选择合适的版本，也可以基于这些镜像构建自定义的容器环境。