AWS Deep Learning Containers发布PyTorch 2.5.1推理镜像

AWS Deep Learning Containers（DLC）是AWS官方提供的深度学习容器镜像集合，它预装了流行的深度学习框架、依赖库和工具，帮助开发者快速部署深度学习应用。这些容器镜像经过优化，可以直接在AWS EC2等云服务上运行，大大简化了深度学习环境的配置过程。

近日，AWS DLC项目发布了基于PyTorch 2.5.1的推理专用容器镜像更新。这次更新主要针对PyTorch推理场景，提供了CPU和GPU两种版本，均基于Python 3.11和Ubuntu 22.04系统构建。

镜像版本详情

本次发布的PyTorch推理镜像包含两个主要版本：

1. CPU版本：pytorch-inference:2.5.1-cpu-py311-ubuntu22.04-ec2-v1.4

   • 基于Ubuntu 22.04系统
   • 预装PyTorch 2.5.1 CPU版本
   • 包含torchvision 0.20.1和torchaudio 2.5.1
   • 支持Python 3.11环境

2. GPU版本：pytorch-inference:2.5.1-gpu-py311-cu124-ubuntu22.04-ec2-v1.4

   • 基于Ubuntu 22.04系统
   • 预装PyTorch 2.5.1 CUDA 12.4版本
   • 包含torchvision 0.20.1和torchaudio 2.5.1
   • 支持Python 3.11环境
   • 包含CUDA 12.4相关库和工具

关键软件包版本

两个镜像都预装了深度学习开发常用的工具和库：

• 核心框架：

  • PyTorch 2.5.1（CPU/GPU）
  • torchvision 0.20.1
  • torchaudio 2.5.1
  • torch-model-archiver 0.12.0
  • torchserve 0.12.0

• 数据处理与科学计算：

  • NumPy 2.1.3
  • pandas 2.2.3（仅GPU版本）
  • SciPy 1.14.1
  • OpenCV 4.10.0.84

• 开发工具：

  • Cython 3.0.11
  • ninja 1.11.1.1
  • filelock 3.16.1

• AWS工具：

  • boto3 1.35.56
  • botocore 1.35.56
  • awscli 1.35.22

技术特点与优势

1. 系统兼容性：基于Ubuntu 22.04 LTS系统构建，提供长期支持稳定性。

2. Python环境：使用Python 3.11，这是目前Python的最新稳定版本之一，性能有显著提升。

3. CUDA支持：GPU版本支持CUDA 12.4，充分利用NVIDIA最新GPU的计算能力。

4. 预装工具：包含torchserve和torch-model-archiver，方便模型部署和服务化。

5. 优化配置：针对AWS EC2环境进行了专门优化，确保在云环境中发挥最佳性能。

适用场景

这些镜像特别适合以下应用场景：

1. 模型服务化：使用torchserve快速部署训练好的PyTorch模型为REST API服务。

2. 批量推理：处理大规模数据集的推理任务。

3. 开发测试：作为统一的开发环境，确保团队使用相同版本的软件栈。

4. CI/CD流水线：在自动化流程中作为标准化的推理环境。

使用建议

对于生产环境，建议：

1. 根据计算需求选择CPU或GPU版本
2. 使用固定版本标签（如2.5.1-cpu-py311-ubuntu22.04-ec2）而非浮动标签（如latest）以确保环境一致性
3. 在EC2上使用时，选择与镜像优化匹配的实例类型（如GPU版本配合p3/p4/g4/g5系列实例）

AWS Deep Learning Containers的这些PyTorch推理镜像为开发者提供了开箱即用的深度学习环境，大幅降低了部署PyTorch模型的门槛，是云端AI应用开发的理想选择。