AWS Deep Learning Containers 发布 PyTorch 2.4.0 推理镜像

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的预构建深度学习容器镜像，它集成了主流深度学习框架、工具和库，帮助开发者快速部署深度学习应用。这些容器经过AWS优化，可直接在Amazon EC2、Amazon ECS、Amazon EKS和SageMaker等服务上运行。

近日，AWS发布了PyTorch 2.4.0版本的推理容器镜像，支持Python 3.11环境，为开发者提供了最新的PyTorch推理能力。这些镜像分为CPU和GPU两个版本，均基于Ubuntu 22.04操作系统构建。

镜像版本详情

CPU版本镜像

CPU版本镜像包含了PyTorch 2.4.0及其相关生态组件，主要特性包括：

• 基础环境：Ubuntu 22.04操作系统
• Python版本：3.11
• PyTorch核心组件：
  • torch 2.4.0+cpu
  • torchvision 0.19.0+cpu
  • torchaudio 2.4.0+cpu
• 模型服务工具：
  • torchserve 0.12.0
  • torch-model-archiver 0.12.0
• 常用科学计算库：
  • numpy 2.1.2
  • pandas 2.2.3
  • scikit-learn 1.5.2
  • scipy 1.14.1
• 图像处理库：
  • opencv-python 4.10.0.84
  • pillow 11.0.0

GPU版本镜像

GPU版本在CPU版本基础上增加了CUDA 12.4支持，主要差异包括：

• PyTorch组件针对CUDA 12.4优化：
  • torch 2.4.0+cu124
  • torchvision 0.19.0+cu124
  • torchaudio 2.4.0+cu124
• 包含CUDA相关库：
  • cuda-command-line-tools-12-4
  • libcublas-12-4及开发包
  • libcudnn9-cuda-12及开发包
• 额外支持MPI：
  • mpi4py 4.0.1

技术亮点

1. PyTorch 2.4.0新特性：该版本带来了性能优化和新功能，包括改进的编译器后端、更高效的张量操作等，提升了推理性能。

2. Python 3.11支持：Python 3.11相比前代有显著的性能提升，特别是在函数调用和内存使用方面，这对推理服务的响应时间和资源利用率有积极影响。

3. CUDA 12.4兼容性：GPU版本针对最新的CUDA 12.4进行了优化，可以充分利用NVIDIA最新GPU硬件的计算能力。

4. 完整的模型服务工具链：内置的torchserve和torch-model-archiver工具，使得模型部署和管理更加便捷。

5. 科学计算生态完善：预装了常用的数据处理和科学计算库，如numpy、pandas、scikit-learn等，方便进行数据预处理和后处理。

使用场景

这些预构建的PyTorch推理容器非常适合以下场景：

• 生产环境中的模型服务部署
• 大规模推理任务的批处理
• 需要快速原型验证的研究项目
• 需要标准化环境的团队协作开发

总结

AWS Deep Learning Containers提供的PyTorch 2.4.0推理镜像，为开发者提供了开箱即用的深度学习推理环境。通过使用这些经过优化的容器镜像，开发者可以专注于模型开发和业务逻辑，而不必花费大量时间在环境配置和依赖管理上。特别是对于需要在AWS云平台上部署PyTorch模型的服务，这些容器提供了最佳实践和性能优化的基础环境。