AWS Deep Learning Containers发布PyTorch ARM64架构推理镜像v1.3版本

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的一组预配置的Docker镜像，旨在简化深度学习框架的部署过程。这些容器镜像经过优化，包含了流行的深度学习框架及其依赖项，用户可以直接使用而无需手动配置环境。

近日，AWS DLC项目发布了针对ARM64架构的PyTorch推理镜像v1.3版本，主要支持PyTorch 2.6.0框架。这一更新为使用ARM64架构EC2实例的用户提供了开箱即用的深度学习推理环境。

镜像版本概览

本次发布的镜像包含两个主要变体：

1. CPU版本：基于Ubuntu 22.04系统，预装PyTorch 2.6.0 CPU版本，支持Python 3.12环境。镜像ID为763104351884.dkr.ecr.us-west-2.amazonaws.com/pytorch-inference-arm64:2.6.0-cpu-py312-ubuntu22.04-ec2-v1.3。

2. GPU版本：同样基于Ubuntu 22.04系统，预装PyTorch 2.6.0 CUDA 12.4版本，支持Python 3.12环境。镜像ID为763104351884.dkr.ecr.us-west-2.amazonaws.com/pytorch-inference-arm64:2.6.0-gpu-py312-cu124-ubuntu22.04-ec2-v1.3。

关键软件包版本

两个镜像都预装了深度学习开发所需的常用工具和库：

• PyTorch核心组件：包括torch 2.6.0、torchvision 0.21.0、torchaudio 2.6.0等
• 模型服务工具：torchserve 0.12.0和torch-model-archiver 0.12.0
• 科学计算库：NumPy 2.2.3、SciPy 1.15.2
• 图像处理：OpenCV 4.11.0.86、Pillow 11.1.0
• 开发工具：Cython 3.0.12、Ninja 1.11.1.1
• AWS工具：AWS CLI 1.38.8、Boto3 1.37.8

GPU版本额外包含了CUDA 12.4相关的库和工具，如cuBLAS和cuDNN等，为GPU加速计算提供支持。

技术特点

1. ARM64架构优化：这些镜像是专门为ARM64架构的EC2实例优化的，能够充分发挥基于ARM处理器的计算能力。

2. Python 3.12支持：预装了最新的Python 3.12环境，用户可以立即使用最新的Python特性。

3. 完整的开发环境：除了深度学习框架外，还包含了常用的开发工具如Emacs，方便用户直接在容器内进行开发工作。

4. 版本兼容性：提供了多个标签版本，包括精确版本号和通用版本号，方便不同需求的用户使用。

使用场景

这些镜像特别适合以下场景：

• 在ARM64架构的EC2实例上部署PyTorch推理服务
• 快速搭建PyTorch开发环境进行模型测试
• 构建持续集成/持续部署(CI/CD)流水线中的测试环境
• 需要可重复、一致的PyTorch运行环境的场景

总结

AWS Deep Learning Containers的这次更新为ARM64架构用户提供了最新的PyTorch 2.6.0推理环境，无论是CPU还是GPU版本，都经过了精心配置和优化。这些预构建的容器镜像大大简化了深度学习应用的部署过程，让开发者可以专注于模型开发和业务逻辑，而不必花费大量时间在环境配置上。对于使用AWS EC2 ARM64实例的用户来说，这无疑是一个值得关注的重要更新。