AWS Deep Learning Containers发布PyTorch ARM64架构推理镜像v1.8版本

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的一套预配置的深度学习容器镜像，这些镜像经过优化，包含了流行的深度学习框架及其依赖项，能够帮助开发者快速在AWS云平台上部署深度学习应用。这些容器镜像支持多种深度学习框架，包括PyTorch、TensorFlow等，并且针对不同的硬件架构（如x86、ARM）和计算场景（如训练、推理）进行了专门优化。

近日，AWS Deep Learning Containers项目发布了针对ARM64架构的PyTorch推理镜像v1.8版本。这一更新主要面向使用ARM64架构EC2实例的用户，提供了基于PyTorch 2.5.1的CPU和GPU版本容器镜像。这些镜像基于Ubuntu 22.04操作系统构建，支持Python 3.11环境，为ARM64架构上的深度学习推理任务提供了开箱即用的解决方案。

镜像版本详情

本次发布的v1.8版本包含两个主要镜像：

1. CPU版本镜像：适用于没有GPU加速的ARM64架构EC2实例，包含了PyTorch 2.5.1的CPU版本及其相关生态工具。

2. GPU版本镜像：针对配备NVIDIA GPU的ARM64架构EC2实例优化，集成了CUDA 12.4工具链，提供了完整的GPU加速支持。

两个镜像都预装了PyTorch生态系统中常用的工具包，包括torchaudio（2.5.1版本）、torchvision（0.20.1版本）以及模型服务工具torchserve和torch-model-archiver（均为0.12.0版本）。

关键软件包版本

在软件包选择上，AWS团队精心挑选了与PyTorch 2.5.1兼容的版本组合：

• 核心框架：PyTorch 2.5.1（CPU版本或CUDA 12.4 GPU版本）
• 数据处理：NumPy 2.1.3、Pandas 2.2.3（仅GPU版本）、SciPy 1.14.1
• 图像处理：OpenCV 4.10.0.84、Pillow 11.0.0
• 开发工具：Cython 3.0.11、Ninja 1.11.1.1
• AWS集成：Boto3 1.35.66、AWS CLI 1.36.7

这些软件包的版本组合经过了AWS的严格测试，确保了在ARM64架构上的稳定性和性能表现。

技术特点与优势

1. ARM64架构优化：这些镜像是专门为ARM64架构设计的，能够充分利用基于ARM的EC2实例（如Graviton系列）的性能优势，提供更高的性价比。

2. 完整的PyTorch生态系统：除了核心的PyTorch框架外，镜像还包含了模型服务工具链（torchserve）、音频处理（torchaudio）和计算机视觉（torchvision）等扩展库，覆盖了从模型开发到部署的全流程需求。

3. 生产就绪的环境：预装了必要的开发工具和调试工具（如emacs），同时保持了容器镜像的精简性，适合直接用于生产环境部署。

4. CUDA 12.4支持：GPU版本镜像基于最新的CUDA 12.4工具链构建，提供了对NVIDIA最新GPU架构的优化支持。

适用场景

这些ARM64架构的PyTorch推理镜像特别适合以下场景：

• 在基于ARM的EC2实例上部署PyTorch推理服务
• 构建高效的边缘计算AI应用
• 需要高性价比的深度学习推理解决方案
• 在混合架构环境中保持一致的部署体验

总结

AWS Deep Learning Containers发布的这一系列PyTorch ARM64架构推理镜像，为开发者提供了在ARM平台上运行PyTorch模型的高效解决方案。通过预配置优化的软件栈和工具链，开发者可以专注于模型开发和业务逻辑，而无需花费大量时间在环境配置和依赖管理上。特别是对于追求成本效益的用户，这些基于ARM架构的镜像配合AWS的Graviton实例，能够显著降低深度学习推理的总体拥有成本。