AWS Deep Learning Containers发布PyTorch ARM64架构推理容器v1.12版本

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的一套预配置的深度学习容器镜像，这些镜像经过优化可以直接在AWS云平台上运行，大大简化了深度学习环境的部署流程。这些容器镜像包含了流行的深度学习框架如PyTorch、TensorFlow等，以及必要的依赖库和工具，用户无需从零开始配置环境，可以快速启动深度学习任务。

近日，AWS Deep Learning Containers项目发布了针对ARM64架构的PyTorch推理容器v1.12版本，主要支持PyTorch 2.6.0框架。这一更新为使用ARM架构处理器的用户提供了更高效的深度学习推理解决方案。

版本核心特性

本次发布的v1.12版本提供了两种类型的容器镜像：

1. CPU版本：基于Ubuntu 22.04系统，预装了PyTorch 2.6.0 CPU版本，支持Python 3.12环境。该镜像适用于不需要GPU加速的推理场景，可以在普通的ARM64架构服务器上运行。

2. GPU版本：同样基于Ubuntu 22.04系统，预装了PyTorch 2.6.0 CUDA 12.4版本，支持Python 3.12环境。这个版本针对配备NVIDIA GPU的ARM64架构服务器进行了优化，能够充分利用GPU的并行计算能力加速深度学习推理任务。

关键软件包版本

两个版本的容器镜像都预装了深度学习开发所需的常用工具和库：

• 深度学习框架：PyTorch 2.6.0（CPU/GPU版本）、TorchVision 0.21.0、TorchAudio 2.6.0
• 模型服务工具：TorchServe 0.12.0、Torch-Model-Archiver 0.12.0
• 数据处理库：NumPy 2.2.3、Pandas 2.2.3（仅GPU版本）、OpenCV 4.11.0.86
• 开发工具：Cython 3.0.12、Ninja 1.11.1.1
• AWS工具：AWS CLI 1.38.8、Boto3 1.37.8

技术优势

1. ARM64架构优化：这些容器专门为ARM64架构处理器（如AWS Graviton系列）优化，能够充分发挥ARM处理器的性能优势，在特定工作负载下可能比x86架构更具性价比。

2. 开箱即用：预装了从深度学习框架到模型服务的完整工具链，用户无需花费时间配置环境，可以直接部署模型进行推理。

3. 版本兼容性：支持最新的Python 3.12和PyTorch 2.6.0，确保用户能够使用最新的特性和性能优化。

4. CUDA 12.4支持：GPU版本基于最新的CUDA 12.4工具包，提供了对最新NVIDIA GPU的更好支持。

适用场景

这些容器镜像特别适合以下应用场景：

• 在AWS Graviton处理器上部署PyTorch模型推理服务
• 构建ARM架构的机器学习推理流水线
• 开发和测试跨架构的深度学习应用
• 需要快速原型设计和部署的机器学习项目

总结

AWS Deep Learning Containers的这次更新为ARM64架构用户提供了更完善的PyTorch推理解决方案。通过预配置的优化环境，开发者可以专注于模型开发和业务逻辑，而不必担心底层环境的兼容性和性能问题。特别是对于已经在使用或计划迁移到ARM架构的用户，这些容器镜像将大大简化部署流程，提高开发效率。