AWS Deep Learning Containers发布PyTorch ARM64推理镜像v1.16版本

AWS Deep Learning Containers（DLC）项目为机器学习开发者提供了预构建的深度学习环境容器镜像，极大简化了深度学习应用的部署流程。该项目针对不同框架、硬件平台和使用场景提供了丰富的镜像选择，帮助开发者快速构建和部署AI应用。

近日，AWS DLC项目发布了PyTorch ARM64架构的推理专用容器镜像v1.16版本，主要面向基于ARM64架构的EC2实例环境。这一版本提供了PyTorch 2.5.1框架支持，同时包含CPU和GPU两种计算模式的选择。

镜像版本特性

本次发布的镜像基于Ubuntu 22.04操作系统构建，提供了Python 3.11的运行环境。镜像分为两个主要变体：

1. CPU版本镜像：专为纯CPU计算环境优化，包含了PyTorch 2.5.1的CPU版本及其相关生态工具链。该镜像适合在没有GPU加速的ARM64服务器上运行PyTorch推理任务。

2. GPU版本镜像：支持CUDA 12.4计算平台，集成了PyTorch 2.5.1的CUDA加速版本。该版本充分利用了NVIDIA GPU的计算能力，适合需要高性能推理的ARM64服务器环境。

关键技术组件

这两个镜像都预装了PyTorch生态系统的核心组件：

• 基础框架：PyTorch 2.5.1（CPU/CUDA 12.4版本）
• 扩展库：TorchVision 0.20.1、TorchAudio 2.5.1
• 服务工具：TorchServe 0.12.0和Torch Model Archiver 0.12.0，方便模型部署和服务化
• 科学计算栈：NumPy 2.1.3、SciPy 1.14.1、Pandas 2.2.3（仅GPU版本）
• 图像处理：OpenCV 4.10.0.84、Pillow 11.0.0
• 开发工具：Cython 3.0.11、Ninja 1.11.1.1

此外，镜像中还包含了AWS CLI工具链（boto3 1.35.66、awscli 1.36.7等），方便与AWS云服务进行交互。

系统级优化

在系统层面，这些镜像针对ARM64架构进行了特别优化：

1. 编译器支持：集成了GCC 11工具链，包括libgcc-11-dev和libstdc++-11-dev等关键开发库
2. CUDA支持：GPU版本完整集成了CUDA 12.4工具包，包括cuBLAS 12.4和cuDNN 9等加速库
3. 开发环境：预装了Emacs等开发工具，方便用户直接在容器内进行开发和调试

适用场景

这些ARM64架构的PyTorch推理镜像特别适合以下应用场景：

1. 边缘计算：在基于ARM架构的边缘设备上部署轻量级PyTorch模型
2. 成本优化：利用ARM实例通常具有的性价比优势，降低推理服务成本
3. 异构计算：在混合x86和ARM架构的环境中实现统一的模型部署
4. 模型服务化：使用内置的TorchServe快速构建模型推理API服务

版本兼容性

开发者需要注意，这些镜像专门针对AWS EC2环境优化，特别是：

• 操作系统：Ubuntu 22.04 LTS
• Python版本：3.11
• CUDA版本：12.4（仅GPU版本）
• PyTorch版本：2.5.x系列

对于需要长期维护的项目，建议使用带主版本号（如2.5）的标签，以确保获得向后兼容的更新；而对于需要精确版本控制的环境，则应使用完整版本号标签（如2.5.1）。

AWS Deep Learning Containers项目的这些新镜像为ARM64架构上的PyTorch推理工作负载提供了开箱即用的解决方案，显著降低了部署门槛，使开发者能够更专注于模型优化和业务逻辑开发。