AWS Deep Learning Containers发布PyTorch ARM64架构推理镜像v1.15版本

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的预构建深度学习容器镜像服务，它集成了主流深度学习框架和工具，帮助开发者快速部署和运行深度学习应用。这些容器镜像经过AWS优化，支持多种计算实例类型，包括CPU和GPU实例。

近日，AWS发布了PyTorch ARM64架构的推理容器镜像v1.15版本，主要针对基于ARM64架构的EC2实例进行了优化。这一版本包含了PyTorch 2.5.1框架，支持Python 3.11环境，并提供了CPU和GPU两种计算模式的选择。

镜像版本详情

本次发布的镜像分为两个主要版本：

1. CPU版本：基于Ubuntu 22.04操作系统，预装了PyTorch 2.5.1的CPU版本，适用于不需要GPU加速的推理场景。镜像中包含了torchaudio 2.5.1和torchvision 0.20.1等配套库。

2. GPU版本：同样基于Ubuntu 22.04，但预装了支持CUDA 12.4的PyTorch 2.5.1 GPU版本，适用于需要GPU加速的推理任务。该版本包含了完整的CUDA工具链和cuDNN库，确保在ARM64架构的GPU实例上获得最佳性能。

关键技术组件

两个版本都预装了丰富的Python包和系统依赖：

• 核心框架：PyTorch 2.5.1作为核心深度学习框架，提供了高效的张量计算和自动微分功能。
• 配套工具：torchserve 0.12.0和torch-model-archiver 0.12.0用于模型服务和打包。
• 数据处理：NumPy 2.1.3、Pandas 2.2.3（仅GPU版本）、SciPy 1.14.1等科学计算库。
• 图像处理：OpenCV 4.10.0.84和Pillow 11.0.0用于图像处理任务。
• 开发工具：Cython 3.0.11和ninja 1.11.1.1等构建工具。
• AWS集成：awscli 1.36.7、boto3 1.35.66等AWS工具包，便于与AWS服务集成。

系统依赖优化

为了确保在ARM64架构上的最佳性能，镜像中包含了针对该架构优化的系统依赖：

• 编译器支持：libgcc-11-dev和libstdc++-11-dev等编译器相关库。
• CUDA支持（GPU版本）：完整的CUDA 12.4工具链和cuDNN库，确保GPU计算的高效执行。
• 开发工具：预装了Emacs等开发工具，方便开发者直接在容器中进行调试。

适用场景

这些ARM64架构的PyTorch推理镜像特别适合以下场景：

1. 边缘计算：在基于ARM64架构的边缘设备上部署轻量级推理模型。
2. 成本优化：利用ARM64实例通常具有的更高性价比特性，降低推理成本。
3. 能效优先：在需要低功耗的场景下，ARM64架构通常能提供更好的能效比。
4. 模型服务：使用预装的torchserve工具快速部署和管理PyTorch模型服务。

总结

AWS Deep Learning Containers的这次更新为ARM64架构的PyTorch推理任务提供了官方支持，开发者可以轻松地在基于ARM64的EC2实例上部署高性能的PyTorch推理服务。通过预构建的优化镜像，开发者可以跳过复杂的环境配置过程，直接专注于模型推理和业务逻辑开发。