AWS Deep Learning Containers 发布PyTorch ARM64推理容器v1.21版本

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的一套预配置的深度学习容器镜像，它集成了主流深度学习框架和必要的依赖库，让开发者能够快速部署深度学习应用而无需手动配置环境。这些容器镜像经过AWS优化，可以在EC2、SageMaker等云服务上高效运行。

近日，AWS DLC项目发布了PyTorch ARM64架构的推理容器新版本v1.21，该版本基于PyTorch 2.5.1构建，专为ARM64架构的CPU推理场景优化。下面我们将详细介绍这一版本的技术细节和特性。

容器镜像特性

该容器镜像基于Ubuntu 22.04操作系统，预装了Python 3.11环境，主要包含以下关键组件：

• PyTorch 2.5.1 + CPU版本
• TorchVision 0.20.1
• TorchAudio 2.5.1
• TorchServe 0.12.0模型服务框架
• Torch Model Archiver 0.12.0模型打包工具

镜像中还包含了常用的数据处理和科学计算库，如NumPy 2.1.3、Pandas 2.2.3、Scikit-learn 1.5.2和SciPy 1.14.1，以及OpenCV 4.10.0用于计算机视觉任务。

技术细节

系统依赖

容器内安装了必要的系统依赖库，包括：

• GCC 11开发工具链（libgcc-11-dev）
• C++标准库（libstdc++-11-dev）
• 文本编辑器Emacs（用于容器内调试）

这些依赖确保了PyTorch和相关库能够在ARM64架构上正常运行。

Python环境

Python 3.11环境下安装了以下关键包：

• PyYAML 6.0.1：用于配置文件处理
• Cython 3.0.11：用于加速Python代码
• Ninja 1.11.1：构建系统
• FileLock 3.16.1：文件锁工具
• AWS CLI 1.36.7：AWS命令行工具
• Boto3 1.35.66：AWS Python SDK

这些工具包为深度学习模型的部署和与AWS服务的集成提供了完整支持。

使用场景

这个ARM64架构的PyTorch推理容器特别适合以下场景：

1. 边缘计算：在基于ARM架构的边缘设备上部署轻量级PyTorch模型
2. 成本优化：利用ARM实例通常较低的成本优势运行推理工作负载
3. SageMaker集成：作为Amazon SageMaker服务中的自定义容器使用
4. 模型服务：通过内置的TorchServe提供高性能模型服务

版本兼容性

该容器版本号遵循PyTorch主版本号（2.5.1），同时带有AWS的版本标记（v1.21），方便用户追踪不同框架版本和AWS优化版本。用户可以根据需要选择特定标签：

• 2.5.1-cpu-py311：精确版本标签
• 2.5-cpu-py311：主版本标签
• 2.5-cpu-py311-ubuntu22.04-sagemaker-v1：兼容性标签

总结

AWS Deep Learning Containers的这次更新为ARM64架构用户带来了PyTorch 2.5.1的最新支持，通过预配置的优化环境，开发者可以专注于模型推理业务逻辑而无需担心底层环境配置。特别是对于使用Amazon SageMaker服务的用户，这个容器提供了开箱即用的PyTorch推理环境，大大简化了模型部署流程。

随着ARM架构在云计算和边缘计算领域的普及，这类优化容器将为开发者提供更多架构选择和成本优化空间。