AWS Deep Learning Containers发布PyTorch ARM64架构推理镜像v1.13版本

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的预配置深度学习环境容器镜像，它集成了主流深度学习框架及其依赖项，帮助开发者快速部署AI工作负载。近日，该项目发布了针对ARM64架构的PyTorch推理镜像v1.13版本，支持在EC2实例上运行PyTorch 2.6.0的推理任务。

镜像版本概览

本次发布的DLC镜像包含两个主要变体，分别针对不同计算需求：

1. CPU版本镜像：基于Ubuntu 22.04系统，预装PyTorch 2.6.0 CPU版本，支持Python 3.12环境。该镜像适用于不需要GPU加速的推理场景，特别适合成本敏感型应用。

2. GPU版本镜像：同样基于Ubuntu 22.04系统，预装PyTorch 2.6.0 CUDA 12.4版本，支持Python 3.12环境。该镜像针对NVIDIA GPU进行了优化，适合需要高性能推理的应用场景。

关键技术特性

1. 软件栈深度集成

两个镜像都深度集成了PyTorch生态系统的关键组件：

• 核心框架：PyTorch 2.6.0
• 配套工具：TorchServe 0.12.0（模型服务框架）、TorchModelArchiver 0.12.0（模型打包工具）
• 扩展库：TorchVision 0.21.0（计算机视觉）、TorchAudio 2.6.0（音频处理）

2. 优化的依赖管理

镜像中预装了经过严格测试的依赖库版本，确保系统稳定性：

• 科学计算：NumPy 2.2.3、SciPy 1.15.2
• 图像处理：OpenCV 4.11.0.86、Pillow 11.1.0
• 开发工具：Cython 3.0.12、Ninja 1.11.1.1
• AWS集成：boto3 1.37.8、awscli 1.38.8

3. ARM64架构优化

作为专为ARM64架构设计的镜像，它们充分利用了基于ARM的EC2实例（如Graviton系列）的计算优势：

• 针对ARM指令集优化的PyTorch二进制包
• 兼容ARM64的系统库（如libgcc-11-dev、libstdc++6等）
• 针对不同计算需求的CUDA支持（GPU版本）

应用场景建议

1. 边缘计算部署：ARM架构的低功耗特性使其非常适合边缘设备上的模型推理，这些镜像为边缘AI提供了标准化的运行环境。

2. 成本优化型推理服务：在不需要GPU加速的场景下，使用ARM架构的EC2实例配合CPU版本镜像可以显著降低推理成本。

3. 大规模模型服务：GPU版本镜像结合ARM架构的并行计算能力，适合部署需要高性能推理的大规模模型。

版本兼容性说明

开发者需要注意以下兼容性要点：

• Python版本锁定为3.12，确保使用匹配的客户端代码
• CUDA 12.4要求对应的NVIDIA驱动版本
• 系统级依赖基于Ubuntu 22.04，与其他Linux发行版可能存在差异

AWS Deep Learning Containers的这些新版本为ARM64架构上的PyTorch推理工作负载提供了开箱即用的解决方案，简化了从开发到部署的整个流程，是构建高效AI服务的理想选择。