AWS Deep Learning Containers发布PyTorch ARM64架构推理镜像v1.7版本

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的一套预配置的深度学习容器镜像，它集成了主流深度学习框架和必要的依赖库，让开发者能够快速部署和运行深度学习工作负载。这些容器镜像经过AWS的优化和测试，可以直接在EC2等云服务上使用，大幅简化了深度学习环境的搭建过程。

近日，AWS DLC项目发布了针对ARM64架构的PyTorch推理镜像v1.7版本，主要包含两个重要镜像更新：

CPU版本镜像特性

基于Ubuntu 22.04操作系统，该镜像预装了PyTorch 2.5.1 CPU版本，并配套Python 3.11环境。镜像中集成了PyTorch生态的关键组件，包括：

• 核心框架：torch 2.5.1+cpu
• 计算机视觉库：torchvision 0.20.1+cpu
• 音频处理库：torchaudio 2.5.1+cpu
• 模型服务工具：torchserve 0.12.0和torch-model-archiver 0.12.0

此外，镜像还包含了常用的数据科学工具链，如NumPy 2.1.3、SciPy 1.14.1、Pandas 2.2.3等，以及OpenCV 4.10.0用于计算机视觉任务。AWS CLI工具也预装在镜像中，方便用户与AWS服务交互。

GPU版本镜像特性

GPU版本镜像同样基于Ubuntu 22.04，但针对NVIDIA CUDA 12.4进行了优化，包含：

• PyTorch 2.5.1+cu124
• 对应的torchvision 0.20.1+cu124
• torchaudio 2.5.1+cu124

GPU版本额外预装了CUDA 12.4相关的库文件，包括cuBLAS 12-4和cuDNN 9（针对CUDA 12优化版），确保能够充分利用NVIDIA GPU的加速能力。

技术细节与优化

这两个镜像都经过了AWS的专门优化，特别是在ARM64架构上：

1. 编译器优化：使用GCC 11工具链构建，包含libgcc-11-dev和libstdc++-11-dev等开发库
2. 系统依赖：基于Ubuntu 22.04 LTS，提供长期支持
3. 开发工具：预装了Emacs等开发环境工具
4. 性能优化：针对EC2实例类型进行了特定优化

使用场景

这些ARM64架构的PyTorch推理镜像特别适合以下场景：

• 在AWS Graviton处理器实例上部署PyTorch推理服务
• 构建高效的机器学习推理流水线
• 开发跨架构的机器学习应用
• 需要平衡性能和成本的AI服务部署

总结

AWS Deep Learning Containers的这次更新为ARM64架构上的PyTorch推理工作负载提供了官方支持，开发者现在可以更方便地在Graviton实例上部署PyTorch模型。这些预构建的容器镜像不仅节省了环境配置时间，还经过了AWS的性能优化，是生产环境部署的理想选择。