AWS Deep Learning Containers发布PyTorch 2.4.0 GPU推理镜像支持Graviton处理器

AWS Deep Learning Containers（DLC）项目是亚马逊云科技提供的一套预配置的深度学习容器镜像，它集成了主流深度学习框架、工具和库，帮助开发者快速部署机器学习工作负载。这些容器镜像经过优化，可以直接在AWS的各种计算服务上运行，包括EC2实例、EKS集群等。

近日，AWS DLC项目发布了针对ARM架构Graviton处理器的PyTorch 2.4.0 GPU推理镜像，版本号为v1.19-pt-graviton-ec2-2.4.0-inf-gpu-py311。这一版本为开发者提供了在Graviton处理器上运行PyTorch GPU推理任务的能力。

镜像技术细节

该镜像基于Ubuntu 22.04操作系统构建，主要技术规格包括：

• PyTorch版本：2.4.0（CUDA 12.4支持）
• Python版本：3.11
• CUDA工具包：12.4
• cuDNN版本：9

镜像中预装了完整的PyTorch生态系统工具，包括torchaudio（2.4.0）、torchvision（0.19.0）以及模型服务工具torchserve（0.12.0）和torch-model-archiver（0.12.0）。

关键软件包版本

镜像中包含了深度学习工作负载所需的各类依赖包：

Python包：

• 科学计算：NumPy 1.26.4、SciPy 1.14.1、pandas 2.2.3
• 图像处理：OpenCV 4.10.0.84、Pillow 11.0.0
• 开发工具：Cython 3.0.11、ninja 1.11.1.1
• AWS工具：boto3 1.35.54、awscli 1.35.20

系统包：

• CUDA相关：cuda-command-line-tools-12-4、libcublas-12-4、libcudnn9-cuda-12
• 编译器工具链：libgcc-11-dev、libstdc++-11-dev
• 编辑器：emacs系列工具

技术优势

这一版本的发布为ARM架构的Graviton处理器用户带来了几个重要优势：

1. 性能优化：镜像针对Graviton处理器进行了专门优化，能够充分发挥ARM架构的性能特点。

2. 完整的PyTorch GPU支持：虽然运行在ARM架构上，但通过CUDA 12.4和cuDNN 9的支持，开发者可以充分利用NVIDIA GPU的加速能力。

3. 生产就绪的工具链：预装的torchserve和model-archiver工具使得模型部署更加便捷，适合生产环境使用。

4. 现代软件栈：基于Python 3.11和Ubuntu 22.04，提供了最新的语言特性和系统支持。

适用场景

这一镜像特别适合以下场景：

• 需要在Graviton处理器上部署PyTorch推理服务的用户
• 希望利用ARM架构成本优势的机器学习应用
• 需要同时使用Graviton处理器和NVIDIA GPU的混合架构场景
• 追求最新PyTorch版本特性的开发者

AWS Deep Learning Containers项目的这一更新，进一步丰富了ARM架构上的深度学习工具生态，为开发者提供了更多架构选择和部署灵活性。