AWS Deep Learning Containers发布PyTorch 2.4.0 GPU推理镜像

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的一系列预构建的深度学习容器镜像，这些镜像经过优化，可以快速部署在AWS云平台上运行深度学习工作负载。这些容器镜像包含了主流深度学习框架（如PyTorch、TensorFlow等）及其依赖项，用户无需自行配置复杂的软件环境即可快速开始深度学习模型的训练和推理。

本次发布的v1.18版本主要针对PyTorch 2.4.0框架的GPU推理场景进行了优化，特别值得注意的是，这是针对Graviton处理器（ARM架构）的EC2实例优化的镜像版本。该镜像基于Ubuntu 22.04操作系统，预装了Python 3.11环境，并支持CUDA 12.4加速计算。

镜像技术细节

该DLC镜像的核心组件配置如下：

• PyTorch版本：2.4.0（支持CUDA 12.4）
• Python版本：3.11
• 操作系统：Ubuntu 22.04
• CUDA工具包：12.4
• cuDNN版本：9

镜像中预装了完整的PyTorch生态系统工具，包括torchaudio（2.4.0）、torchvision（0.19.0）等配套库，以及torchserve（0.12.0）模型服务框架和torch-model-archiver（0.12.0）模型归档工具，方便用户直接部署和管理PyTorch模型。

关键软件包版本

镜像中预装了许多常用的数据科学和机器学习相关软件包：

• 数据处理：NumPy 1.26.4、pandas 2.2.3、SciPy 1.14.1
• 计算机视觉：OpenCV 4.10.0.84、Pillow 11.0.0
• 开发工具：Cython 3.0.11、Ninja 1.11.1.1
• AWS工具：boto3 1.35.54、awscli 1.35.20
• 其他实用工具：PyYAML 6.0.1、filelock 3.16.1

针对Graviton处理器的优化

这个镜像特别针对AWS Graviton处理器（基于ARM架构）进行了优化。Graviton处理器是AWS自主研发的云原生处理器，相比传统x86架构处理器，在性能和成本效益方面都有显著优势。镜像中包含了针对ARM64架构编译的libgcc和libstdc++等基础库，确保在Graviton实例上能够充分发挥硬件性能。

使用场景

这个预构建的DLC镜像特别适合以下场景：

1. 模型推理服务：利用预装的torchserve可以快速部署PyTorch模型作为推理服务
2. 计算机视觉应用：包含完整的OpenCV和torchvision支持，适合图像处理任务
3. AWS云原生AI服务：与AWS其他AI服务（如SageMaker）无缝集成
4. 成本敏感型应用：在Graviton实例上运行可显著降低成本

总结

AWS Deep Learning Containers提供的这个PyTorch 2.4.0 GPU推理镜像，为在AWS Graviton实例上部署深度学习模型提供了开箱即用的解决方案。通过预装优化的软件栈和必要的工具链，开发者可以专注于模型开发和业务逻辑，而不必花费大量时间在环境配置和依赖管理上。特别是对于需要兼顾性能和成本的AI推理场景，这个针对Graviton优化的镜像是一个值得考虑的选择。