AWS Deep Learning Containers发布PyTorch Graviton EC2推理容器v1.11版本

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的一套预配置的深度学习容器镜像，旨在简化机器学习环境的部署过程。这些容器镜像已经过优化，包含了流行的深度学习框架及其依赖项，用户可以直接使用而无需自行配置复杂的运行环境。

近日，AWS发布了PyTorch Graviton EC2推理容器的新版本v1.11，该版本基于PyTorch 2.4.0框架构建，专为使用AWS Graviton处理器的EC2实例优化。Graviton处理器是AWS自主研发的基于ARM架构的处理器，相比传统x86架构处理器，在性价比方面具有显著优势。

核心特性与技术规格

本次发布的容器镜像采用Ubuntu 22.04作为基础操作系统，预装了Python 3.11环境，主要面向CPU推理场景。镜像中集成了PyTorch生态系统的关键组件：

1. 核心框架：PyTorch 2.4.0+cpu版本，这是当前PyTorch的最新稳定版本，包含了多项性能优化和新特性。

2. 配套工具：

   • TorchServe 0.12.0：用于模型部署和服务化的工具
   • TorchModelArchiver 0.12.0：模型打包工具
   • TorchVision 0.19.0：计算机视觉相关扩展
   • TorchAudio 2.4.0：音频处理相关扩展

3. 科学计算库：

   • NumPy 1.26.4：基础数值计算库
   • SciPy 1.14.1：科学计算库
   • OpenCV 4.10.0.84：计算机视觉库

4. 开发工具：

   • Cython 3.0.11：Python C扩展工具
   • Ninja 1.11.1.1：构建系统

环境配置与依赖

该容器镜像已经预装了必要的系统依赖项，包括：

• GCC编译器相关库（libgcc-10-dev、libgcc-11-dev等）
• C++标准库（libstdc++-10-dev、libstdc++-11-dev等）
• 开发工具如Emacs编辑器

Python环境方面，除了上述核心库外，还包含了常用的工具包如：

• AWS CLI 1.35.20：用于与AWS服务交互
• Boto3 1.35.54：AWS SDK for Python
• Pillow 11.0.0：图像处理库
• Requests 2.32.3：HTTP请求库

使用场景与优势

这个专为Graviton处理器优化的PyTorch推理容器特别适合以下场景：

1. 成本敏感型推理服务：Graviton处理器相比传统x86实例可提供更高的性价比，特别适合大规模部署的推理服务。

2. 边缘计算场景：ARM架构的低功耗特性使其在边缘设备上表现优异。

3. 快速原型开发：预配置的环境可以大大减少环境搭建时间，让开发者专注于模型开发和优化。

4. 标准化部署：使用容器化部署可以确保开发、测试和生产环境的一致性。

版本兼容性与选择建议

用户可以通过不同的标签来拉取适合自己需求的镜像版本。本次发布提供了多个标签别名，包括：

• 2.4-cpu-py311-ubuntu22.04-ec2-v1（通用标签）
• 2.4.0-cpu-py311-ec2（简化标签）
• 带具体时间戳的版本标签（用于精确版本控制）

对于生产环境，建议使用带具体版本号的标签以确保稳定性；对于开发和测试环境，可以使用通用标签以自动获取最新更新。

总结

AWS Deep Learning Containers的这次更新为使用Graviton处理器的PyTorch用户带来了最新的框架支持和优化。通过预配置的容器镜像，用户可以快速部署高效的推理服务，同时享受ARM架构带来的成本优势。对于已经在使用AWS生态的机器学习团队，这无疑是一个值得考虑的部署选项。