AWS Deep Learning Containers发布PyTorch Graviton EC2推理容器v1.25

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的一套预构建的深度学习容器镜像，它集成了主流深度学习框架及其依赖项，使开发者能够快速部署深度学习工作负载。这些容器经过优化，可在AWS基础设施上高效运行，支持CPU和GPU实例类型。

本次发布的v1.25版本主要针对基于Graviton处理器的EC2实例，提供了PyTorch 2.4.0的推理容器镜像。Graviton是AWS自主研发的基于ARM架构的处理器，相比传统x86架构处理器，在性价比方面具有显著优势。

关键特性与技术细节

该容器镜像基于Ubuntu 22.04操作系统构建，预装了Python 3.11环境，专为CPU推理场景优化。镜像中包含了PyTorch生态系统的完整组件：

1. 核心框架：PyTorch 2.4.0 CPU版本，这是PyTorch的最新稳定版本之一，包含了多项性能优化和新特性。

2. 配套工具：

   • TorchServe 0.12.0：用于模型部署和服务化的工具
   • Torch Model Archiver 0.12.0：模型打包工具
   • TorchVision 0.19.0：计算机视觉相关库
   • TorchAudio 2.4.0：音频处理相关库

3. 科学计算支持：

   • NumPy 1.26.4：基础数值计算库
   • SciPy 1.14.1：科学计算扩展库
   • OpenCV 4.10.0.84：计算机视觉库

4. 开发工具：

   • Cython 3.0.11：Python C扩展工具
   • Ninja 1.11.1.1：构建系统
   • FileLock 3.16.1：文件锁工具

5. AWS集成：

   • AWS CLI 1.35.20：AWS命令行工具
   • Boto3 1.35.54：AWS Python SDK
   • Botocore 1.35.54：Boto3核心库

系统依赖与优化

镜像中包含了必要的系统依赖库，特别是针对ARM64架构的优化：

• GCC相关库（libgcc-10-dev、libgcc-11-dev）
• C++标准库（libstdc++-10-dev、libstdc++-11-dev）
• 开发工具如Emacs（可选）

这些依赖项确保了PyTorch在Graviton处理器上的最佳性能表现。AWS团队已经对这些组件进行了深度优化，使其能够充分利用ARM架构的特性。

使用场景

这个容器镜像特别适合以下场景：

1. 成本敏感型推理应用：Graviton实例通常比同级别x86实例更具价格优势，适合大规模部署的推理服务。

2. 边缘计算：ARM架构的能效优势使其成为边缘设备的理想选择。

3. 持续集成/持续部署(CI/CD)：预构建的容器可以简化模型测试和部署流程。

4. 模型服务化：内置的TorchServe工具支持将训练好的模型快速部署为RESTful服务。

总结

AWS Deep Learning Containers的这次更新为使用PyTorch进行推理的用户提供了更多选择，特别是在考虑成本效益的场景下。基于Graviton处理器的容器镜像不仅降低了运营成本，还保持了良好的性能表现。对于已经在使用PyTorch生态系统的团队，可以无缝迁移到这一解决方案，享受ARM架构带来的优势。