AWS Deep Learning Containers发布PyTorch Graviton EC2推理容器v1.37

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的一套预配置的深度学习容器镜像，它集成了主流深度学习框架、工具和库，帮助开发者快速部署和运行深度学习工作负载。这些容器经过AWS优化，可以直接在Amazon EC2、Amazon ECS和Amazon EKS等服务上运行，大幅简化了深度学习环境的搭建过程。

近日，AWS DLC项目发布了针对Graviton处理器优化的PyTorch推理容器新版本v1.37。这个版本特别值得关注的是它专为基于ARM架构的AWS Graviton处理器进行了优化，能够在EC2实例上提供更高效的PyTorch模型推理性能。

容器镜像详情

本次发布的容器镜像基于Ubuntu 20.04操作系统，预装了Python 3.11环境和PyTorch 2.3.0框架的CPU版本。镜像标识为：

763104351884.dkr.ecr.us-west-2.amazonaws.com/pytorch-inference-graviton:2.3.0-cpu-py311-ubuntu20.04-ec2-v1.37

镜像的SHA256校验和为：

e4bb78927924ba4968fa873643761b0e296bfb85548182980ffefdd5ca1e3020

关键特性与组件

1. PyTorch生态系统：容器中预装了完整的PyTorch生态系统，包括：

   • PyTorch 2.3.0 CPU版本
   • TorchVision 0.18.0
   • TorchAudio 2.3.0
   • TorchServe 0.11.0模型服务框架
   • Torch Model Archiver 0.11.0模型打包工具

2. 科学计算支持：包含了常用的科学计算库：

   • NumPy 1.26.4
   • SciPy 1.14.0
   • OpenCV 4.10.0.84

3. 开发工具：为方便开发调试，容器中还预装了：

   • Cython 3.0.10
   • Ninja构建系统1.11.1.1
   • Emacs编辑器

4. AWS集成：内置了AWS命令行工具和SDK：

   • AWS CLI 1.33.19
   • Boto3 1.34.137
   • Botocore 1.34.137

性能优化与兼容性

这个版本的容器特别针对AWS Graviton处理器进行了优化。Graviton是AWS基于ARM架构自主研发的处理器，相比传统x86架构，在性价比方面有明显优势。通过使用这个容器，用户可以在Graviton实例上获得：

• 更低的推理成本
• 更高的能效比
• 针对ARM架构优化的PyTorch运算

容器中的PyTorch和相关库都针对ARM64架构进行了编译优化，确保了在Graviton实例上的最佳性能表现。

使用场景

这个PyTorch推理容器特别适合以下场景：

1. 模型服务化部署：结合TorchServe可以快速将训练好的PyTorch模型部署为可扩展的推理服务。

2. 批量推理任务：对于需要处理大量数据的离线推理任务，可以在Graviton实例上运行以获得更好的性价比。

3. 边缘计算场景：由于ARM架构的能效优势，这个容器也适合部署在边缘计算场景中。

4. CI/CD流水线：可以作为持续集成和持续部署流程中的标准化测试环境。

版本管理与兼容性

容器提供了多个标签以满足不同用户的需求：

• 精确版本标签：2.3.0-cpu-py311-ubuntu20.04-ec2-v1.37
• 主版本标签：2.3-cpu-py311-ec2
• 通用标签：2.3.0-cpu-py311-ubuntu20.04-ec2

这种灵活的标签策略既满足了需要固定特定版本的生产环境需求，也为开发测试提供了便利。

总结

AWS Deep Learning Containers的这个新版本为PyTorch用户提供了在Graviton处理器上运行模型推理的优化解决方案。通过预配置的环境和针对性的优化，开发者可以快速部署高效的推理服务，同时享受ARM架构带来的成本优势。对于已经在使用PyTorch的AWS用户，特别是关注推理成本和效率的团队，这个容器版本值得考虑采用。