AWS Deep Learning Containers发布PyTorch Graviton EC2推理容器v1.38

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的一套预配置的深度学习容器镜像，它集成了主流深度学习框架及其依赖项，使开发者能够快速部署和运行深度学习工作负载。这些容器经过AWS优化，可在云环境中提供高性能的深度学习体验。

近日，AWS DLC项目发布了针对Graviton处理器优化的PyTorch推理容器新版本v1.38。这个版本特别针对基于Arm架构的AWS Graviton处理器进行了优化，适用于EC2实例上的推理场景。

容器镜像详情

本次发布的容器镜像基于Ubuntu 20.04操作系统，预装了PyTorch 2.3.0 CPU版本及其相关组件。镜像标识为：

763104351884.dkr.ecr.us-west-2.amazonaws.com/pytorch-inference-graviton:2.3.0-cpu-py311-ubuntu20.04-ec2-v1.38

镜像采用Python 3.11作为默认Python环境，这是一个较新的Python版本，能够提供更好的性能和语言特性支持。

关键软件包版本

容器中预装了多个重要的Python包和系统依赖：

1. 深度学习框架：

   • PyTorch 2.3.0 CPU版
   • TorchVision 0.18.0
   • TorchAudio 2.3.0
   • TorchServe 0.11.0（用于模型服务化）

2. 科学计算库：

   • NumPy 1.26.4
   • SciPy 1.14.0
   • OpenCV-Python 4.10.0.84

3. 开发工具：

   • Cython 3.0.10（用于编写C扩展）
   • Ninja 1.11.1.1（构建系统）

4. AWS工具：

   • AWS CLI 1.33.19
   • Boto3 1.34.137（AWS SDK for Python）

5. 系统依赖：

   • GCC相关库（支持C/C++扩展编译）
   • C++标准库（支持PyTorch等框架）

技术特点

1. Graviton处理器优化： 该容器专门为AWS Graviton处理器（基于Arm架构）进行了优化，能够在Graviton实例上提供更好的性能和能效比。

2. 轻量级推理环境： 作为推理专用容器，它去除了训练相关的组件，保持了较小的镜像体积，同时包含了TorchServe等模型服务化工具。

3. Python 3.11支持： 使用最新的Python稳定版本之一，提供了更好的性能和语言特性支持，如结构化模式匹配等。

4. 完整的工具链： 包含了从开发到部署所需的各种工具，如构建工具、调试工具（如Emacs）等，方便用户进行定制化开发。

适用场景

这个容器镜像特别适合以下场景：

1. 在Graviton实例上部署PyTorch模型推理服务
2. 构建轻量级的机器学习推理API
3. 开发基于PyTorch的Arm架构应用
4. 需要高性能、低成本的推理解决方案

总结

AWS Deep Learning Containers的这次更新为使用Graviton处理器的用户提供了最新的PyTorch推理环境。通过预配置的优化环境和工具链，开发者可以快速部署PyTorch模型，而无需花费时间在环境配置上。特别是对于追求成本效益和能效比的用户，基于Graviton的解决方案值得考虑。