AWS Deep Learning Containers发布PyTorch 2.4.0 Graviton CPU推理容器

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的预配置深度学习环境容器镜像，它集成了主流深度学习框架及其依赖项，使开发者能够快速部署和运行深度学习工作负载，而无需花费时间配置环境。这些容器针对AWS基础设施进行了优化，支持多种计算实例类型，包括基于Arm架构的Graviton处理器。

本次发布的v1.33版本主要针对PyTorch框架，提供了基于Graviton处理器的CPU推理容器镜像。该镜像基于Ubuntu 22.04操作系统，预装了PyTorch 2.4.0版本及其相关工具链，专为在EC2实例上运行推理工作负载而优化。

容器镜像技术细节

该容器镜像的核心组件包括：

1. PyTorch 2.4.0：这是PyTorch框架的最新稳定版本之一，针对CPU推理场景进行了优化。PyTorch作为当前最流行的深度学习框架之一，其2.4.0版本带来了性能改进和新特性。

2. Python 3.11环境：容器内置Python 3.11运行时，这是Python的最新稳定版本之一，提供了更好的性能和语言特性。

3. Ubuntu 22.04基础：基于Ubuntu 22.04 LTS操作系统构建，确保了系统的稳定性和长期支持。

4. Graviton处理器优化：特别针对AWS Graviton处理器（基于Arm架构）进行了优化，能够在EC2 Graviton实例上发挥最佳性能。

关键软件包版本

容器中预装了多个重要的Python包和系统库：

• 核心深度学习组件：

  • torch==2.4.0+cpu
  • torchvision==0.19.0+cpu
  • torchaudio==2.4.0+cpu
  • numpy==1.26.4
  • scipy==1.14.1

• 模型服务工具：

  • torchserve==0.12.0
  • torch-model-archiver==0.12.0

• 实用工具：

  • opencv-python==4.10.0.84（计算机视觉处理）
  • Cython==3.0.11（Python C扩展工具）
  • ninja==1.11.1.1（构建系统）

• AWS集成：

  • boto3==1.35.54
  • botocore==1.35.54
  • awscli==1.35.20

技术优势与应用场景

这个容器镜像特别适合以下场景：

1. 成本敏感的推理工作负载：基于Graviton处理器的EC2实例通常比同级别的x86实例更具成本优势，结合这个优化容器，可以显著降低推理成本。

2. 边缘计算场景：Arm架构在能效比方面的优势使其成为边缘设备的理想选择，这个容器为将来可能的边缘部署提供了兼容性基础。

3. 快速原型开发：预配置的环境让开发者可以立即开始模型部署，而不必花费时间解决依赖关系和兼容性问题。

4. 批量推理任务：对于不需要GPU加速的中小型模型，使用CPU推理可以更经济地处理批量请求。

性能考虑

虽然这是一个CPU版本的容器，但通过以下方式确保了良好的推理性能：

1. PyTorch优化：PyTorch 2.4.0版本包含了对CPU后端的多项性能改进。

2. Graviton专用优化：针对AWS Graviton处理器的指令集进行了特别优化。

3. 高效依赖管理：精心选择的依赖版本平衡了功能需求和性能表现。

4. 精简系统环境：基于Ubuntu 22.04的最小化安装，减少了不必要的系统开销。

使用建议

对于考虑使用此容器的用户，建议：

1. 评估模型大小和复杂度，确保CPU推理能够满足延迟要求。

2. 选择合适的Graviton EC2实例类型，根据工作负载特点平衡计算资源和成本。

3. 利用容器内置的torchserve工具简化模型服务部署。

4. 对于生产环境，建议基于此镜像构建自定义镜像，添加特定的模型和业务逻辑。

AWS Deep Learning Containers的这次更新为使用PyTorch进行CPU推理的用户提供了更多选择，特别是在成本敏感型应用和Graviton实例环境中。通过预配置优化的软件栈，开发者可以专注于模型和业务逻辑，而不必担心底层环境配置问题。