AWS Deep Learning Containers 发布PyTorch ARM64架构推理容器新版本

项目背景与概述

AWS Deep Learning Containers (DLC)是亚马逊云科技提供的一套预配置的深度学习环境容器镜像，旨在简化机器学习工作负载的部署过程。这些容器镜像经过优化，包含了流行的深度学习框架、依赖库和工具，可以直接在AWS云服务上运行，大大降低了用户搭建深度学习环境的复杂度。

最新版本特性解析

AWS近日发布了PyTorch ARM64架构的推理容器新版本v1.25-pt-arm64-ec2-2.5.1-inf-py311，该版本基于Ubuntu 22.04操作系统，支持Python 3.11环境，主要针对使用ARM64架构的EC2实例进行了优化。

版本核心组件

本次发布包含两个主要镜像：

1. CPU版本：基于PyTorch 2.5.1的CPU优化版本
2. GPU版本：支持CUDA 12.4的GPU加速版本

两个版本都包含了PyTorch生态系统的关键组件：

• torch 2.5.1
• torchvision 0.20.1
• torchaudio 2.5.1
• torch-model-archiver 0.12.0
• torchserve 0.12.0

软件栈更新

在Python包管理方面，新版本包含了多个重要的更新：

• NumPy升级至2.1.3版本
• OpenCV-Python更新到4.10.0.84
• Pandas升级至2.2.3（仅GPU版本）
• SciPy更新到1.14.1
• Pillow图像处理库升级至11.0.0

系统层面的依赖也进行了相应更新，包括：

• GCC 11工具链
• C++标准库更新
• CUDA 12.4相关组件（GPU版本）

技术优势与应用场景

ARM64架构优化

该版本专门针对ARM64架构的EC2实例进行了优化，能够充分发挥基于ARM架构处理器的性能优势，特别是在能效比方面表现突出。对于需要长时间运行的推理服务，使用ARM架构可以显著降低运营成本。

推理服务支持

容器中预装了TorchServe和Torch Model Archiver工具，用户可以快速将训练好的PyTorch模型打包部署为生产级推理服务。这些工具支持模型版本管理、自动扩展和监控等功能，大大简化了模型服务的运维工作。

开发环境完备

除了核心的推理功能外，容器中还包含了完整的开发工具链，如：

• Cython 3.0.11
• Ninja构建系统
• 文件锁工具
• AWS CLI工具集

这使得开发者可以直接在容器中进行模型调试和优化工作，无需额外配置开发环境。

版本兼容性与选择建议

对于不同使用场景的用户，AWS提供了灵活的版本选择：

1. CPU版本：适合轻量级推理任务或对成本敏感的应用场景，特别是在不需要GPU加速的情况下。

2. GPU版本：针对计算密集型推理任务优化，利用CUDA 12.4和cuDNN等加速库，可以显著提升模型推理速度，适合实时性要求高的应用。

用户可以根据自身应用的性能需求和预算情况选择合适的版本。两个版本都基于相同的PyTorch 2.5.1基础，确保了API和功能的一致性，便于开发和迁移。

总结

AWS Deep Learning Containers的这一新版本为ARM64架构的PyTorch推理工作负载提供了开箱即用的解决方案，通过预配置优化的软件栈和工具集，显著降低了用户部署和管理机器学习服务的门槛。无论是追求性价比的CPU方案还是高性能的GPU加速方案，用户都能找到适合自己需求的容器镜像。