AWS Deep Learning Containers发布PyTorch Graviton推理容器v1.28版本

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的一组经过优化的深度学习容器镜像，这些镜像预装了流行的深度学习框架及其依赖项，可以帮助开发者快速部署机器学习工作负载。DLC支持多种深度学习框架，包括PyTorch、TensorFlow和MXNet等，并针对AWS基础设施进行了性能优化。

近日，AWS发布了PyTorch Graviton推理容器的v1.28版本，该版本基于PyTorch 2.4.0构建，专为使用AWS Graviton处理器的环境优化。Graviton处理器是AWS基于ARM架构自主研发的云服务器处理器，相比传统x86架构处理器，在性能和成本效益方面都有显著优势。

版本核心特性

这个新发布的容器镜像具有以下主要技术特性：

1. PyTorch 2.4.0支持：集成了PyTorch框架的最新稳定版本2.4.0，包含所有最新的功能和性能改进。

2. Graviton处理器优化：专门为AWS Graviton ARM架构处理器优化，能够充分发挥ARM架构的性能优势。

3. Python 3.11环境：基于Python 3.11构建，这是目前Python的最新稳定版本之一，提供了更好的性能和语言特性支持。

4. Ubuntu 22.04基础：使用Ubuntu 22.04 LTS作为基础操作系统，确保系统稳定性和长期支持。

5. SageMaker兼容：专为Amazon SageMaker服务优化，可以无缝集成到SageMaker的机器学习工作流中。

包含的关键软件包

该容器镜像预装了丰富的软件包，方便开发者直接使用：

• 深度学习框架：PyTorch 2.4.0（CPU版本）、TorchVision 0.19.0、TorchAudio 2.4.0
• 模型服务工具：TorchServe 0.12.0和Torch Model Archiver 0.12.0，用于模型部署和服务
• 数据处理库：NumPy 1.26.4、Pandas 2.2.3、OpenCV 4.10.0.84
• 机器学习工具：scikit-learn 1.5.2、SciPy 1.14.1
• 开发工具：Cython 3.0.11、Ninja 1.11.1.1构建系统
• AWS集成：boto3 1.35.47、botocore 1.35.47、awscli 1.35.13

技术优势

使用这个专门为Graviton优化的PyTorch容器镜像，开发者可以获得以下优势：

1. 成本效益：Graviton实例通常比同级别的x86实例价格更低，使用这个优化镜像可以进一步降低机器学习推理的成本。

2. 性能优化：针对ARM架构的专门优化可以带来更好的性能表现，特别是在推理工作负载上。

3. 开箱即用：预装了所有必要的依赖项和工具，开发者可以专注于模型开发和部署，而不需要花费时间在环境配置上。

4. 生态系统兼容：与AWS SageMaker服务深度集成，可以轻松地将模型部署到生产环境。

5. 安全稳定：基于Ubuntu 22.04 LTS，提供长期安全更新支持，确保生产环境的稳定性。

适用场景

这个PyTorch Graviton推理容器特别适合以下应用场景：

1. 大规模推理服务：需要高效、低成本运行大量推理请求的生产环境。

2. 边缘计算：结合AWS Outposts或边缘服务，在靠近数据源的位置进行推理。

3. 成本敏感型项目：预算有限但需要可靠机器学习服务的应用场景。

4. ARM原生开发：为ARM架构开发和优化机器学习模型的工作流程。

5. SageMaker模型部署：在Amazon SageMaker服务中部署PyTorch模型。

AWS Deep Learning Containers的持续更新反映了AWS对机器学习基础设施的重视，这个针对Graviton优化的PyTorch容器版本为开发者提供了更多架构选择和性能优化可能，是构建高效、经济机器学习解决方案的重要工具。