AWS Deep Learning Containers发布PyTorch ARM64架构推理镜像v1.6版本

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的一组经过优化的深度学习容器镜像，这些镜像预装了流行的深度学习框架及其依赖项，使开发者和数据科学家能够快速部署深度学习工作负载。这些容器镜像针对AWS基础设施进行了性能优化，支持CPU和GPU加速，并提供了不同版本的框架组合以满足各种应用场景需求。

近日，AWS Deep Learning Containers项目发布了针对ARM64架构的PyTorch推理镜像v1.6版本，主要包含两个重要镜像更新：

PyTorch 2.6.0 CPU版本镜像

该镜像基于Ubuntu 22.04操作系统，预装了Python 3.12环境和PyTorch 2.6.0 CPU版本。镜像中包含了完整的PyTorch生态系统工具链，如TorchServe模型服务框架和Torch Model Archiver模型打包工具，方便用户直接部署训练好的模型。

关键组件版本信息：

• PyTorch: 2.6.0（CPU优化版本）
• TorchVision: 0.21.0
• TorchAudio: 2.6.0
• Python: 3.12
• NumPy: 2.2.3
• OpenCV: 4.11.0

镜像中还预装了常用的数据处理和科学计算库，如SciPy、Pandas等，以及AWS CLI工具，便于与AWS云服务交互。这些组件都经过ARM64架构的专门优化，能够在基于AWS Graviton处理器的EC2实例上发挥最佳性能。

PyTorch 2.6.0 GPU版本镜像

针对需要GPU加速的场景，AWS同时发布了支持CUDA 12.4的PyTorch GPU版本镜像。该镜像同样基于Ubuntu 22.04和Python 3.12，但额外包含了完整的CUDA工具链和cuDNN库，支持在配备NVIDIA GPU的ARM64实例上运行。

关键特性：

• CUDA版本: 12.4
• cuDNN版本: 9（针对CUDA 12优化）
• 包含完整的PyTorch GPU支持（torch==2.6.0+cu124）
• 预装CUDA命令行工具和cuBLAS数学库

这个GPU版本镜像特别适合需要高性能推理的计算机视觉、自然语言处理等深度学习应用场景。通过CUDA加速，可以显著提升模型推理速度，降低延迟。

技术亮点与优化

这两个新发布的镜像在多个方面进行了优化：

1. ARM64架构优化：专门为AWS Graviton处理器设计，充分利用ARM架构的特性，相比传统x86架构在某些工作负载上可提供更好的性价比。

2. Python 3.12支持：采用最新的Python 3.12版本，带来性能提升和新语言特性支持。

3. 完整的工具链：不仅包含PyTorch框架本身，还预装了模型服务、监控、日志等生产环境所需的工具。

4. 安全加固：基于Ubuntu 22.04 LTS，包含最新的安全补丁和系统更新。

5. 云原生集成：内置AWS CLI和Boto3等工具，便于与AWS其他服务（如S3、CloudWatch等）集成。

对于需要在ARM架构上部署PyTorch模型的用户，这些预构建的容器镜像可以大大简化环境配置过程，提高部署效率，同时确保性能和稳定性。用户可以直接从AWS ECR仓库拉取这些镜像，快速开始模型服务部署工作。