AWS Deep Learning Containers发布PyTorch 2.3.0推理镜像

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的预构建深度学习容器镜像集合，它集成了主流深度学习框架、库和工具，使开发者能够快速部署深度学习工作负载。这些容器经过优化，可直接在Amazon EC2、Amazon ECS和Amazon EKS等服务上运行，大幅简化了深度学习环境的配置过程。

近日，AWS DLC项目发布了针对PyTorch框架的推理专用容器镜像更新，版本号为v1.34-pt-sagemaker-2.3.0-inf-py311。这次更新主要包含两个关键镜像：CPU版本和GPU版本，均基于Ubuntu 20.04操作系统构建，并预装了Python 3.11环境。

镜像技术细节

CPU版本镜像

CPU版本镜像（pytorch-inference:2.3.0-cpu-py311）专为不需要GPU加速的推理场景设计。它包含了PyTorch 2.3.0框架及其相关组件：

• 核心框架：torch 2.3.0+cpu
• 计算机视觉支持：torchvision 0.18.0+cpu
• 音频处理支持：torchaudio 2.3.0+cpu
• 模型服务工具：torchserve 0.11.0和torch-model-archiver 0.11.0

该镜像还预装了常用的数据处理和科学计算库，如NumPy 1.26.4、Pandas 2.2.2、SciPy 1.13.1和scikit-learn 1.5.0，以及OpenCV 4.10.0用于图像处理任务。

GPU版本镜像

GPU版本镜像（pytorch-inference:2.3.0-gpu-py311-cu121）针对需要CUDA加速的推理工作负载进行了优化，支持NVIDIA CUDA 12.1环境：

• 核心框架：torch 2.3.0+cu121
• 计算机视觉支持：torchvision 0.18.0+cu121
• 音频处理支持：torchaudio 2.3.0+cu121

与CPU版本类似，GPU版本也包含了完整的模型服务工具链和数据处理库。此外，它还预装了CUDA相关的库文件，如libcublas-12-1和libcudnn8，确保能够充分利用GPU的计算能力。

技术优势

1. 环境一致性：这些预构建镜像确保了开发、测试和生产环境的一致性，避免了"在我机器上能运行"的问题。

2. 性能优化：AWS对镜像中的深度学习框架进行了特定优化，使其在AWS基础设施上运行时能够发挥最佳性能。

3. 简化部署：集成了模型服务工具torchserve，开发者可以快速将训练好的模型部署为可扩展的推理服务。

4. 安全更新：基于Ubuntu 20.04 LTS构建，定期接收安全更新，确保生产环境的安全性。

5. 完整工具链：除了核心框架外，还包含了从数据处理到模型服务的完整工具链，减少了额外配置的工作量。

适用场景

这些PyTorch推理镜像特别适合以下应用场景：

• 需要快速部署PyTorch模型的机器学习工程师
• 构建可扩展的模型推理服务的DevOps团队
• 需要保证环境一致性的MLOps流水线
• 希望减少环境配置时间的个人开发者

AWS Deep Learning Containers的这次更新，为使用PyTorch 2.3.0进行模型推理的用户提供了开箱即用的解决方案，大幅降低了从模型开发到生产部署的复杂度。无论是简单的CPU推理还是需要GPU加速的复杂模型，开发者都可以快速找到适合自己需求的容器镜像。