AWS Deep Learning Containers发布PyTorch 2.4.0推理镜像

AWS Deep Learning Containers（DLC）是亚马逊云科技提供的深度学习容器服务，它预装了主流深度学习框架、依赖库和工具，让开发者能够快速部署深度学习工作负载。这些容器经过AWS优化和测试，可以直接在Amazon EC2、Amazon ECS、Amazon EKS和SageMaker等服务上运行。

近日，AWS DLC发布了PyTorch 2.4.0推理镜像的两个新版本，分别支持CPU和GPU环境。这两个镜像基于Ubuntu 22.04操作系统，使用Python 3.11作为基础环境，专为模型推理场景优化。

CPU版本镜像特性

CPU版本镜像（pytorch-inference:2.4.0-cpu-py311-ubuntu22.04-sagemaker-v1.29）包含了PyTorch 2.4.0及其相关生态工具：

• 核心框架：PyTorch 2.4.0（CPU优化版本）
• 配套工具：TorchServe 0.12.0和Torch Model Archiver 0.12.0，用于模型部署和打包
• 数据处理库：NumPy 2.1.2、Pandas 2.2.3、OpenCV 4.10.0等
• 科学计算：SciPy 1.14.1和scikit-learn 1.5.2
• 基础工具：AWS CLI 1.35.12和Boto3 1.35.46，方便与AWS服务集成

该镜像适合不需要GPU加速的推理场景，或者开发测试环境使用。

GPU版本镜像特性

GPU版本镜像（pytorch-inference:2.4.0-gpu-py311-cu124-ubuntu22.04-sagemaker-v1.29）针对NVIDIA GPU进行了优化：

• CUDA 12.4支持：包含CUDA命令行工具和cuDNN库
• GPU加速版PyTorch：PyTorch 2.4.0+cu124
• 配套视觉库：TorchVision 0.19.0+cu124和TorchAudio 2.4.0+cu124
• MPI支持：mpi4py 4.0.1，便于分布式计算
• 其他依赖与CPU版本保持一致

该镜像充分利用了NVIDIA GPU的并行计算能力，适合高性能推理场景。

技术选型考量

这两个镜像的发布体现了AWS对PyTorch生态的持续支持：

1. Python 3.11基础：采用最新的稳定版Python，提供更好的性能和语言特性支持
2. Ubuntu 22.04 LTS：长期支持的操作系统版本，确保稳定性和安全性
3. 全面工具链：从模型训练到部署的工具一应俱全，减少用户环境配置工作
4. AWS服务集成：内置AWS CLI和Boto3，方便与S3、SageMaker等服务交互

对于需要在AWS上部署PyTorch模型的用户，这些预构建的容器可以显著降低环境配置复杂度，加快模型上线速度。特别是与Amazon SageMaker服务配合使用时，可以实现端到端的机器学习工作流。

使用建议

根据实际需求选择合适的镜像版本：

• 对于轻量级模型或测试环境，CPU版本足够且成本更低
• 对于计算密集型模型或生产环境，GPU版本能提供更好的推理性能
• 使用TorchServe可以方便地将模型部署为RESTful服务
• 通过Model Archiver可以打包模型及其依赖，便于分发

这些镜像已经过AWS的严格测试和性能优化，建议用户直接使用而不是自行构建类似环境，以节省时间和确保稳定性。