AWS Deep Learning Containers 发布 PyTorch 2.3.0 推理容器镜像

AWS Deep Learning Containers (DLC) 是亚马逊云科技提供的预构建深度学习容器镜像，这些镜像经过优化，可在 AWS 云环境中高效运行。它们包含了流行的深度学习框架及其依赖项，使开发者和数据科学家能够快速部署深度学习工作负载，而无需花费时间配置环境。

近日，AWS 发布了 PyTorch 2.3.0 推理容器镜像的两个新版本，分别针对 CPU 和 GPU 计算环境进行了优化。这两个镜像基于 Ubuntu 20.04 操作系统，并预装了 Python 3.11 环境，为 PyTorch 推理任务提供了开箱即用的解决方案。

CPU 优化版本镜像

CPU 优化版本的镜像适用于不需要 GPU 加速的推理场景，包含了 PyTorch 2.3.0 及其相关生态组件。该镜像预装了以下关键软件包：

• PyTorch 核心框架 2.3.0（CPU 版本）
• TorchVision 0.18.0（计算机视觉库）
• TorchAudio 2.3.0（音频处理库）
• TorchServe 0.11.0（模型服务框架）
• Torch Model Archiver 0.11.0（模型打包工具）

此外，镜像中还包含了常用的数据处理和科学计算库，如 NumPy 1.26.4、SciPy 1.13.1、Pandas 2.2.2 和 OpenCV 4.10.0，这些库为数据预处理和后处理提供了强大支持。对于开发者工具，镜像预装了 Cython 3.0.10 和 Ninja 1.11.1.1 等构建工具。

GPU 加速版本镜像

针对需要 GPU 加速的推理任务，AWS 提供了 CUDA 12.1 优化的 PyTorch 2.3.0 镜像。这个版本除了包含 CPU 版本的所有功能外，还针对 NVIDIA GPU 进行了特别优化：

• PyTorch 2.3.0（CUDA 12.1 版本）
• 配套的 TorchVision 和 TorchAudio（CUDA 12.1 版本）
• CUDA 12.1 命令行工具
• cuBLAS 12.1 数学库
• cuDNN 8 深度神经网络加速库

GPU 版本镜像同样预装了完整的 Python 数据科学生态系统，确保开发者可以无缝地从 CPU 环境迁移到 GPU 环境。

镜像特点与优势

这两个镜像都基于 Ubuntu 20.04 LTS 操作系统，提供了长期稳定的基础环境。它们都预装了 AWS 命令行工具（AWS CLI 1.33.4、Boto3 1.34.122），方便与 AWS 云服务集成。

镜像中的软件包版本经过精心选择和测试，确保相互兼容性。例如，PyTorch 2.3.0 与 TorchVision 0.18.0 和 TorchAudio 2.3.0 的组合经过了 AWS 的验证测试，避免了版本不匹配导致的兼容性问题。

对于生产环境部署，镜像中包含了 TorchServe 模型服务框架，支持高性能模型推理和动态批处理等功能。Torch Model Archiver 工具则简化了模型打包和部署流程。

适用场景

这些预构建的容器镜像特别适合以下场景：

1. 快速原型开发：开发者可以立即开始模型推理代码开发，无需花费时间配置环境
2. 生产部署：经过 AWS 优化的镜像提供了稳定可靠的运行环境
3. 大规模推理服务：TorchServe 支持自动扩展和高性能推理
4. 模型转换和优化：内置工具支持模型格式转换和性能优化

AWS Deep Learning Containers 的这些新版本镜像为 PyTorch 用户提供了即用型的解决方案，显著降低了深度学习应用部署的复杂性和时间成本。无论是研究实验还是生产部署，这些镜像都能提供一致、可靠的运行环境。