AWS Deep Learning Containers发布PyTorch ARM64架构推理镜像v1.18版本

AWS Deep Learning Containers（DLC）项目为机器学习开发者提供了预构建的深度学习环境容器镜像，这些镜像经过优化并预装了主流深度学习框架及其依赖项。该项目极大地简化了深度学习模型的训练和部署流程，使开发者能够快速在AWS云环境中启动工作负载。

近日，AWS DLC项目发布了针对ARM64架构的PyTorch推理镜像v1.18版本，主要支持PyTorch 2.6.0框架。这一更新为使用ARM架构处理器的AWS EC2实例用户提供了最新的PyTorch推理环境。

镜像版本特性

本次发布的镜像包含两个主要变体：

1. CPU版本镜像：基于Ubuntu 22.04操作系统，预装了PyTorch 2.6.0 CPU版本，支持Python 3.12环境。该镜像适用于不需要GPU加速的推理场景。

2. GPU版本镜像：同样基于Ubuntu 22.04，预装了PyTorch 2.6.0 CUDA 12.4版本，专为配备NVIDIA GPU的ARM64架构EC2实例设计，可充分利用GPU的并行计算能力加速模型推理。

关键软件包更新

两个镜像版本均包含了一系列重要的Python软件包和系统依赖：

• 核心框架：PyTorch 2.6.0及其生态系统组件（torchaudio 2.6.0、torchvision 0.21.0）
• 模型服务工具：torchserve 0.12.0和torch-model-archiver 0.12.0
• 数据处理库：NumPy 2.2.3、Pandas 2.2.3（仅GPU版本）、SciPy 1.15.2
• 图像处理：OpenCV 4.11.0.86、Pillow 11.1.0
• 开发工具：Cython 3.0.12、Ninja 1.11.1.1
• AWS集成：boto3 1.37.8、awscli 1.38.8

GPU版本额外包含了CUDA 12.4相关的系统库，如cuBLAS和cuDNN，这些都是深度学习计算的关键加速库。

技术价值与应用场景

ARM64架构在云计算领域越来越受到重视，因其在能效比方面的优势。AWS Graviton系列处理器就是基于ARM架构，为云工作负载提供了高性价比的计算能力。

这些预构建的PyTorch ARM64镜像特别适合以下场景：

1. 成本敏感型推理服务：在Graviton实例上运行模型推理可以显著降低运营成本
2. 边缘计算部署：ARM架构在边缘设备中广泛使用，这些镜像为边缘AI提供了兼容性保障
3. 持续集成/持续部署：预构建的标准化环境简化了MLOps流程
4. 快速原型开发：开发者可以立即获得配置完善的PyTorch环境，无需手动安装依赖

版本兼容性说明

值得注意的是，PyTorch 2.6.0引入了一些新特性和API变化，开发者在迁移现有模型时需要关注：

• 改进了动态形状支持
• 优化了ARM架构下的算子性能
• 更新了自动微分机制
• 引入了新的量化功能

对于生产环境部署，建议先在小规模测试环境中验证模型兼容性，再全面升级。

总结

AWS Deep Learning Containers项目通过提供这些经过充分测试和优化的PyTorch ARM64镜像，降低了开发者使用ARM架构进行深度学习推理的门槛。特别是对于已经在使用AWS Graviton实例的用户，这些镜像可以直接部署，无需自行配置复杂的软件环境，大大提高了工作效率。随着ARM生态的不断发展，这类优化镜像将在云原生AI领域发挥越来越重要的作用。