AWS Deep Learning Containers发布TensorFlow推理ARM64 CPU镜像v1.18

AWS Deep Learning Containers是亚马逊云科技提供的一组预构建的Docker镜像，这些镜像包含了流行的深度学习框架及其依赖项，使开发者能够快速部署深度学习应用而无需自行配置环境。该项目针对不同计算场景提供了多种优化配置，包括CPU和GPU版本，支持x86和ARM64架构。

本次发布的v1.18版本主要针对TensorFlow推理场景，提供了基于ARM64架构的CPU优化镜像。该镜像基于Ubuntu 20.04操作系统构建，预装了TensorFlow Serving API 2.18.0版本，专为在EC2实例上运行推理工作负载而优化。

镜像技术细节

该Docker镜像的核心组件包括：

1. 基础系统：基于Ubuntu 20.04 LTS操作系统，这是一个长期支持版本，提供了稳定的运行环境。

2. Python环境：预装Python 3.10解释器，这是一个较新的Python版本，在性能和功能上都有所提升。

3. TensorFlow组件：

   • TensorFlow Serving API 2.18.0：这是TensorFlow官方提供的服务化接口，用于将训练好的模型部署为可扩展的预测服务。
   • 相关依赖库如protobuf 4.25.6等。

4. 开发工具：

   • 包含了emacs编辑器及其相关组件，方便开发者直接在容器内进行代码编辑。
   • 安装了AWS CLI 1.37.18、boto3 1.36.18等AWS工具，便于与AWS服务交互。

5. 系统库：

   • 包含了libgcc和libstdc++等基础C++运行库的开发版本，确保TensorFlow等高性能计算框架能够正常运行。

适用场景

这个镜像特别适合以下应用场景：

1. ARM架构服务器部署：随着云服务提供商越来越多地提供基于ARM架构的实例（如AWS的Graviton处理器实例），这个镜像可以帮助开发者充分利用ARM架构的成本和能效优势。

2. CPU推理服务：对于不需要GPU加速的中小型模型推理任务，使用CPU实例可以显著降低成本。该镜像针对CPU推理进行了优化。

3. 边缘计算场景：ARM架构在边缘设备中广泛使用，这个镜像可以方便地将模型部署到边缘设备上运行。

技术优势

1. 开箱即用：预装了所有必要的依赖项，开发者无需花费时间配置环境。

2. 版本控制：明确的版本标签（如2.18.0-cpu-py310）确保了环境的一致性，便于团队协作和CI/CD流程。

3. 安全基础：基于Ubuntu 20.04 LTS，可以获得长期安全更新支持。

4. AWS优化：专为EC2实例优化，能够更好地利用AWS基础设施的性能特性。

使用建议

对于需要在ARM架构上部署TensorFlow模型的开发者，建议直接从AWS ECR仓库拉取这个预构建的镜像，可以节省大量环境配置时间。镜像中已经包含了常用的AWS工具，方便与S3等AWS服务交互，获取模型文件或存储推理结果。

对于生产环境，建议基于此镜像构建自己的定制镜像，添加特定的模型文件和业务逻辑，同时保持基础环境的稳定性和一致性。