NVIDIA容器工具包在AWS ECS上GPU访问丢失问题分析与解决方案

问题背景

在使用NVIDIA容器工具包(nvidia-container-toolkit)时，部分用户在AWS ECS环境中遇到了GPU访问丢失的问题。具体表现为：容器启动后能够正常访问GPU，但运行一段时间(几分钟到几小时不等)后突然失去GPU访问能力，且该状态会持续到任务重启为止。

环境配置

典型的问题环境配置如下：

• 操作系统：Amazon Linux 2 (内核版本4.14.336-257.568.amzn2.x86_64)
• Docker版本：20.10.25
• NVIDIA驱动版本：550.73
• NVIDIA容器工具包版本：1.13.5
• GPU型号：Tesla T4
• 容器基础镜像：debian:sid-slim

问题现象

1. 容器初始运行时可以正常检测和使用GPU
2. 运行一段时间后，应用程序报告无法访问GPU设备
3. 错误信息可能表现为"Unrecognized device error ERROR_INITIALIZATION_FAILED"或"CUD_ERROR_NO_DEVICE"
4. 通过docker exec进入同一容器执行相同命令却能正常工作
5. 只有重启容器才能恢复GPU访问

根本原因分析

这个问题主要与NVIDIA容器工具包的工作机制有关。在传统注入机制(legacy injection mechanism)下，nvidia-container-runtime-hook会对容器进行cgroup修改，但这些修改不会被容器引擎(如Docker)感知。当执行某些容器更新操作(如docker update)时，这些修改会被覆盖，导致GPU访问丢失。

解决方案

方案一：显式添加设备节点

在docker run命令中显式添加NVIDIA设备节点，确保它们不会被后续更新操作移除：

docker run --device /dev/nvidiactl \
           --device /dev/nvidia-uvm \
           --device /dev/nvidia-uvm-tools \
           --device /dev/nvidia-modeset \
           ...

方案二：创建设备字符链接

通过以下命令创建并确保设备字符链接存在：

sudo nvidia-ctk system create-dev-char-symlinks --create-all

为确保系统重启后仍有效，可以创建udev规则：

echo 'ACTION=="add", DEVPATH=="/bus/pci/drivers/nvidia", RUN+="/usr/bin/nvidia-ctk system create-dev-char-symlinks --create-all"' | sudo tee /lib/udev/rules.d/71-nvidia-dev-char.rules

方案三：应用层容错处理

在应用程序中实现检测机制，当发现GPU访问失败时：

1. 记录错误并优雅退出
2. 依赖容器编排系统(如ECS)自动重启容器
3. 对于长时间运行的任务，考虑拆分为多个短时间任务

最佳实践建议

1. 考虑升级到较新版本的NVIDIA容器工具包(1.15.0+)
2. 在可能的情况下，避免对运行中的GPU容器执行更新操作
3. 对于关键生产环境，实施监控系统检测GPU可用性
4. 定期检查NVIDIA驱动和容器工具包的兼容性

总结

NVIDIA容器工具包在AWS ECS环境中的GPU访问丢失问题通常与容器更新操作和设备节点管理有关。通过显式声明设备节点、确保设备链接存在以及在应用层实现容错机制，可以有效解决这一问题。随着NVIDIA容器工具包的持续更新，这类问题有望得到更根本的解决。