Ollama项目Docker容器GPU访问丢失问题分析与解决方案

问题现象分析

在使用Ollama项目的Docker容器时，用户报告了一个关于GPU访问的异常现象。容器在初始运行时能够正常识别和使用GPU资源，但在持续运行数小时后，容器会突然失去GPU访问能力，自动回退到CPU计算模式。这一现象在Ubuntu 24.04主机环境下尤为明显。

技术背景

Ollama作为一个需要GPU加速的AI应用，其Docker容器通常需要配置NVIDIA Container Toolkit来实现GPU透传。当容器失去GPU访问能力时，会导致性能显著下降，影响模型推理效率。

可能原因

1. NVIDIA驱动超时：某些NVIDIA驱动版本存在超时机制，长时间空闲后可能自动释放资源
2. Docker资源管理问题：Docker的GPU资源隔离机制可能存在缺陷
3. CUDA上下文丢失：应用程序可能没有正确处理CUDA上下文保持
4. 系统电源管理：Ubuntu的电源管理策略可能影响了GPU状态

解决方案

配置优化

在docker-compose.yml中，建议采用以下更稳定的GPU资源配置方式：

services:
  ollama:
    runtime: nvidia
    environment:
      - NVIDIA_VISIBLE_DEVICES=all
      - NVIDIA_DRIVER_CAPABILITIES=compute,utility

系统级检查

1. 确保主机系统安装了最新稳定的NVIDIA驱动
2. 检查系统日志(dmesg和journalctl)中是否有GPU相关错误
3. 验证NVIDIA持久化模式是否启用：nvidia-smi -pm 1

容器监控

建议在容器内设置监控脚本，定期检查GPU可用性，并在检测到问题时自动重启相关服务。

预防措施

1. 定期更新NVIDIA驱动和Docker环境
2. 考虑使用容器健康检查机制
3. 对于生产环境，建议实现自动恢复机制

总结

Ollama项目在Docker容器中运行时出现GPU访问丢失的问题，通常与驱动和容器配置相关。通过优化容器配置和系统设置，可以有效预防和解决此类问题，确保GPU资源的持续可用性。对于关键业务场景，建议实施额外的监控和自动恢复机制来保障服务稳定性。