Jetson Containers项目中Ollama容器运行故障排查与解决方案

问题现象

在NVIDIA AGX Orin 64GB设备上（Jetpack 6.0 DP系统环境），运行dustynv/ollama:r36.2.0容器时出现LLM模型执行失败的情况。具体表现为当尝试运行phi3模型时，系统报出CUDA相关的CUBLAS执行错误，错误信息指向ggml-cuda.cu文件中的矩阵乘法运算失败。

错误分析

从技术层面分析，错误日志显示的核心问题是：

1. CUDA执行过程中触发了CUBLAS_STATUS_EXECUTION_FAILED状态
2. 错误发生在cublasGemmBatchedEx函数调用时
3. 涉及CUDA半精度浮点(CUDA_R_16F)的矩阵乘法运算
4. 最终触发了GGML_ASSERT断言失败

这类错误通常与以下因素相关：

• CUDA环境配置异常
• GPU资源冲突
• 内存访问越界
• 计算精度不匹配

根本原因

经过深入排查，发现问题源于容器内外环境冲突：

1. 宿主机系统已运行Ollama服务
2. 容器内部也启动了Ollama服务
3. 容器内执行的命令实际上被宿主机服务截获处理
4. 两个服务对GPU资源的竞争导致CUDA执行异常

解决方案

1. 停止宿主机Ollama服务：确保容器独占GPU资源
2. 重建容器环境：保证容器内服务独立运行
3. 验证执行路径：确认命令确实在容器内执行

技术启示

1. 容器化部署时需注意服务隔离性
2. GPU资源管理需要特别关注
3. 容器内外环境冲突是常见陷阱
4. 错误日志分析需要结合运行环境

最佳实践建议

1. 使用容器前检查宿主机服务状态
2. 通过nvidia-smi命令验证GPU使用情况
3. 建议采用--gpus all参数明确指定GPU资源
4. 复杂AI工作负载建议使用专用容器

扩展思考

这个问题揭示了边缘计算设备上AI服务部署的典型挑战。在Jetson这类资源受限设备上，更需要精细化的资源管理策略。容器技术虽然提供了环境隔离，但对GPU等特殊设备的共享仍需特别注意。未来在类似场景下，可以考虑使用Kubernetes设备插件等更先进的资源调度方案。