Ollama项目中AMD GPU识别但未使用的解决方案

在Linux系统上使用Ollama项目时，部分AMD显卡用户可能会遇到一个常见问题：系统能够正确识别GPU设备，但在实际运行过程中却未能调用GPU加速，转而使用了CPU后端。这种情况尤其容易发生在AMD RX6600等显卡上。

问题现象分析

当用户执行HSA_OVERRIDE_GFX_VERSION=10.3.0 ollama serve命令时，日志显示系统确实检测到了GPU设备，但最终却加载了CPU后端。从日志中可以观察到几个关键信息：

1. 系统添加了GPU依赖路径/opt/rocm/lib
2. 环境变量设置正确，包括HSA_OVERRIDE_GFX_VERSION和LD_LIBRARY_PATH
3. 日志中出现"skipping path which is not part of ollama"的提示信息
4. 最终加载的是CPU后端而非GPU后端

根本原因

经过分析，这个问题的主要原因是缺少必要的ROCm库文件。虽然系统安装了官方的ROCm软件包，但Ollama运行还需要特定的ROCm库tarball支持。当Ollama在/opt/rocm/lib路径下找不到所需的库文件时，就会跳过GPU后端的选择，转而使用CPU后端。

解决方案

解决这个问题的步骤如下：

1. 确保已安装完整的ROCm支持包
2. 下载并安装Ollama所需的ROCm库tarball
3. 验证库文件是否已正确放置在/opt/rocm/lib目录下
4. 重新运行Ollama服务

验证方法

安装完成后，可以通过以下方式验证GPU是否正常工作：

1. 检查/opt/rocm/lib目录下是否包含必要的.so文件
2. 运行Ollama时观察日志，确认是否加载了GPU后端
3. 使用ROCm工具如rocminfo验证GPU设备状态

注意事项

对于不同型号的AMD显卡，可能需要调整HSA_OVERRIDE_GFX_VERSION参数的值。RX6600显卡对应的值是10.3.0，其他型号显卡用户需要查询对应的版本号。

此外，建议使用最新版本的Ollama和ROCm驱动，以获得最佳兼容性和性能。如果问题仍然存在，可以尝试完全卸载后重新安装相关软件包。