Ollama项目在AMD双GPU环境下的内存分配问题分析

问题背景

在使用Ollama项目（一个开源的大语言模型服务）时，用户报告了在配备AMD W7900和7900 XTX双显卡的系统中运行时出现的内核错误。系统环境为Linux内核6.12.13和ROCm 6.0.2版本。

错误现象

当用户尝试运行Ollama服务时，系统日志中出现了关键错误信息：

amdgpu: Queue memory allocated to wrong device
BUG: unable to handle page fault for address: 0000000200000142

这个错误导致系统触发了一个内核Oops（内核异常），最终导致Ollama进程崩溃。

技术分析

错误根源

从内核日志可以看出，问题出在AMD GPU驱动（amdgpu）的内存分配机制上。具体来说：

1. 驱动检测到队列内存被分配到了错误的设备上
2. 随后尝试访问一个无效的内存地址（0000000200000142）
3. 触发了页错误（page fault），因为该地址不在有效的内存页中

调用栈分析

内核调用栈显示错误发生在amdgpu_amdkfd_free_gtt_mem函数中，这是AMD GPU驱动中负责释放图形转换表(GTT)内存的函数。调用链如下：

1. pqm_create_queue尝试创建新的计算队列
2. kfd_ioctl_create_queue通过ioctl系统调用创建队列
3. 在初始化用户队列(init_user_queue)时出现问题
4. 最终在释放GTT内存时触发错误

双GPU环境特殊性

这个问题特别出现在双GPU环境中，即使两个GPU的GFX版本相同。这表明问题可能与多GPU资源分配和调度机制有关。AMD的ROCm运行时在多GPU环境下需要正确识别和管理不同设备间的资源分配。

解决方案

用户通过以下方法解决了该问题：

1. 升级ROCm版本：从6.0.2升级到6.3.3后问题解决
2. 容器化运行：在Docker容器中运行Ollama也能正常工作，并能正确调度模型到两个GPU上

技术建议

对于遇到类似问题的用户，建议：

1. 确保使用最新版本的ROCm驱动
2. 考虑使用容器化部署方案，它可以提供更好的环境隔离
3. 检查系统日志中是否有其他相关的AMD GPU驱动错误
4. 确认两个GPU的固件版本是否完全一致

结论

这个问题展示了在复杂GPU环境中运行AI工作负载时可能遇到的底层驱动问题。通过驱动更新或环境隔离可以有效解决此类硬件资源分配问题。对于AI开发者而言，保持驱动和运行时的最新状态是确保系统稳定性的重要措施。