Exllama v2在多GPU环境下加载模型崩溃问题分析与解决方案

问题背景

Exllama v2作为一款高效的LLM推理引擎，在Windows系统多GPU环境下出现了模型加载异常的问题。当尝试在第三块GPU上加载模型时，系统会意外崩溃或报出内存不足的错误，尽管实际显存容量充足。这一问题在混合使用不同型号GPU（如RTX 3090与A4000组合）时尤为明显。

问题现象

用户报告的主要症状包括：

1. 使用3块GPU时，模型加载会在开始使用第三块GPU时崩溃
2. 错误信息显示"CUDA out of memory"，但目标GPU仍有大量可用显存
3. 相同硬件配置下，使用llama.cpp加载gguf格式模型则工作正常
4. 问题与模型大小无关，只要需要跨越多于2块GPU就会出现

技术分析

经过深入排查，发现该问题与以下因素密切相关：

1. NVIDIA驱动版本：新版驱动(560.xx)在TCC模式下存在兼容性问题
2. GPU工作模式：专业卡(A4000)默认的TCC模式与消费级卡的WDDM模式混用导致异常
3. 显存管理机制：新版驱动对P2P通信和显存分配的改动影响了多GPU协同工作

关键发现：

• 回退到545.92版本驱动可解决问题
• 将所有GPU强制设置为WDDM模式也能避免崩溃
• 纯Linux环境下不会出现此问题

解决方案

针对不同使用场景，推荐以下解决方案：

方案一：驱动降级

1. 卸载当前NVIDIA驱动
2. 安装545.92版本驱动
3. 保持GPU默认工作模式

方案二：统一工作模式

1. 保持最新版驱动(560.xx)
2. 通过NVIDIA控制面板将所有GPU设置为WDDM模式
3. 注意：此方案会禁用部分专业卡特性

方案三：Linux环境迁移

对于长期稳定运行的生产环境，建议考虑迁移到Linux系统，可彻底避免此类驱动兼容性问题。

技术建议

1. 多GPU环境下建议使用相同型号的显卡
2. 监控GPU工作模式的一致性(nvidia-smi命令查看)
3. 大型模型部署前进行充分的负载测试
4. 保持对NVIDIA驱动更新的关注，及时测试新版本兼容性

总结

Exllama v2在多GPU环境下的这一加载问题，本质上是NVIDIA驱动在Windows平台对混合模式GPU支持不完善导致的。通过驱动版本控制或工作模式统一可以有效解决。这提醒我们在构建多GPU推理系统时，不仅要考虑硬件配置，还需要特别关注驱动版本和工作模式的兼容性。