GPU Passthrough教程：解决NVIDIA设备无法释放问题分析

问题背景

在使用bryansteiner的GPU Passthrough教程配置虚拟机直通NVIDIA显卡时，许多用户遇到了虚拟机创建过程中卡在"creating domain"阶段的问题。系统日志显示"NVRM: Attempting to remove device 0000:01:00.0 with non-zero usage count!"错误，表明显卡资源未能正确释放。

问题现象分析

当尝试将NVIDIA显卡(如GeForce GTX 1650 Ti Mobile)直通给虚拟机时，系统会报告以下关键错误：

1. 设备使用计数不为零，无法移除显卡设备
2. 设备电源状态无法从D3cold切换到D0
3. PCI头类型未知错误(header type '127')
4. 64位BAR映射问题警告

这些错误表明宿主机的NVIDIA驱动未能正确释放对显卡的控制权，导致VFIO驱动无法接管设备。

根本原因

经过深入分析，问题主要由以下几个因素导致：

1. NVIDIA持久模式服务：nvidia-persistenced服务会保持GPU处于活动状态，防止其被完全释放。
2. 显示模式设置：默认的显示模式可能导致GPU被宿主系统占用。
3. 电源管理问题：GPU无法从深度休眠状态(D3cold)唤醒到工作状态(D0)。
4. 内核模块依赖：NVIDIA驱动模块未能正确卸载。

解决方案

方法一：禁用NVIDIA持久模式

1. 创建或编辑/etc/modprobe.d/nvidia.conf文件，添加以下内容：

   options nvidia-drm modeset=0
   

2. 修改准备脚本(bind_vfio.sh)，在开始处添加：

   systemctl stop nvidia-persistenced
   

3. 修改释放脚本(unbind_vfio.sh)，在结尾处添加：

   systemctl start nvidia-persistenced
   

方法二：完全禁用持久模式服务

如果不需要在宿主机使用GPU加速功能，可以直接禁用该服务：

systemctl disable --now nvidia-persistenced

方法三：使用集成显卡作为主显示

将宿主机的显示输出切换到集成显卡(如果有)，确保独立显卡处于空闲状态：

1. 进入BIOS设置，将主显示适配器设置为集成显卡
2. 在宿主机系统中配置使用集成显卡进行渲染

方法四：驱动降级

某些情况下，较新的NVIDIA驱动可能导致兼容性问题。可以尝试降级到较稳定的版本(如470系列)：

sudo apt install nvidia-driver-470

技术原理详解

当执行GPU直通时，系统需要完成以下几个关键步骤：

1. 解除宿主驱动绑定：将PCI设备从宿主机驱动(nvidia)解绑
2. VFIO驱动绑定：将设备绑定到VFIO驱动以便虚拟机使用
3. 电源状态管理：确保设备处于可操作状态(D0)

问题发生时，通常是因为第一步未能完全成功。NVIDIA驱动由于其专有性质，有时会以非标准方式保持对设备的控制，特别是在以下情况：

• 持久模式服务保持设备活动状态
• DRM显示模式被启用
• 设备被用于3D加速或显示输出

最佳实践建议

1. 完整的脚本示例：确保准备和释放脚本包含所有必要的步骤

   # bind_vfio.sh
   #!/bin/bash
   systemctl stop nvidia-persistenced
   modprobe -r nvidia_drm nvidia_modeset nvidia
   virsh nodedev-detach pci_0000_01_00_0
   

2. 日志记录：在脚本中添加日志功能以便调试

   exec > /var/log/gpu-passthrough.log 2>&1
   set -x
   

3. 电源状态检查：在直通前确认设备电源状态

   echo 1 > /sys/bus/pci/devices/0000:01:00.0/remove
   echo 1 > /sys/bus/pci/rescan
   

4. 内核参数调整：考虑添加以下内核参数

   pci=realloc=off
   

总结

NVIDIA显卡直通问题通常源于驱动层面的资源管理冲突。通过系统地禁用持久化服务、调整显示模式配置和确保正确的模块加载顺序，大多数情况下可以成功实现GPU直通。对于笔记本电脑用户，还需要特别注意混合显卡架构带来的额外复杂性。建议在每次修改后全面测试宿主机和虚拟机的稳定性，确保系统各组件正常工作。