ONNXRuntime中使用OpenVINO执行提供程序时的访问冲突问题分析

问题背景

在使用ONNXRuntime框架时，开发者在尝试添加OpenVINO执行提供程序(Execution Provider)时遇到了访问冲突问题。具体表现为当调用ortSessionOptions.AppendExecutionProvider("OpenVINO", options)方法时，程序会在openvino_npu_plugin.dll中崩溃。

问题现象

开发者在使用Windows 10系统(22H2版本)和ONNXRuntime 1.20.1时，配置了以下选项来启用OpenVINO CPU支持：

std::unordered_map<std::string, std::string> options;
options["device_type"] = "CPU";
options["precision"] = "FP32";
ortSessionOptions.AppendExecutionProvider("OpenVINO", options);

调用堆栈显示崩溃发生在OpenVINO NPU插件中，即使开发者明确指定了使用CPU设备。

问题分析

经过深入调查，发现这个问题与OpenVINO运行时对设备插件的处理方式有关。主要存在两个关键问题：

1. 插件加载机制：OpenVINO运行时在初始化时会尝试加载所有可用的设备插件，包括NPU插件，即使系统并不具备NPU硬件。

2. 设备枚举逻辑：ONNXRuntime的OpenVINO提供程序在初始化时会枚举所有可用设备，这个过程中会触发NPU插件的加载和初始化。

在没有NPU硬件的系统上，这种强制加载NPU插件的行为导致了访问冲突。

解决方案

开发团队提供了两种有效的解决方案：

1. 代码修复：修改了设备枚举逻辑，使其更加健壮地处理不存在的硬件设备。这个修复已经合并到ONNXRuntime的主干分支中。

2. 临时解决方案：手动移除openvino_intel_npu_plugin.dll文件，只保留CPU插件。这种方法虽然有效，但不是长期解决方案。

最佳实践建议

对于希望在ONNXRuntime中使用OpenVINO执行提供程序的开发者，建议：

1. 使用最新版本的ONNXRuntime，其中已经包含了针对此问题的修复。

2. 如果必须使用旧版本，可以采取以下措施：

   • 明确指定只使用CPU设备
   • 移除不必要的硬件插件DLL文件
   • 确保OpenVINO运行时的版本与ONNXRuntime兼容

3. 在部署环境中，只包含实际需要的硬件插件，减少不必要的依赖和潜在问题。

结论

这个问题展示了深度学习框架与硬件加速库集成时可能遇到的典型挑战。通过理解底层机制和采用适当的解决方案，开发者可以成功地在ONNXRuntime中利用OpenVINO的执行能力，同时避免类似的运行时问题。随着框架的持续发展，这类集成问题正在得到系统性的解决，为开发者提供更加稳定和高效的使用体验。