ONNX Runtime在Qualcomm Android设备上使用QNN GPU后端崩溃问题解析

问题背景

在Qualcomm Android设备(QCS610)上使用ONNX Runtime时，当尝试通过QNN执行提供程序(Execution Provider)的GPU后端运行MobileNet模型时，程序会崩溃并返回错误代码6999。值得注意的是，相同的模型在CPU后端(libQnnCpu.so)上可以正常运行。

技术分析

环境验证

开发者已通过平台验证工具确认：

• 设备支持QNN GPU后端
• 检测到OpenCL 2.0 Adreno(TM) 612驱动
• 核心版本为Adreno(TM) 608
• 所有单元测试均已通过

模型选择

根据Qualcomm的建议，选择了非量化(32位浮点)的MobileNet-v2模型，因为：

1. 量化模型目前与GPU后端不兼容
2. 模型输入输出均为float32格式

错误表现

日志显示：

1. 节点分配验证通过，所有节点都正确放置在QNNExecutionProvider上
2. 初始化阶段顺利完成
3. 推理阶段开始时，在第一个GPU节点执行时立即崩溃
4. 错误代码始终为6999，且不随模型或节点数量变化

可能原因

1. 共享内存问题：GPU计算可能需要特定的内存共享机制，旧版本可能未正确实现

2. 库版本兼容性：

   • ONNX Runtime版本(1.20.1)可能不完全支持该设备
   • QNN库(qairt 2.28.2.241116)可能存在已知问题

3. 驱动层问题：虽然验证工具显示驱动正常，但实际运行时可能有细微差异

4. 链接库缺失：可能缺少某些隐式依赖的供应商库

解决方案

开发者最终通过以下升级解决了问题：

• 将ONNX Runtime升级至1.21版本
• 将qairt升级至2.32版本

这表明问题很可能源于：

1. ONNX Runtime 1.21引入了对QNN共享内存的改进支持
2. 新版qairt修复了特定设备的兼容性问题

技术建议

对于在移动设备上使用ONNX Runtime的开发者：

1. 版本匹配：确保ONNX Runtime与QNN库版本严格匹配

2. 模型格式：GPU后端必须使用非量化(32位浮点)模型

3. 验证流程：即使平台验证通过，仍需实际运行测试

4. 日志分析：启用详细日志有助于定位问题节点

5. 升级策略：遇到类似问题时，优先考虑升级到最新稳定版本

结论

这个问题展示了在移动端部署机器学习模型时可能遇到的特定硬件兼容性问题。通过保持框架和库的最新版本，可以避免许多潜在的兼容性问题。对于Qualcomm设备上的QNN GPU后端使用，确保使用足够新的ONNX Runtime和qairt版本是关键。