PPQ模型量化后ONNXRuntime推理报错INVALID_GRAPH问题解析

问题现象

在使用PPQ进行模型量化后，尝试通过ONNXRuntime进行推理时，可能会遇到"INVALID_GRAPH"错误，具体报错信息通常包含类似"Unrecognized attribute: allowzero for operator Reshape"的内容。这类错误通常与ONNX模型的操作集(OpSet)版本不兼容有关。

根本原因分析

该问题的核心在于ONNX模型的操作集版本与ONNXRuntime版本之间的兼容性问题。具体表现为：

1. Reshape算子的allowzero属性：较新版本的ONNX操作集(如OpSet 14+)为Reshape算子引入了allowzero属性，但旧版本的ONNXRuntime可能无法识别这一新属性。

2. 操作集版本不匹配：当使用较高版本的ONNX操作集(如OpSet 14及以上)导出模型时，生成的ONNX模型可能包含一些新特性，而部署环境中使用的ONNXRuntime版本可能较旧，无法支持这些新特性。

3. PPQ内部信息导出设置：PPQ的EXPORT_PPQ_INTERNAL_INFO参数如果设置为True，可能会在导出的ONNX模型中包含一些PPQ特有的信息，这也可能导致兼容性问题。

解决方案

方案一：调整ONNX操作集版本

1. 升级操作集版本：将操作集版本升级至21，配合ONNX 1.17版本使用。这是目前验证可行的方案。

2. 降级操作集版本：如果无法升级ONNXRuntime，可以考虑将操作集版本降级至13或更低版本。但需要注意，降级可能导致某些新特性不可用。

方案二：检查PPQ导出设置

确保PPQ的导出配置中EXPORT_PPQ_INTERNAL_INFO参数设置为False：

self.EXPORT_PPQ_INTERNAL_INFO = False

这一设置可以避免PPQ特有的内部信息被写入ONNX模型，减少兼容性问题。

方案三：版本一致性管理

1. 保持PPQ、ONNX和ONNXRuntime版本的一致性
2. 在开发环境和部署环境使用相同版本的软件栈
3. 特别注意ONNX操作集版本的选择，建议使用经过验证的稳定版本组合

最佳实践建议

1. 测试环境先行：在正式部署前，先在测试环境中验证模型转换和推理的整个流程。

2. 版本记录：详细记录使用的软件版本信息，包括：

   • PPQ版本
   • ONNX版本
   • ONNXRuntime版本
   • 操作集版本

3. 渐进式升级：当需要升级任何组件时，采用渐进式策略，每次只升级一个组件并测试兼容性。

4. 模型验证工具：使用ONNX提供的模型验证工具检查导出的模型文件，确保其符合规范。

通过以上方法和注意事项，可以有效避免因操作集版本不兼容导致的INVALID_GRAPH错误，确保量化后的模型能够顺利部署和推理。