ONNXRuntime中QLinearAdd算子的符号形状推断问题解析

在ONNXRuntime项目的开发过程中，我们遇到了一个关于QLinearAdd算子符号形状推断的技术问题。这个问题影响了我们对ONNX模型库中多个模型的完整支持。

问题背景

QLinearAdd是ONNXRuntime特有的量化加法算子，属于com.microsoft域。该算子在许多视觉分类模型中都有应用，例如AlexNet的量化版本。然而，当我们尝试使用symbolic_shape_infer.py工具对这些模型进行形状推断时，系统会抛出"Incomplete symbolic shape inference"错误。

技术分析

经过深入分析，我们发现问题的根源在于symbolic_shape_infer.py工具当前并未实现对QLinearAdd算子的形状推断支持。该工具主要用于处理标准ONNX算子，对于ONNXRuntime特有的算子如QLinearAdd，需要额外添加支持逻辑。

QLinearAdd算子的输入输出特性如下：

• 接受两个量化输入张量
• 产生一个量化输出张量
• 需要处理量化参数（scale和zero_point）
• 输出形状应与输入形状广播兼容

解决方案

为了解决这个问题，我们采取了以下技术方案：

1. 在symbolic_shape_infer.py中添加QLinearAdd算子的形状推断逻辑
2. 实现输入输出张量的形状广播兼容性检查
3. 确保量化参数的正确传递
4. 维护与标准Add算子相似的形状推断行为

实现细节

具体的实现需要考虑以下几个方面：

1. 输入验证：确认输入张量的维度和形状是否兼容
2. 广播规则：实现与标准Add算子一致的广播规则
3. 量化参数处理：确保scale和zero_point参数的正确传递
4. 输出形状推导：根据输入形状推导出正确的输出形状

影响评估

该问题的解决将带来以下积极影响：

1. 支持更多ONNX模型库中的量化模型
2. 提升ONNXRuntime对量化模型的处理能力
3. 为后续其他特有算子的支持提供参考实现

结论

通过对QLinearAdd算子形状推断问题的分析和解决，我们不仅解决了当前的技术障碍，还为ONNXRuntime项目未来支持更多特有算子积累了宝贵经验。这一工作体现了开源社区协作解决技术问题的典型模式，也展示了ONNXRuntime项目在持续完善对量化模型支持方面的努力。