Microsoft Olive项目中QNN量化配置的优化实践

摘要

本文深入探讨了Microsoft Olive项目中ONNX模型量化过程中的一个重要优化点——prepare_qnn_config函数对op_types_to_quantize参数的处理逻辑。通过分析实际案例，我们揭示了当前实现可能存在的问题，并提出了改进方案，同时分享了在稳定扩散模型量化过程中的实践经验。

背景

在模型量化过程中，QNN(高通神经网络)执行提供者需要特定的量化配置。Microsoft Olive项目中的prepare_qnn_config函数负责准备这些配置参数。当前实现中，该函数会无条件覆盖用户显式设置的op_types_to_quantize参数，这可能不符合某些特殊场景下的量化需求。

问题分析

在实际应用中，特别是处理如稳定扩散2.1的UNet模型时，我们发现不对常量操作(Constant ops)进行量化反而能获得更好的效果。然而，当前的prepare_qnn_config实现会强制覆盖用户指定的操作类型量化列表，导致无法灵活控制特定操作的量化行为。

从技术角度看，QNN执行提供者虽然通常需要全模型量化以保持单一QNN图的完整性，但根据高通官方文档，某些操作可以在FP16精度下运行而无需量化，只要这些操作在QNN支持列表中。

解决方案

我们提出了以下改进方案：

1. 在prepare_qnn_config函数中保留用户显式设置的op_types_to_quantize参数
2. 仅当用户未指定该参数时，才使用默认的量化操作类型列表
3. 通过预处理步骤优化模型结构，如将常量操作转换为初始值

核心代码修改如下：

op_types_to_quantize = run_config["op_types_to_quantize"]
run_config = {k: v for k, v in inspect.getmembers(qnn_config) if not k.startswith("_")}
if op_types_to_quantize:
    run_config["op_types_to_quantize"] = op_types_to_quantize

实践案例

在稳定扩散2.1模型的量化过程中，我们发现：

1. 不对常量操作进行量化可以显著改善模型性能
2. 启用quant_preprocess参数(尽管文档说明默认为True，但实际需要显式设置)可以自动优化模型结构
3. 预处理后的模型不再包含常量操作节点，从而避免了不必要的量化

对于文本编码器中的Add和Softmax操作，当量化导致精度下降时，可以考虑：

1. 使用张量覆盖(tensor overrides)技术精细控制量化参数
2. 权衡量化带来的性能提升与精度损失

最佳实践

基于我们的实践经验，建议在QNN量化时：

1. 始终显式设置quant_preprocess为True，确保模型经过适当优化
2. 对于特定模型结构，谨慎选择需要量化的操作类型
3. 在量化前后进行充分的精度验证，特别是对于敏感操作如Add和Softmax
4. 考虑使用peephole优化器等工具进一步优化模型结构

结论

通过对Microsoft Olive项目量化配置的优化，我们实现了更灵活的模型量化控制，特别是在处理复杂模型如稳定扩散时。这一改进不仅解决了特定场景下的量化问题，也为开发者提供了更多自定义选项，使量化过程能够更好地适应不同模型和硬件的需求。未来，我们将继续探索量化预处理和操作类型选择的最佳实践，以进一步提升模型在边缘设备上的性能和精度。