FastDeploy在SOPHGO芯片上部署PicoDet模型的问题分析与解决

背景介绍

FastDeploy作为PaddlePaddle推出的高效推理部署工具，支持多种硬件平台的模型部署。近期有开发者在SOPHGO BM1684芯片上尝试部署PicoDet目标检测模型时遇到了推理结果异常的问题，本文将详细分析该问题的原因及解决方案。

问题现象

开发者在SOPHGO BM1684芯片（aarch64架构）上使用FastDeploy进行模型部署时，发现：

1. PP-YOLOE模型能够正常转换和推理，结果正确
2. PicoDet模型转换过程顺利完成，但推理结果异常
3. 推理后的输出图像与原图相比没有任何变化
4. 打印的推理结果中检测框置信度异常（显示为1.0）

环境配置

• 硬件平台：SOPHGO BM1684芯片（aarch64架构）
• 操作系统：Ubuntu 20.04.4
• Python版本：3.8.10
• FastDeploy版本：自行编译
• SOPHGO环境版本：0.4.9

模型转换流程

开发者按照标准流程进行了PicoDet模型的转换：

1. 使用paddle2onnx将Paddle模型转换为ONNX格式
2. 对ONNX模型进行优化，指定输入形状
3. 使用model_transform.py将ONNX转换为MLIR中间表示
4. 使用model_deploy.py将MLIR部署为BM1684芯片可用的bmodel格式

问题分析

经过技术排查，发现问题根源在于TPU-MLIR工具链的版本缺陷。TPU-MLIR是SOPHGO提供的模型转换工具链，负责将中间表示转换为芯片可执行的格式。

在较旧版本的TPU-MLIR中，存在对PicoDet这类轻量级检测模型支持不完善的问题，导致：

• 模型转换过程虽然顺利完成，没有报错
• 但生成的bmodel在实际推理时无法正确处理输出层
• 表现为检测置信度全部为1.0，实际上没有有效检测结果

解决方案

该问题可以通过升级TPU-MLIR工具链到最新版本来解决。新版本中：

1. 修复了针对轻量级检测模型的支持问题
2. 优化了模型转换过程中的张量处理逻辑
3. 增强了对PaddlePaddle模型特定算子的兼容性

升级后，PicoDet模型能够正确转换并在BM1684芯片上获得与原始模型一致的推理结果。

经验总结

在异构计算平台部署深度学习模型时，需要注意以下几点：

1. 工具链版本兼容性至关重要，应尽量使用最新稳定版本
2. 模型转换成功不代表推理结果一定正确，需要验证实际输出
3. 对于不同类别的模型（如检测、分类、分割等），可能需要特定的转换参数
4. 当遇到问题时，可尝试用同一工具链转换不同类型的模型进行交叉验证

通过这次问题排查，我们更加认识到在边缘计算设备上部署模型时，工具链版本管理的重要性，以及全面验证的必要性。