Paddle-Lite在ARM-Linux设备部署Picodet模型的内存问题分析与解决

问题背景

在使用Paddle-Lite 2.12版本在aarch64架构的ARM-Linux设备上部署Picodet目标检测模型时，开发者遇到了内存分配错误。具体表现为程序在创建预测器时抛出std::bad_alloc异常并终止运行。

环境配置

• 开发环境：Ubuntu 18.04
• 目标设备：aarch64 GNU/Linux
• Paddle-Lite版本：2.12
• 模型信息：Picodet_s_320_voc模型，使用PaddleDetection 2.3框架训练

问题现象

开发者按照标准流程进行了模型转换和部署：

1. 使用paddle_lite_opt工具将Picodet模型转换为.nb格式
2. 使用官方提供的预编译库(inference_lite_lib.armlinux.armv8.gcc.with_extra.with_cv)
3. 在代码中配置MobileConfig并创建预测器

程序运行到CreatePaddlePredictor时抛出std::bad_alloc异常，表明内存分配失败。

问题排查与解决

初步分析

std::bad_alloc异常通常表明系统无法满足内存分配请求。可能的原因包括：

1. 设备物理内存不足
2. 模型文件过大
3. 动态库版本不匹配
4. 依赖库(如OpenCV)问题

解决步骤

1. 更换动态库文件：开发者首先尝试更换生成的动态库文件，虽然解决了内存分配异常，但仍然出现Aborted错误。

2. 启用详细日志：按照建议设置export GLOG_v=5开启详细日志输出，以获取更具体的错误信息。

3. OpenCV交叉编译问题：最终发现问题的根源在于OpenCV的交叉编译版本不兼容。更换为正确的OpenCV交叉编译版本后，问题得到解决。

其他发现

在问题排查过程中，开发者还注意到：

• config.set_model_from_file()无法读取.nb文件
• config.set_model_dir()可以正常读取.nb文件

这表明在某些情况下，使用模型目录而非单个模型文件可能更可靠。

经验总结

1. 内存管理：在嵌入式设备上部署模型时，需特别注意内存限制。Picodet虽然是轻量级模型，但在资源受限的设备上仍需谨慎。

2. 依赖库兼容性：OpenCV等依赖库的交叉编译版本必须与目标设备完全匹配，否则可能导致难以诊断的运行时错误。

3. 日志调试：在遇到不明错误时，开启详细日志(GLOG_v)是快速定位问题的有效手段。

4. 模型加载方式：当set_model_from_file出现问题时，可以尝试使用set_model_dir替代。

最佳实践建议

1. 在交叉编译时，确保所有依赖库(特别是OpenCV)使用与目标设备匹配的工具链编译。

2. 部署前检查设备可用内存，确保其能够容纳模型和运行时所需内存。

3. 对于复杂模型，可以考虑使用量化技术减小模型体积和内存占用。

4. 建立完善的日志记录机制，便于快速定位部署过程中的问题。

通过系统性的问题分析和解决，开发者最终成功在ARM-Linux设备上部署了Picodet模型，为类似场景下的模型部署提供了有价值的参考经验。