在RK3399上使用Paddle-Lite调用OpenCL加速推理的解决方案

问题背景

在使用Paddle-Lite进行深度学习模型推理时，开发者希望利用RK3399开发板上的Mali-T860 GPU进行加速计算。虽然已经成功编译了带有OpenCL支持的Paddle-Lite预测库，但在运行示例程序时却遇到了OpenCL后端无法初始化的问题。

问题现象

当运行mobilenetv1_light_api示例程序时，系统输出以下错误信息：

Failed to find and initialize Opencl library
Found opencl library:0
is_opencl_backend_valid:false
nb model will be running on cpu.

这表明虽然系统安装了OpenCL驱动（通过clinfo验证），但Paddle-Lite未能成功加载和初始化OpenCL库。

技术分析

Paddle-Lite在初始化OpenCL后端时，会尝试加载系统中常见的OpenCL库文件。在RK3399平台上，Mali GPU的OpenCL实现通常由ARM提供，库文件命名可能不在Paddle-Lite默认的搜索列表中。

通过查看Paddle-Lite源码可以发现，框架会尝试加载以下OpenCL库文件：

• libOpenCL.so
• libmali.so
• libGLES_mali.so
• libmali.so.1
• libGLES_mali.so.1
• libOpenCL.so.1

但在某些ARM Mali平台上，OpenCL库可能有不同的命名方式或路径。

解决方案

1. 确认OpenCL库路径： 首先使用find命令在系统中查找OpenCL库文件：

   find / -name "*OpenCL*" 2>/dev/null
   find / -name "*mali*" 2>/dev/null
   

2. 修改Paddle-Lite源码： 如果发现系统中的OpenCL库文件名不在默认列表中，可以修改Paddle-Lite源码中的cl_wrapper.cc文件，添加对应的库名。

3. 设置LD_LIBRARY_PATH： 确保OpenCL库所在的目录在动态链接库搜索路径中：

   export LD_LIBRARY_PATH=/path/to/opencl/libs:$LD_LIBRARY_PATH
   

4. 创建符号链接： 如果系统中存在OpenCL库但名称不匹配，可以创建符号链接：

   ln -s /actual/path/to/libmali.so /usr/lib/libOpenCL.so
   

验证方法

修改后重新编译Paddle-Lite，运行示例程序时应能看到类似以下输出，表明OpenCL后端已成功初始化：

Found opencl library:1
is_opencl_backend_valid:true

性能优化建议

成功启用OpenCL后端后，还可以考虑以下优化措施：

1. 启用FP16计算：Mali-T860支持半精度浮点运算，可以显著提升性能
2. 调整工作组大小：根据设备特性优化OpenCL内核参数
3. 使用OpenCL缓存：减少内核编译时间

总结

在嵌入式平台上使用GPU加速深度学习推理时，库文件的路径和命名可能因平台而异。通过理解Paddle-Lite的OpenCL后端初始化机制，开发者可以针对特定平台进行适配，充分发挥硬件加速能力。RK3399的Mali-T860 GPU虽然性能有限，但合理配置后仍能显著提升模型推理速度。