Ubuntu-Rockchip项目中的RK3588 NPU挂起问题分析与解决

问题背景

在Ubuntu-Rockchip项目中，用户在使用RK3588芯片的NPU(神经网络处理单元)进行人脸检测应用开发时，遇到了系统挂起的问题。该问题表现为在多线程环境下持续运行5-10分钟后，整个操作系统会完全冻结。这一问题在Orange Pi 5 Plus设备上尤为明显。

问题复现与验证

开发者提供了一个简单的复现代码库，通过多线程方式调用NPU进行人脸检测。类似的，另一个基于RKNN的多线程项目也出现了相同的问题，证实了该问题的普遍性。

技术分析

经过深入调查，发现该问题与RK3588 NPU驱动中的几个关键缺陷有关：

1. 自旋锁死锁问题：在rknpu中断处理程序中存在自旋锁(spin_lock)导致的死锁情况
2. NPU核心管理缺陷：在多线程环境下对NPU核心的资源分配和管理不够完善
3. 中断处理机制不完善：在高负载情况下中断处理可能出现异常

解决方案

针对上述问题，开发团队从上游内核中选取了三个关键补丁进行修复：

1. 自旋锁死锁修复：重新设计了中断处理程序中的锁机制，避免了潜在的竞争条件
2. NPU核心资源管理优化：改进了多线程环境下对NPU核心的调度算法
3. 中断处理增强：完善了高负载情况下的中断处理机制

这些补丁显著提升了NPU在高负载多线程环境下的稳定性，特别是在处理高帧率(100-120FPS)视频流时的表现。

性能优化建议

除了核心问题的修复外，对于使用RK3588 NPU的开发者，还有以下优化建议：

1. 合理控制处理帧率：根据实际需求调整处理帧率，避免不必要的计算资源消耗
2. 利用多NPU核心：RK3588提供3个NPU核心，合理分配任务可提高并行处理能力
3. GPU加速预处理：考虑使用GPU进行图像预处理(如缩放)，减轻CPU负担
4. 电源管理：确保设备使用稳定的电源供应，高负载下电压不稳可能导致系统不稳定

结论

通过这次问题的分析和解决，Ubuntu-Rockchip项目对RK3588 NPU的支持得到了显著提升。这不仅解决了系统挂起的关键问题，也为后续的高性能AI应用开发奠定了更稳定的基础。开发者现在可以更放心地在多线程环境下充分利用RK3588强大的NPU计算能力。