RKNN-Multi-Threaded 项目安装和配置指南

1. 项目基础介绍和主要的编程语言

项目基础介绍

RKNN-Multi-Threaded 是一个基于 Rockchip RKNN 框架的多线程神经网络推理库。该项目的目标是通过充分利用多核处理器的计算能力，优化深度学习模型在嵌入式设备上的执行效率，以达到更快的推理速度和更高的资源利用率。

主要的编程语言

该项目主要使用 Python 进行开发。

2. 项目使用的关键技术和框架

关键技术和框架

• RKNN（Rockchip Neural Network）：Rockchip 开发的一种专为 AI 应用设计的神经网络框架，支持多种常见的深度学习模型，并且针对 ARM 架构进行了优化。
• 多线程优化：通过多线程处理，将任务分解到多个线程中，让每个核心可以同时工作，从而显著提高推理速度。
• 设备兼容性：基于 RKNN，该项目对 Rockchip 芯片有良好的兼容性，包括但不限于一系列用于 IoT、智能摄像头和边缘计算的 SoC。

3. 项目安装和配置的准备工作和详细的安装步骤

准备工作

1. 硬件要求：确保你有一台支持 Rockchip RKNN 框架的设备，如 RK3588/RK3588S。
2. 软件要求：
   • Python 3.x
   • Git
   • Rockchip RKNN Toolkit 2（可以从 Rockchip 官方网站下载）

详细的安装步骤

步骤 1：克隆项目仓库

首先，你需要从 GitHub 上克隆 RKNN-Multi-Threaded 项目到本地。

git clone https://github.com/leafqycc/rknn-multi-threaded.git
cd rknn-multi-threaded

步骤 2：安装依赖

确保你已经安装了 Python 3.x，然后安装项目所需的依赖包。

pip install -r requirements.txt

步骤 3：配置 RKNN Toolkit

确保你已经安装并配置好了 Rockchip RKNN Toolkit 2。你可以从 Rockchip 官方网站下载并按照官方文档进行安装和配置。

步骤 4：运行演示示例

将仓库拉取至本地后，将 Releases 中的演示视频放于项目根目录下，然后运行 main.py 查看演示示例。

python main.py

步骤 5：切换至 root 用户进行性能优化

为了获得更好的性能，建议切换至 root 用户并运行 performance.sh 进行定频操作（约等于开启性能模式）。

sudo su
./performance.sh

步骤 6：查看当前温度与 NPU 占用

运行 rkcat.sh 可以查看当前温度与 NPU 占用情况。

./rkcat.sh

步骤 7：部署应用

根据你的需求，修改 main.py 中的 modelPath、cap 和 TPEs 参数，以适应你的模型和数据源。

# main.py
modelPath = "path/to/your/model"
cap = "path/to/your/video/or/camera"
TPEs = 4  # 根据你的需求设置线程数

步骤 8：自定义推理函数

如果你需要自定义推理函数，可以修改 func.py 中的 myFunc 函数。

# func.py
def myFunc(rknn, img):
    # 自定义推理逻辑
    pass

结语

通过以上步骤，你应该能够成功安装和配置 RKNN-Multi-Threaded 项目，并开始在你的 Rockchip 设备上进行多线程神经网络推理。如果你有任何问题或需要进一步的帮助，请参考项目的 GitHub 页面或联系社区获取支持。