OAID/Tengine 推理引擎快速入门教程

前言

Tengine 是一款轻量级、高性能的神经网络推理引擎，专为嵌入式设备和边缘计算场景优化设计。本文将详细介绍 Tengine 的核心推理流程，帮助开发者快速上手使用该引擎进行模型推理。

核心推理流程概述

Tengine 的推理过程遵循一个清晰的工作流，主要包含六个关键步骤。这些步骤构成了一个完整的推理生命周期，从初始化到资源释放。下面我们将逐一解析每个步骤的功能和使用方法。

1. 初始化引擎 (init_tengine)

这是使用 Tengine 的第一步，也是整个程序中最先需要调用的函数。该函数负责初始化 Tengine 的运行环境，包括内存分配、硬件检测等底层准备工作。

重要特性：

• 只需在程序中调用一次
• 必须在其他 Tengine API 之前调用
• 线程安全，可以多线程环境下使用

2. 创建计算图 (create_graph)

计算图是 Tengine 中的核心概念，它代表了神经网络模型的结构和计算流程。这个步骤将模型文件加载到内存中，并构建内部的计算图表示。

支持模型格式：

• 支持多种主流框架模型格式
• 提供统一的接口处理不同来源的模型

3. 预运行准备 (prerun_graph)

这是推理前的关键配置阶段，开发者可以在此步骤中对推理过程进行精细化的性能调优。

配置选项详解：

struct options {
  int num_thread;    // 设置使用的CPU核心数量
  int cluster;       // 指定CPU集群类型
  int precision;     // 设置计算精度模式
  uint64_t affinity; // 核亲和性设置
};

参数说明：

1. num_thread：控制并行计算的线程数，合理设置可以充分利用多核CPU性能
2. cluster：支持以下选项：
   • TENGINE_CLUSTER_ALL：使用所有核心
   • TENGINE_CLUSTER_BIG：仅使用大核心
   • TENGINE_CLUSTER_MEDIUM：使用中等核心
   • TENGINE_CLUSTER_LITTLE：仅使用小核心
3. precision：精度模式选择，包括：
   • TENGINE_MODE_FP32：32位浮点
   • TENGINE_MODE_FP16：16位浮点
   • TENGINE_MODE_HYBRID_INT8：混合精度
   • TENGINE_MODE_UINT8：8位无符号整型
   • TENGINE_MODE_INT8：8位有符号整型
4. affinity：通过位掩码指定具体的CPU核心绑定

4. 执行推理 (run_graph)

这是实际执行神经网络计算的核心步骤。在此阶段，Tengine 会根据预配置的参数和输入数据，执行完整的神经网络前向计算。

性能提示：

• 可以多次调用进行批量推理
• 输入数据需要预先准备好
• 输出结果会保存在指定的内存区域

5. 停止运行 (postrun_graph)

推理完成后，调用此函数释放计算图占用的运行时资源，但不销毁计算图结构本身。

典型使用场景：

• 临时暂停推理任务
• 准备重新配置计算图参数
• 保留计算图结构供后续重用

6. 销毁计算图 (destroy_graph)

这是推理生命周期的最后一步，彻底释放计算图占用的所有资源。

最佳实践：

• 通常在程序退出前调用
• 与postrun_graph配合使用
• 确保资源完全释放，避免内存泄漏

完整流程示意图

graph TD
    A(init_tengine) --> B[create_graph]
    B --> C[prerun_graph]
    C --> D[run_graph]
    D --> E[postrun_graph]
    E --> F(destroy_graph)
    F --> O(获取预测结果)

实际应用建议

1. 性能调优：通过prerun_graph中的参数组合，可以找到最适合当前硬件的最佳配置
2. 资源管理：对于需要频繁执行的模型，可以保持计算图不销毁，只调用postrun_graph释放运行时资源
3. 精度选择：根据应用场景在精度和性能间取得平衡，嵌入式设备可考虑使用INT8等低精度模式
4. 多线程：合理设置线程数以充分利用多核CPU，但要注意避免过度竞争

结语

通过掌握这六个核心API的使用方法，开发者可以充分发挥Tengine在嵌入式设备和边缘计算场景下的性能优势。Tengine简洁的API设计和灵活的配置选项，使其成为轻量级AI推理的理想选择。