PaddleSeg 语义分割模型在晶晨 A311D(芯原 NPU)上的 FastDeploy 部署实战指南

原创2026-09-24 12:08:391,909 阅读
文章标签:计算机视觉深度学习人工智能图像处理预训练模型量化模型蒸馏模型优化数据标注机器学习

PaddleSeg 语义分割模型在晶晨 A311D(芯原 NPU)上的 FastDeploy 部署实战指南

晶晨 A311D 是集成芯原(VeriSilicon)NPU IP 的 AI 应用处理器,PaddleSeg 通过 FastDeploy 以 Paddle-Lite 为推理后端,将该处理器上的语义分割模型部署能力完整打通。本文以 A311D 为主线,完整讲解芯原 NPU 生态的适配原理、预导出 INT8 量化模型的使用、PP-LiteSeg 模型的自行导出流程,以及基于 C++ 与 adb 的端侧部署全链路,阅读完成后你可以在 Amlogic A311D、C308X、S905D3 等芯片上独立完成语义分割模型的推理加速与精度调优。

1. 芯原 NPU 生态与晶晨 A311D 部署背景

1.1 为什么 A311D 与瑞芯微可以使用同一套部署教程

晶晨(Amlogic)A311D 是一款面向 AIoT 场景的高性能应用处理器。需要特别澄清的一点是:芯原(VeriSilicon)作为 IP 设计厂商,本身并不直接提供实体 SoC 产品,而是将 NPU IP 授权给芯片厂商使用,典型授权客户包括:

  • 晶晨(Amlogic):A311D、C308X、S905D3
  • 瑞芯微(Rockchip):RK 系列 NPU

只要芯片产品没有大幅修改芯原的底层库,就可以直接复用本文档描述的 Paddle-Lite 推理部署流程。因此本文档中,晶晨 SoC 中的 NPU 与瑞芯微 SoC 中的 NPU 被统一称为芯原 NPU。目前仓库中明确支持的芯片部署目标为:

  • Amlogic A311D
  • Amlogic C308X
  • Amlogic S905D3

这一部署能力在 FastDeploy 部署 PaddleSeg 模型总览 的硬件支持列表中对应「晶晨」一行:Python 部署暂不支持(标 --),C++ 部署完全支持(标 ✅),这是后续所有实操环节以 C++ 为主线的原因。

1.2 FastDeploy 在 A311D 上的技术栈

A311D 上的部署依赖以下技术栈:

  • FastDeploy:跨平台推理部署工具,统一封装模型加载、预处理、后处理与多后端调度;
  • Paddle-Lite:负责在芯原 NPU 上执行模型算子,通过 TIM-VX 运行时驱动 NPU 加速;
  • FlyCV:在 ARM 端高性能完成图像编解码与预处理(在示例代码中通过 EnableFlyCV() 显式开启)。

2. 快速开始:使用预导出的量化模型

2.1 预导出模型列表

如果不想从训练开始,可以直接使用 FastDeploy 预导出的、已在 A311D 上验证过的量化模型。当前仓库提供的模型如下:

模型 参数文件大小 输入 Shape mIoU mIoU (flip) mIoU (ms+flip)
PP-LiteSeg-T(STDC1)-cityscapes-without-argmax 31MB 1024x512 77.04% 77.73% 77.46%

关于这张表有两点值得说明:

  • without-argmax:模型输出直接给出每个像素的分类 logits(未做 argmax 取最大值),argmax 由 FastDeploy 的后处理完成,便于在端侧统一后处理逻辑;
  • mIoU 三列:分别对应原始推理、水平翻转(flip)推理、多尺度加翻转(ms+flip)推理下的精度,其中 flip / ms+flip 是评测期常用的精度增强策略,可作为部署后精度验收的参考基线。

2.2 量化模型的四件套文件

PaddleSeg 量化模型部署时共涉及四个文件,FastDeploy 在加载时会自动识别:

文件 作用
model.pdmodel 推理静态图结构文件
model.pdiparams 推理静态图权重参数文件
deploy.yaml 模型预处理信息(归一化均值/方差、输入尺寸等),FastDeploy 推理时从这里读取预处理参数
subgraph.txt 异构计算配置文件,用于将部分算子切分到 ARM CPU 执行(详见第 5 节)

注意:若上述列表中无满足要求的模型,可参考第 3 节教程自行导出适配 A311D 的模型。

3. 自行导出晶晨 A311D 支持的 PaddleSeg 模型

3.1 支持的模型版本

  • 支持 PaddleSeg 高于 2.6 版本的 Segmentation 模型;
  • 仓库中 FastDeploy 已实测可在晶晨 A311D 成功部署的模型为 PP-LiteSeg 系列模型。

3.2 从动态图模型到 A311D 支持的 INT8 模型(两步导出)

晶晨 A311D 的 NPU 仅支持 INT8 精度推理,因此模型导出必须走「静态图导出 + INT8 量化」两步:

第一步:动态图 → 推理静态图

PaddleSeg 训练得到的动态图模型,先导出为推理静态图模型,具体命令与参数说明见 模型导出文档。导出后会得到 model.pdmodel 与 model.pdiparams 两个文件。

第二步:静态图 → INT8 量化模型

将上一步得到的推理模型量化压缩为 INT8 模型。FastDeploy 提供了一键模型自动化压缩工具,只需要输入一个配置文件即可对模型完成量化,详细教程位于 量化部署指南。

关于量化后的模型文件需要特别注意:推理量化后的分割模型仍然需要 FP32 模型文件夹下的 deploy.yaml 文件。因为自行量化的模型文件夹内默认不包含该 yaml 文件,需要用户从 FP32 模型文件夹中复制 deploy.yaml 到量化后的模型文件夹内,FastDeploy 才能正确读取归一化等预处理信息。

在量化部署指南中还给出了另一种已量化的直接下载模型:PP-LiteSeg-T(STDC1)-cityscapes(量化蒸馏训练方式产出),以及各硬件平台对量化模型的部署支持矩阵——晶晨平台同样为「Python 不支持、C++ 支持」。量化部署指南

4. 在 A311D 上部署量化 PP-LiteSeg 分割模型(C++ 全流程)

完整示例代码位于 amlogic/a311d/cpp 目录,包含 infer.cc(推理主程序)、CMakeLists.txt(交叉编译脚本)与 run_with_adb.sh(adb 部署脚本)。以下按步骤展开。

4.1 步骤一:准备 FastDeploy 交叉编译环境

部署前需确认软硬件环境满足要求,并准备好 FastDeploy 的晶晨 A311D 交叉编译环境。交叉编译会产出 fastdeploy-timvx 目录,其中包含 toolchain.cmake 交叉编译工具链文件、预编译的 FastDeploy 库及 FastDeploy.cmake 构建配置。

4.2 步骤二:准备部署模型

  1. 直接使用量化模型:下载 FastDeploy 提供的量化模型(见第 2 节列表);
  2. 自行导出/训练量化模型:若 FastDeploy 未提供满足要求的模型,按第 3 节流程自行导出或训练;
  3. 准备异构计算文件:若导出的模型出现精度下降或报错,需要使用异构计算将部分算子调度到 A311D 的 ARM CPU 上运行以调试和验证精度,此时需要 subgraph.txt 文件(见第 5 节)。

4.3 步骤三:编译部署示例

首先将交叉编译产物拷贝到示例目录,并获取本仓库代码:

git clone https://gitcode.com/gh_mirrors/pa/PaddleSeg.git
# 注意:如果当前分支找不到下面的 fastdeploy 测试代码,请切换到 develop 分支
# git checkout develop

cp -r FastDeploy/build/fastdeploy-timvx/ path/to/PaddleSeg/deploy/fastdeploy/semantic_segmentation/amlogic/a311d/cpp

下载部署所需的模型和示例图片:

cd path/to/PaddleSeg/deploy/fastdeploy/semantic_segmentation/amlogic/a311d/cpp
mkdir models && mkdir images
# 下载 ppliteseg.tar.gz(预导出量化模型)并解压到 models 目录
wget <ppliteseg 模型下载地址>
tar -xvf ppliteseg.tar.gz
cp -r ppliteseg models
# 下载 cityscapes 示例图片到 images 目录
wget <cityscapes 示例图片下载地址>
cp -r cityscapes_demo.png images

使用交叉编译工具链编译示例程序:

cd path/to/PaddleSeg/deploy/fastdeploy/semantic_segmentation/amlogic/a311d/cpp
mkdir build && cd build
cmake -DCMAKE_TOOLCHAIN_FILE=${PWD}/../fastdeploy-timvx/toolchain.cmake \
      -DFASTDEPLOY_INSTALL_DIR=${PWD}/../fastdeploy-timvx \
      -DTARGET_ABI=arm64 ..
make -j8
make install
# 成功编译之后,会生成 install 文件夹,里面包含运行 demo 和部署所需的库

结合 CMakeLists.txt 可以看清编译安装阶段做了什么:

  • 通过 include(${FASTDEPLOY_INSTALL_DIR}/FastDeploy.cmake) 引入 FastDeploy 的编译配置,并链接 infer_demo 与 FASTDEPLOY_LIBS;
  • install(TARGETS infer_demo DESTINATION ./) 将可执行文件安装到 build/install;
  • install(DIRECTORY models/images ...) 自动把模型与图片目录一并打包进 install 目录;
  • 通过 file(GLOB_RECURSE ...) 收集 FastDeploy 主库与 third_libs 依赖库的所有 .so,统一安装到 install 下的 lib/ 目录,保证目标设备上动态库依赖完整;
  • install(PROGRAMS ${ADB_TOOLS} ...) 将 run_with_adb.sh 一并装入 install 目录。

4.4 步骤四:基于 adb 部署到晶晨 A311D

# 进入 install 目录
cd path/to/PaddleSeg/deploy/fastdeploy/semantic_segmentation/amlogic/a311d/cpp/build/install/
cp ../../run_with_adb.sh .
# 命令格式:bash run_with_adb.sh <demo名> <模型名> <图片名> <设备DEVICE_ID>
bash run_with_adb.sh infer_demo ppliteseg cityscapes_demo.png $DEVICE_ID

run_with_adb.sh 脚本完成了「本机 → 设备」的完整搬运与执行流程,核心逻辑如下:

  • 定义设备侧工作目录 WORK_SPACE=/data/local/tmp/test;
  • 支持四个位置参数:demo 名、模型名、测试图片名、adb 设备 ID(-s 参数透传给 adb,支持多设备场景);
  • 在设备端设置运行所需的环境变量(见下方代码块),其中 LD_LIBRARY_PATH 指向上传到设备上的 lib 目录;
  • 依次执行 adb shell rm/mkdir 清理并重建工作目录、adb push 上传 lib、可执行文件、models 与 images;
  • 最终在设备端 cd $WORK_SPACE 后执行 chmod +x ./${DEMO_NAME}; ./${DEMO_NAME} ./models/${MODEL_NAME} ./images/$IMAGE_NAME。

脚本中预设的 NPU 运行环境变量值得关注:

export GLOG_v=5
export VIV_VX_ENABLE_GRAPH_TRANSFORM=-pcq:1
export VIV_VX_SET_PER_CHANNEL_ENTROPY=100
export TIMVX_BATCHNORM_FUSION_MAX_ALLOWED_QUANT_SCALE_DEVIATION=300000
export VSI_NN_LOG_LEVEL=5

其中 VIV_VX_* 与 TIMVX_* 系列变量分别控制芯原 VIV/VX 图变换(如 per-channel 量化熵校准)与 TIM-VX 的 BN 融合量化尺度容差,这些是芯原 NPU 编译器在端侧做图优化时的关键开关;GLOG_v 与 VSI_NN_LOG_LEVEL 控制日志输出级别,便于调试。

4.5 推理主程序 infer.cc 源码解析

infer.cc 是部署的核心,其加载与推理流程如下:

void InitAndInfer(const std::string& model_dir, const std::string& image_file) {
  auto model_file = model_dir + sep + "model.pdmodel";
  auto params_file = model_dir + sep + "model.pdiparams";
  auto config_file = model_dir + sep + "deploy.yaml";
  auto subgraph_file = model_dir + sep + "subgraph.txt";
  fastdeploy::vision::EnableFlyCV();
  fastdeploy::RuntimeOption option;
  option.UseTimVX();                              // 启用 TIM-VX,走芯原 NPU
  option.SetLiteSubgraphPartitionPath(subgraph_file);  // 加载异构计算切分配置

  auto model = fastdeploy::vision::segmentation::PaddleSegModel(
      model_file, params_file, config_file, option);
  assert(model.Initialized());

  auto im = cv::imread(image_file);
  fastdeploy::vision::SegmentationResult res;
  if (!model.Predict(im, &res)) {
    std::cerr << "Failed to predict." << std::endl;
    return;
  }
  std::cout << res.Str() << std::endl;
  auto vis_im = fastdeploy::vision::VisSegmentation(im, res, 0.5);
  cv::imwrite("vis_result.jpg", vis_im);
  std::cout << "Visualized result saved in ./vis_result.jpg" << std::endl;
}

几个关键技术点:

  • UseTimVX():将推理后端切换为 Paddle-Lite + TIM-VX,这是驱动芯原 NPU 的核心开关;
  • SetLiteSubgraphPartitionPath(subgraph_file):传入异构计算的子图切分文件,让部分算子回退到 ARM CPU 执行,解决 NPU 上算子支持不全导致的精度/报错问题;
  • PaddleSegModel 构造:同时接收 model.pdmodel、model.pdiparams、deploy.yaml 三个文件,其中 yaml 提供预处理信息,与第 2.2 节的四件套文件一一对应;
  • 后处理与可视化:Predict 填充 SegmentationResult,res.Str() 打印结果摘要,VisSegmentation(im, res, 0.5) 以 0.5 透明度叠加可视化结果并保存为 vis_result.jpg。

主程序入口要求至少两个参数,用法为 ./infer_demo <量化模型目录> <测试图片路径>,例如 ./infer_demo ./ResNet50_vd_quant ./test.jpeg。

5. 异构计算:subgraph.txt 的作用与适用场景

芯原 NPU 对算子有自身的支持集合,并非所有 PaddleSeg 算子都能在 NPU 上高效运行。当出现以下两类问题时,就需要启用异构计算:

  1. 精度下降:量化后部分算子精度损失明显,希望将敏感算子放到 ARM CPU 上以 FP32 执行;
  2. 报错:NPU 编译或运行阶段遇到不支持的算子导致失败。

异构计算的实现方式是通过 FastDeploy 异构计算文档 中描述的 subgraph.txt 配置文件,将模型切分为「NPU 子图 + CPU 子图」:subgraph.txt 中列出需要留在 CPU 上执行的算子/子图,其余部分仍走 TIM-VX NPU 加速。在代码层面,这一机制正是通过上文 SetLiteSubgraphPartitionPath(subgraph_file) 一行生效的,因此 subgraph.txt 是量化模型四件套中不可缺失的文件。

实操建议:当直接部署量化模型出现精度异常时,优先通过增加 CPU 子图(扩充 subgraph.txt)逐段定位问题算子,完成精度验证后再固化切分配置。

6. 模型侧支撑:PP-LiteSeg 与 Cityscapes 配置

预导出模型对应的网络为 PP-LiteSeg-T(STDC1 骨干),其 Cityscapes 训练配置可直接参考 pp_liteseg_stdc1_cityscapes_1024x512_scale1.0_160k.yml。该配置中的关键项与部署输入 Shape(1024x512)直接相关:

_base_: './pp_liteseg_stdc1_cityscapes_1024x512_scale0.5_160k.yml'

train_dataset:
  transforms:
    - type: ResizeStepScaling
      min_scale_factor: 0.5
      max_scale_factor: 2.0
      scale_step_size: 0.25
    - type: RandomPaddingCrop
      crop_size: [1024, 512]
    - type: RandomHorizontalFlip
    - type: RandomDistort
      brightness_range: 0.5
      contrast_range: 0.5
      saturation_range: 0.5
    - type: Normalize
  mode: train

test_config:
  aug_eval: True
  scales: 1.0

可以看到训练时通过 RandomPaddingCrop 将裁剪尺寸固定为 [1024, 512],与部署模型的输入 Shape 保持一致;Normalize 的均值/方差等预处理参数在导出后会写入 deploy.yaml,供 FastDeploy 端侧推理时读取。test_config 中开启 aug_eval 且 scales: 1.0,对应预导出模型精度表中 flip / ms+flip 评测策略的配置基础。

另外,PP-LiteSeg 系列模型文档 列出了 PP-LiteSeg 的多种规格(STDC1/STDC2、不同 scale),如需追求更高精度或更低算力占用,可在导出时选择对应规格并保持 Cityscapes 输入为 1024x512 以获得与预导出模型一致的部署表现。

7. 部署注意事项与更多参考

  • Python 不可用:A311D 上目前只支持 C++ 部署,Python 推理请参考其他硬件平台(如 cpu-gpu)或改用 Android 容器方案;
  • 务必携带 deploy.yaml:无论是预导出模型还是自行量化模型,缺少该文件会导致预处理参数缺失、推理结果异常;
  • subgraph.txt 是异构计算的核心:精度问题优先从这里入手,而不是盲目重训模型;
  • 环境变量:VIV_VX_*、TIMVX_* 等端侧环境变量由 run_with_adb.sh 统一设置,手动在设备端运行时需自行导出;
  • 更多参考:FastDeploy 部署 PaddleSeg 的完整硬件支持矩阵与各平台入口见 FastDeploy 部署 PaddleSeg 模型概览,模型量化细节见 量化部署指南,PaddleSeg 模型导出流程见 模型导出文档。

通过上述流程,你可以在晶晨 A311D 上完成从量化模型准备、交叉编译、adb 上板到端侧推理可视化的完整闭环,并将同一套方法论直接迁移到 C308X、S905D3 乃至瑞芯微等芯原 NPU 授权芯片上。

登录后查看全文
PaddleSeg