PyTorch模型如何变成NPU可用的ONNX?sd1.5-controlnet-canny-amdnpu模型导出全流程揭秘

原创2026-10-19 16:06:401,900 阅读

PyTorch模型如何变成NPU可用的ONNX?sd1.5-controlnet-canny-amdnpu模型导出全流程揭秘

在 AMD AI PC 上运行 Stable Diffusion 1.5 + ControlNet(Canny 边缘)绘图,核心是把 PyTorch 模型导出为 ONNX 并做 NPU 加速优化——这正是 sd1.5-controlnet-canny-amdnpu 模型仓库的由来。本文将带你完整拆解这条「PyTorch → ONNX → NPU 可用」的模型导出流水线:为什么必须转 ONNX、三大组件分别怎么处理、仓库里的 dd/ 目录藏着什么优化玄机,以及一份 81.79% 卸载率报告的解读方法。🧩

一、项目是什么:为 AMD NPU 定制的 ControlNet 绘图模型

ControlNet v1.1 (Canny) 的作用是通过**边缘图(Canny edge map)**约束文本生图的结构:你给一张边缘线图 + 一段文字提示,模型就能"照着线稿画"。本仓库由 AMD 官方提供,包含在 AMD NPU(神经处理单元) 上跑通整个 SD1.5 + ControlNet 生图流水线所需的全部优化后模型文件。

仓库目录严格对应扩散流水线的各个组件:

目录 组件 是否 NPU 优化
controlnet/ Canny 边缘条件 ControlNet 模型 ✅ 导出为 ONNX + NPU 卸载
unet/ UNet 去噪主干网络 ✅ 导出为 ONNX + NPU 卸载
vae_decoder/ VAE 解码器(潜空间→图像) ✅ 导出为 ONNX + NPU 卸载
text_encoder/ CLIP 文本编码器(safetensors) ⚪ 与 GPU 流水线共享
tokenizer/ 分词器(vocab、merges 等) ⚪ 共享
scheduler/ PNDM 调度器配置 ⚪ 共享
feature_extractor/ 图像预处理器配置 ⚪ 共享
safety_checker/ 安全检测器配置 ⚪ 共享

💡 关键结论:只有 ControlNet、UNet、VAE 解码器三个"算力大户"被转成了 ONNX 并做 NPU 优化,其余组件保持原格式。这是理解整个导出流程的切入点。

二、为什么 PyTorch 模型不能直接跑在 NPU 上?

很多新手会问:我有 .pt / .safetensors 权重文件,为什么 NPU 不能直接执行?

  • NPU 有自己的指令集:NPU 是专门加速矩阵乘、卷积、注意力等算子的硬件,它不认 PyTorch 的动态图执行方式,只接受经过编译的固定计算图。
  • ONNX 是通用"中间语言":ONNX 把计算图描述成平台无关的标准格式。PyTorch 模型先导出为 ONNX,再由 AMD 的编译工具链转换为 NPU 能执行的二进制指令。
  • 动态图 → 静态图:PyTorch 是动态图(代码跑起来才知道计算流程),而 ONNX 导出时会把整个前向过程"固化"成一张静态图——这正是 NPU 编译的前提。

所以导出流程可以概括为一句话:先"定型"(导出 ONNX),再"翻译"(编译到 NPU)。

三、导出全流程拆解:从权重到 NPU 可用文件

结合仓库中的实际产物,整个流程分为 4 步。

第 1 步:PyTorch 权重 → ONNX 计算图

以 UNet 为例,unet/config.json 中声明了 _class_name 为 UNet2DConditionModel,包含 4 层下采样/上采样块(block_out_channels 为 320/640/1280/1280)、交叉注意力维度 768——这些结构信息决定了导出的计算图长什么样。

导出时通常用 torch.onnx.export():喂一组示例输入(latents、时间步、文本嵌入等),让 PyTorch 跟踪一次前向传播,把走过的所有算子(Conv、MatMul、LayerNorm、Concat、Sigmoid……)连同形状信息记录进 .onnx 文件。ControlNet 与 VAE 解码器同理,分别对应 controlnet/config.json(ControlNetModel)和 vae_decoder/config.json(AutoencoderKL)。

第 2 步:算子布局变换与 NPU 融合(DynamicDispatch)

裸 ONNX 还不能直接给 NPU 用,需要 AMD 的 DynamicDispatch(DD) 工具链做二次加工,产物就在各组件下的 dd/ 目录里:

  • controlnet/dd/replaced.onnx、unet/dd/replaced.onnx、vae_decoder/dd/replaced.onnx:经过替换的 ONNX 图。注意它们只有约 130 字节——因为权重被拆到了外置 .onnx.data 文件(通过 LFS 存储),图中只留"占位"。
  • dd_metastate_*.state / .super / .fconst / .ctrlpkt:NPU 编译生成的元状态包。名字直接告诉你它封装了哪个算子,例如 UNet 的首个卷积 NhwcConv_0-conv_inConv(即 UNet 入口 conv_in 层)、VAE 的 post_quant_conv 层。
  • dd/cache/*_meta.json:编译缓存,记录了被卸载到 NPU 的算子清单。以 unet/dd/cache/NhwcConv_0-conv_inConv_meta.json 为例,可以看到输入张量 out-sample 先经 Transpose 转成 NHWC 布局,再交给 NPU 专用算子 SDConv 执行卷积。

"Nhwc" 是什么? 普通 ONNX 卷积默认使用 NCHW 数据布局(通道在前),而 NPU 更擅长 NHWC(通道在后)的内存排布。所以你在文件名和缓存里会反复看到 NhwcConv——这就是"为 NPU 重排内存"的痕迹。

第 3 步:算子卸载(Offload)——CPU 与 NPU 分工

并不是每个算子都适合放 NPU。DD 工具会把高价值算子(卷积、矩阵乘、LayerNorm、注意力 MHA 等)卸载到 NPU 执行,简单算子(Cast、Mul、Split 等)留在 CPU 端。仓库中保存了完整的分工报告:controlnet/dd/onnx_report.txt。

指标 数值 含义
Not offloaded sum 67 留在 CPU 的轻量算子数
Offloaded sum (dd fusion) 301 卸载到 NPU 的算子数(融合后)
Offload Ratio 81.79% NPU 卸载率,越高 NPU 利用率越好

报告末尾还列出了 NPU 端实际执行的算子类型,例如 SDConv(卷积)、SDGemm_bfp(BF16 矩阵乘)、SDFlatMHA / SDMHA_bfp(注意力机制)、SDSilu / SDGroupNorm_bfp(归一化与激活),其中 bfp 后缀代表 BF16 精度——半精度计算正是 NPU 高效的关键。

第 4 步:组装 Diffusers 标准结构

最后,把处理好的 ONNX + dd/ 编译产物放回 unet/、controlnet/、vae_decoder/ 目录,配上各自 config.json,再补齐文本编码器、分词器(tokenizer/vocab.json、tokenizer/merges.txt)、PNDM 调度器配置 等共享组件,就得到一个完整可加载的流水线仓库。所有大文件通过 Git LFS 管理(见 .gitattributes),clone 时需要安装 LFS 才能拿到真正的权重数据。

四、动手获取:如何下载这份 NPU 模型?

克隆仓库(需先安装 Git LFS,否则大权重文件只会得到文本指针):

git lfs install
git clone https://gitcode.com/hf_mirrors/amd/sd1.5-controlnet-canny-amdnpu

⚠️ 两个常见坑:

  1. clone 后 replaced.onnx 只有几十字节 → 说明 LFS 没生效,重跑 git lfs install 后执行 git lfs pull 拉取真实数据。
  2. 在 GPU 上直接加载报错 → 这个仓库是为 NPU 流水线定制的,dd/ 中的编译产物与 NPU 驱动强绑定;GPU 用户请改用原版 lllyasviel/control_v11p_sd15_canny + 标准 SD1.5 流水线。

五、总结:一张图看懂导出流水线

PyTorch 权重 (.safetensors)
        │  torch.onnx.export(固化前向图)
        ▼
     原始 ONNX 计算图
        │  AMD DynamicDispatch 编译
        ├─ 布局重排:NCHW → NHWC(NhwcConv)
        ├─ 算子卸载:301 个算子 → NPU(81.79% 卸载率)
        └─ 精度转换:FP32 → BF16(SDConv/SDGemm_bfp)
        ▼
replaced.onnx + dd_metastate_* + cache/  ──►  NPU 可直接执行

回到开头的问题:PyTorch 变成 NPU 可用的 ONNX,本质是"导出固化 → 布局重排 → 算子卸载 → 精度优化"四步接力。sd1.5-controlnet-canny-amdnpu 仓库正是这套流水线在 SD1.5 + ControlNet Canny 场景下的完整落地成果——下次你看到任何 "amdnpu" 结尾的模型仓库,都可以按这个框架读懂它的内部结构。🚀

登录后查看全文
sd1.5-controlnet-canny-amdnpu