PaddleSpeech 声音分类实战:基于 PANNs 预训练模型在 ESC-50 上完成 Finetune、推理与部署
PaddleSpeech 声音分类实战:基于 PANNs 预训练模型在 ESC-50 上完成 Finetune、推理与部署
本指南以 PaddleSpeech 仓库中的 examples/esc50 示例为主线,系统讲解如何基于 PANNs(PANNs: Large-Scale Pretrained Audio Neural Networks for Audio Pattern Recognition)预训练模型完成环境声音分类任务:从数据与模型背景、配置解析、单卡/多卡 Finetune 训练,到模型预测、动转静导出与 Paddle Inference 部署,形成一套可直接复现的完整闭环。读完本文,你将掌握 PaddleSpeech 声音分类模块(paddlespeech/cls)的配置语义、训练流程与部署方法,并能在 ESC-50 数据集上复现约 0.95 的分类准确率。
声音分类任务与方案选型
声音分类(Audio/Sound Classification)和声音事件检测是声音算法领域的热门研究方向。对于声音分类任务,传统机器学习的一个常用做法是首先人工提取音频的时域和频域多种特征,并做特征选择、组合、变换等,然后基于 SVM 或决策树进行分类;而端到端的深度学习则通常利用深度网络如 RNN、CNN 等直接对声音波形(waveform)或时频特征(time-frequency)进行特征学习(representation learning)和分类预测。
在大规模预训练数据的加持下,基于深度网络的方案已成为主流。在 IEEE ICASSP 2017 大会上,谷歌开放了大规模音频数据集 Audioset,其中包含 632 类音频类别以及 2,084,320 条人工标记的每段 10 秒长度的声音剪辑片段(来源于 YouTube 视频);目前已达 210 万个已标注视频数据、5800 小时音频数据,经过标记的声音样本的标签类别为 527。PANNs 正是基于 Audioset 数据集训练的声音分类/识别模型,经过预训练后,模型可以用于提取音频的 embedding。本示例将使用 PANNs 的预训练模型 Finetune 完成声音分类任务,这也是"预训练 + 微调"范式在音频领域的典型落地路径。
PANNs 预训练模型:CNN14 / CNN10 / CNN6
PaddleSpeech 的音频库 PaddleAudio 提供了 PANNs 的 CNN14、CNN10 和 CNN6 三种预训练模型,用户可按任务复杂度和算力约束自行选择。三种模型在结构上与参数量上的差异如下:
| 模型 | 网络结构 | 参数量 | Embedding 维度 |
|---|---|---|---|
| CNN14 | 12 个卷积层 + 2 个全连接层 | 79.6M | 2048 |
| CNN10 | 8 个卷积层 + 2 个全连接层 | 4.9M | 512 |
| CNN6 | 4 个卷积层 + 2 个全连接层 | 4.5M | 512 |
从源码 paddlespeech/cls/models/panns/panns.py 可以看到具体实现细节:
- CNN14(panns.py)由 7 个 ConvBlock 组成,每个 Block 内含 2 个 3×3 卷积层,共 12 个卷积层,
emb_size = 2048; - CNN10(panns.py)由 4 个 ConvBlock 组成,每个 Block 内含 2 个 3×3 卷积层,共 8 个卷积层,
emb_size = 512; - CNN6(panns.py)由 4 个 ConvBlock 组成,每个 Block 仅含 1 个 5×5 卷积层,共 4 个卷积层,
emb_size = 512。
三者共用的前向结构包括:输入先经 bn0(BatchNorm2D,通道数 64)归一化,随后逐级通过卷积块与平均池化,接 x.max(axis=2) + x.mean(axis=2) 的时间维度统计池化,最后经过 fc1 全连接层输出 embedding;当 extract_embedding=True 时直接返回 embedding,否则经过输出维度为 527(Audioset 类别数)的 fc_audioset 层并用 Sigmoid 做多标签预测。预训练权重由 cnn14/cnn10/cnn6 工厂函数通过 load_state_dict_from_url 自动下载并加载(panns.py),下载缓存目录位于 MODEL_HOME/panns。
在 ESC-50 上的微调实践中,CNN14 由于参数量与特征维度最大,通常能取得最好精度;CNN6 参数最小、训练与推理更快,适合资源受限场景。三者可复用同一套训练、预测、导出与部署流程,仅需切换配置中的 backbone 即可。
ESC-50 环境声音数据集
ESC-50: Dataset for Environmental Sound Classification 是一个包含 2000 个带标签的、时长为 5 秒的环境声音样本数据集,音频样本为采样率 44,100Hz 的单通道音频文件;所有样本按标签划分为 50 个类别,每个类别 40 个样本。类别覆盖犬吠、钟表滴答、猫叫、雨声等日常生活中常见的声音事件。
在 PaddleSpeech 中,该数据集由 paddlespeech/audio/datasets/esc50.py 中的 ESC50(AudioClassificationDataset) 类实现,它继承自通用音频分类数据集基类,负责音频文件的加载、重采样与标签映射。在 panns.yaml 中通过 data.dataset: 'paddle.audio.datasets:ESC50' 以动态导入(dynamic import)的方式注册,num_classes: 50 与数据集的 50 个类别一一对应;train.mode='train'、dev.mode='dev' 配合 split: 1 指定使用 ESC-50 官方提供的 fold 划分(fold 1)作为训练/开发集,这也是 5-fold 交叉验证中的其中一个折。
模型指标:5-Fold 交叉验证准确率
根据 ESC-50 提供的 fold 信息,对数据集进行 5-fold 的 fine-tune 训练和评估,PaddleSpeech 官方在 examples/esc50/RESULTS.md 中给出的平均准确率如下:
| Model | Acc |
|---|---|
| CNN14 | 0.9500 |
| CNN10 | 0.8975 |
| CNN6 | 0.8825 |
其中 CNN14 在 ESC-50 上达到 0.95 的平均分类准确率,是当前示例中的推荐配置(默认 backbone: 'paddlespeech.cls.models:cnn14')。
快速开始:环境准备与目录结构
示例代码位于 examples/esc50/cls0,核心脚本结构如下:
examples/esc50/cls0/
├── conf/
│ └── panns.yaml # 数据集、模型、特征、训练、预测全部配置
├── local/
│ ├── train.sh # 单卡/多卡训练入口
│ ├── infer.sh # 预测入口
│ ├── export.sh # 动转静导出入口
│ └── static_model_infer.sh # 静态图部署推理入口
├── path.sh # 环境变量与 BIN_DIR 设置
└── run.sh # stage 驱动的总入口
path.sh 将 MAIN_ROOT 设置为仓库根目录,并把 PYTHONPATH 指向仓库根目录以便导入 paddlespeech 包,同时将 BIN_DIR 指向 paddlespeech/cls/exps/panns,该目录下包含训练、预测、导出与部署的 Python 实现:
train.py:模型训练脚本predict.py:模型预测脚本export_model.py:动转静导出脚本deploy/predict.py:基于 Paddle Inference 的静态图部署脚本
在运行任何命令前,请确认已完成 PaddleSpeech 的安装、ESC-50 数据集已下载到本地,且 path.sh 中约定的路径与你的环境一致。
模型训练(Stage 1)
运行下面的命令,可在训练集上进行模型的 Finetune,支持单机的单卡训练和多卡训练。run.sh 会根据 CUDA_VISIBLE_DEVICES 中显卡数量自动计算 ngpu:大于 0 时通过 paddle.distributed.launch 启动多卡训练,否则以单进程方式训练(见 run.sh 与 local/train.sh)。
启动训练:
$ CUDA_VISIBLE_DEVICES=0 ./run.sh 1 conf/panns.yaml
训练的参数可在 conf/panns.yaml 的 training 中配置,其中:
epochs:训练轮次,默认为 50。learning_rate:Fine-tune 的学习率,默认为 5e-5。batch_size:批处理大小,请结合显存情况进行调整,若出现显存不足,请适当调低这一参数;默认为 16。num_workers:Dataloader 获取数据的子进程数,默认为 2(README 中描述默认为 0,加载数据的流程在主进程执行;实际配置文件默认 2,可按机器核数调整)。checkpoint_dir:模型参数文件和 optimizer 参数文件的保存目录,默认为./checkpoint。save_freq:训练过程中的模型保存频率,默认为 10(即每 10 个 epoch 保存一次)。log_freq:训练过程中的信息打印频率,默认为 10。
从训练源码 paddlespeech/cls/exps/panns/train.py 可以看到训练闭环的实现:通过 dynamic_import 分别动态导入数据集类 ESC50 与骨干网络类(默认 cnn14);数据集由 paddle.io.DistributedBatchSampler 分发给各卡;特征提取使用 paddle.audio.features.LogMelSpectrogram(参数由 feature 配置段提供);模型结构为 SoundClassifier(backbone, num_class=50)(即"预训练骨干提取 embedding + 分类头"),并包上 paddle.DataParallel;优化器为 Adam,损失函数为 CrossEntropyLoss。
feature 配置段对训练效果影响显著,建议与预训练时的配置保持一致:
sr: 32000:重采样目标采样率(32kHz)。n_fft: 1024:FFT 窗口大小。hop_length: 320:帧移,对应 10ms 帧长。window: 'hann':加窗类型为 Hann 窗。win_length: 1024:窗长。f_min: 50.0、f_max: 14000.0:Mel 滤波器频带范围(50Hz–14kHz)。n_mels: 64:Mel 频带数。
示例代码中使用的预训练模型为 CNN14,如果想更换为其他预训练模型,可通过修改 conf/panns.yaml 的 model 中配置:
# CNN14
model:
backbone: 'paddlespeech.cls.models:cnn14'
# CNN10
model:
backbone: 'paddlespeech.cls.models:cnn10'
# CNN6
model:
backbone: 'paddlespeech.cls.models:cnn6'
backbone 采用 模块路径:符号名 的字符串形式,由 dynamic_import 机制解析,这也是 PaddleSpeech 统一的可插拔模型注册方式。
模型预测(Stage 2)
训练完成后即可对单条音频进行预测:
$ CUDA_VISIBLE_DEVICES=0 ./run.sh 2 conf/panns.yaml
预测的参数可在 conf/panns.yaml 的 predicting 中配置,其中:
audio_file:指定预测的音频文件(示例默认/audio/dog.wav)。top_k:预测显示的 top k 标签的得分,默认为 1(配置文件中默认为 10,可按需调整)。checkpoint:模型参数 checkpoint 文件(配置默认./checkpoint/epoch_50/model.pdparams,与训练保存路径对应)。
预测脚本 paddlespeech/cls/exps/panns/predict.py 的实现流程为:load_audio 按 sr 读取音频 → LogMelSpectrogram 提取特征 → SoundClassifier 前向得到 logits → softmax 转概率 → 按概率降序取前 top_k 个类别并打印。输出的预测结果如下:
[/audio/dog.wav]
Dog: 0.9999538660049438
Clock tick: 1.3341237718123011e-05
Cat: 6.579841738130199e-06
可以看到模型对"狗叫"(Dog)给出了接近 1.0 的概率,其余类别概率接近于 0,分类置信度非常高。
模型部署
训练结束后可将动态图模型导出为静态图(动转静),再借助 Paddle Inference 在 Python 端完成部署推理,分为两步。
1. 动转静(Stage 3)
模型训练结束后,可以将已保存的动态图参数导出成静态图的模型和参数,然后实施静态图的部署:
$ CUDA_VISIBLE_DEVICES=0 ./run.sh 3 ./checkpoint/epoch_50/model.pdparams ./export
paddlespeech/cls/exps/panns/export_model.py 脚本中可支持配置的参数:
checkpoint:模型参数 checkpoint 文件。output_dir:导出静态图模型和参数文件的保存目录。
导出的静态图模型和参数文件如下:
$ tree export
export
├── inference.pdiparams
├── inference.pdiparams.info
└── inference.pdmodel
其中 inference.pdmodel 为静态图网络结构文件,inference.pdiparams 为参数文件,二者即为 Paddle Inference 部署所需的完整模型产物。
2. 模型部署和预测(Stage 4)
paddlespeech/cls/exps/panns/deploy/predict.py 脚本使用了 paddle.inference 模块下的 API,提供了 Python 端部署示例:
$ CUDA_VISIBLE_DEVICES=0 ./run.sh 4 cpu ./export /audio/dog.wav
paddlespeech/cls/exps/panns/deploy/predict.py 脚本中可支持配置的主要参数:
device:指定模型预测时使用的设备(如cpu或gpu)。model_dir:导出静态图模型和参数文件的保存目录。wav:指定预测的音频文件。
四个 stage 的完整调用链由 run.sh 统一编排(stage 参数 1/2/3/4 分别对应训练、预测、导出、部署),每个 stage 内部的 Python 调用由 local 下的脚本承接,形成了"一键式"的示例工作流。
从源码理解训练与推理的关键设计
- 动态导入机制:数据集的
'paddle.audio.datasets:ESC50'与模型的'paddlespeech.cls.models:cnn14'都是字符串形式的动态导入目标,train.py与predict.py均通过dynamic_import解析,新增数据集或模型无需改动训练/推理脚本主体。 - 预训练与微调的分工:训练时
backbone_class(pretrained=True, extract_embedding=True)从 URL 加载 Audioset 预训练权重并输出 embedding,SoundClassifier在此基础上新增num_class=50的分类头;CrossEntropyLoss负责优化整个模型,其中分类头学习新类别、骨干网络以 5e-5 的小学习率做微调,从而在保持预训练知识的同时适配 ESC-50 的 50 类环境声音。 - 训练/验证数据划分:
panns.yaml中train.split: 1与dev.split: 1使用 ESC-50 官方 fold 1 作为训练与开发集;要复现 5-fold 结果,可依次将split改为 1~5 训练并取平均准确率。 - 一键多卡:
train.sh根据CUDA_VISIBLE_DEVICES中的显卡数量自动决定是否使用paddle.distributed.launch,DistributedBatchSampler负责跨卡分片,无需额外修改配置即可实现单机多卡扩展。
总结与延伸
本文完整走通了 PaddleSpeech 声音分类的四大环节:选模型(CNN14/CNN10/CNN6 按精度与算力取舍)、配数据(ESC-50 数据集与 fold 划分)、做微调(50 epoch、5e-5 学习率的 Finetune,CNN14 在 ESC-50 上可达 0.95 准确率)、去部署(动转静导出 + Paddle Inference 推理)。所有配置收敛于 conf/panns.yaml 一个文件,四个 stage 由 run.sh 统一驱动,便于快速复用与二次开发。
如果你有自定义的环境声音数据集,可将 data.num_classes 改为自己的类别数、将 data.dataset 替换为按 AudioClassificationDataset 规范实现的 Dataset 类,并保持 feature 配置与预训练一致,即可沿用本示例的完整训练与部署流程。声音分类作为更复杂任务(如声音事件检测、声学场景分析)的基础能力,在智能家居、安防监控、工业设备故障诊断等场景中都有广泛的应用空间。
Reference
- PANNs: Large-Scale Pretrained Audio Neural Networks for Audio Pattern Recognition(arXiv:1912.10211)
- ESC-50: Dataset for Environmental Sound Classification