FunASR项目微调speech_paraformer模型实践指南

在语音识别领域，FunASR作为一个功能强大的开源工具包，为用户提供了丰富的模型和训练方法。本文将详细介绍如何基于FunASR中的speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch模型进行微调(finetune)的完整流程。

准备工作

在开始微调前，需要确保环境配置正确：

• 操作系统：推荐使用Linux系统(如Ubuntu 22.04)
• Python环境：建议使用较新版本的Python
• 深度学习框架：PyTorch 2.0+
• GPU资源：建议使用V100等高性能显卡
• FunASR版本：1.0.15或更高

数据准备

微调过程需要准备训练集和验证集，数据格式应为jsonl文件。每个jsonl文件应包含音频路径和对应文本标签。可以使用FunASR提供的工具将wav.scp和text.txt转换为jsonl格式：

python -m funasr.datasets.audio_datasets.scp2jsonl \
++scp_file_list='["train_wav.scp", "train_text.txt"]' \
++data_type_list='["source", "target"]' \
++jsonl_file_out="train.jsonl"

模型下载与配置

从ModelScope下载预训练模型至本地：

local_path_root=./modelscope_models
mkdir -p ${local_path_root}
git clone https://www.modelscope.cn/iic/speech_seaco_paraformer_large_asr_nat-zh-cn-16k-common-vocab8404-pytorch.git ${local_path}

关键配置文件包括：

• tokens.json：词汇表文件
• am.mvn：音频特征归一化文件
• config.yaml：模型配置文件
• model.pt：模型参数文件

微调执行

使用torchrun启动多GPU训练：

torchrun \
--nnodes 1 \
--nproc_per_node ${gpu_num} \
funasr/bin/train.py \
--config-path "${local_path}" \
--config-name "config.yaml" \
++train_data_set_list="train.jsonl" \
++valid_data_set_list="val.jsonl" \
++tokenizer_conf.token_list="tokens.json" \
++frontend_conf.cmvn_file="am.mvn" \
++dataset_conf.batch_size=32 \
++train_conf.max_epoch=20 \
++optim_conf.lr=0.0002 \
++init_param="model.pt" \
++output_dir="./outputs"

常见问题解决

1. 环境配置问题：确保CUDA版本与PyTorch版本兼容，建议使用CUDA 11.7+配合PyTorch 2.0+

2. 数据格式问题：检查jsonl文件格式是否正确，确保音频路径可访问

3. 显存不足：可适当减小batch_size或使用梯度累积

4. 学习率设置：根据数据集大小调整学习率，小数据集建议使用更小的学习率

微调建议

1. 对于领域特定数据，建议先分析数据分布，必要时进行数据增强

2. 监控验证集性能，防止过拟合

3. 可尝试不同的学习率调度策略

4. 微调后的模型建议在测试集上全面评估

通过以上步骤，用户可以成功在FunASR框架下完成对paraformer模型的微调，使其适应特定领域或场景的语音识别任务。