WeNet 中 Paraformer-Large 微调实战:从 FunASR 风格权重转换到动态分块流式推理
WeNet 中 Paraformer-Large 微调实战:从 FunASR 风格权重转换到动态分块流式推理
导读
本文基于 WeNet 仓库中的 examples/wenetspeech/paraformer 示例,系统讲解如何在 WeNet 训练框架中接入阿里开源 Paraformer-Large 模型:包括将 FunASR 风格预训练权重与配置转换为 WeNet 风格(wenet_paraformer.pt + train.yaml)的完整命令与底层转换逻辑、微调训练配置(fintune_paraformer_dynamic.yaml)逐字段解读、以及使用 CIF 预测器实现"类流式"动态分块推理的解码流程与性能记录。读完本文,你将掌握把第三方 NAR(Non-Autoregressive,非自回归)ASR 预训练模型迁移进 WeNet 生态并完成微调、评测与导出的完整链路。
背景:为什么在 WeNet 中引入 Paraformer
Paraformer 是阿里巴巴开源的"Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition"模型(论文见 wenet/models/paraformer/paraformer.py 类注释中的 arXiv 2206.08317)。其核心特点是非自回归解码:编码器之后通过 CIF(Continuous Integrate-and-Fire)预测器在一条前向路径中直接输出全部 token,从而显著降低推理延迟。
WeNet 团队在 examples/wenetspeech/paraformer 中提供的示例,其目标并不止于"在 WeNet 里跑通一个 NAR 模型",而是对 Paraformer-Large 进行全参数微调,使其能够通过类似 WeNet 的 chunk 方式支持流式(streaming)推理(参见 README 中的 NOTE 部分)。因此示例同时保留了:
- 纯离线 NAR 解码模式
paraformer_greedy_search; - 可选的 CTC 辅助解码模式(
ctc_greedy_search/ctc_prefix_beam_search); - 在训练阶段通过动态分块(
use_dynamic_chunk: true)为后续流式推理打基础的机制。
仓库证据:模型注册表 wenet/utils/init_model.py 中 WENET_MODEL_CLASSES<a href="https://link.gitcode.com/i/45c7ff8bc84dcb39593b42fab4d3db58" target="_blank">'paraformer'] 指向 Paraformer,WENET_PREDICTOR_CLASSES['paraformer_predictor'] 指向 Predictor;编码器/解码器分别注册为 sanm_encoder / sanm_decoder(见 [wenet/models/paraformer/layers.py)。
第一步:将 FunASR 风格权重转换为 WeNet 风格
转换命令(原文档核心内容)
原文档给出的转换命令位于 examples/wenetspeech/paraformer/README.md,执行前需先准备输出目录并加载环境:
output_dir=exp/paraformer/large
mkdir -p ${output_dir}
. ./path.sh && python wenet/paraformer/convert_paraformer_to_wenet_config_and_ckpt.py \
--output_dir ${output_dir}
其中 . ./path.sh 用于设置 WENET_DIR、PYTHONPATH 等环境变量(见 examples/wenetspeech/paraformer/path.sh)。
转换脚本做什么:四类产出物
转换脚本实现在 wenet/models/paraformer/convert_paraformer_to_wenet_config_and_ckpt.py,一次执行会向 --output_dir 写出四个文件:
| 产出文件 | 说明 | 关键转换逻辑 |
|---|---|---|
global_cmvn |
WeNet 风格的 JSON 格式 CMVN 统计 | 读取 FunASR 的 am.mvn(kaldi 风格 <AddShift>/<Rescale>),对均值取负、对方差做倒数平方变换后序列化为 mean_stat/var_stat/frame_num,见 _load_paraformer_cmvn |
units.txt |
词表文件(每行 token id) |
由原模型 config.yaml 中的 token_list 导出,并把 <s>/</s> 分别映射为 <sos>/<eos>,见 extract_dict |
train.yaml |
WeNet 训练配置 | 把原 FunASR 配置筛选字段并改写为 WeNet 结构(见下文) |
wenet_paraformer.pt |
转换后的权重 | 逐 key 重命名状态字典,见下文 |
权重 key 重命名规则
convert_to_wenet_state_dict 处理 FunASR 与 WeNet 的命名差异,核心映射规则:
predictor.cif_output2.*→predictor.tp_output.*(时间戳分支输出层);predictor.cif.*→predictor.predictor.cif.*(CIF 主预测器被包裹在Predictor的predictor子模块下,见 wenet/models/paraformer/paraformer.py 的Predictor.__init__);predictor.upsample.*/predictor.blstm.*→predictor.tp_upsample_cnn.*/predictor.tp_blstm.*(准确时间戳分支的上采样 CNN 与 BLSTM);decoder.embed.0.weight→embed.weight。
同时所有权重被显式转为 float() 后保存。
自动下载与参数缺省
脚本支持通过 --paraformer_config、--paraformer_cmvn、--paraformer_seg_dict、--paraformer_model 显式指定 FunASR 侧文件;若缺省,may_get_assets_and_refine_args 会自动从 ModelScope 下载 speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch 的 config.yaml、am.mvn、seg_dict、model.pt 至 ~/.wenet/cache/paraformer-offline-cn,因此直接运行上面 README 命令即可完成全流程(需联网)。该模型词表为 8404 个符号,映射后的 <unk> 为 8403,<blank>/<sos>/<eos> 分别为 0/1/2,这些值在转换脚本的 convert_to_wenet_tokenizer_conf 与配置文件 special_tokens 中保持一致。
转换生成的 train.yaml 要点
convert_to_wenet_yaml 会把原配置改写为:
encoder: sanm_encoder、decoder: sanm_decoder;encoder_conf.input_layer = paraformer_dummy(注册为torch.nn.Identity,见 wenet/utils/class_utils.py),pos_enc_layer_type = abs_pos_paraformer(注册为 wenet/models/paraformer/embedding.py 中的ParaformerPositinoalEncoding,其xscale = d_model**0.5);predictor: paraformer_predictor,并把predictor_conf中不再使用的upsample_type、use_cif1_cnn删除,强制cnn_groups=1、residual=False;- 输入维度由 LFR 参数推导:
input_dim = lfr_m * 80 = 7 * 80 = 560,lfr_conf = {'lfr_m': 7, 'lfr_n': 6}; model_conf中predictor_bias改写为add_eos(用于在标签尾部为预测器追加<eos>)。
注意:README 的转换命令使用
python wenet/paraformer/...写法,而仓库实际脚本路径为wenet/models/paraformer/convert_paraformer_to_wenet_config_and_ckpt.py(README 可能基于软链接或旧目录结构)。以仓库当前实际路径为准运行即可。
第二步:微调训练配置详解
微调配置文件为 examples/wenetspeech/paraformer/conf/fintune_paraformer_dynamic.yaml,字段含义逐段说明如下。
特征与前端
input_dim: 560
cmvn: global_cmvn
cmvn_conf:
cmvn_file: exp/paraformer/large/global_cmvn
is_json_cmvn: true
input_dim: 560:80 维 fbank × LFR 帧拼接系数 7(lfr_m: 7),与转换脚本推导一致;- CMVN 指向转换步骤产出的
global_cmvn,is_json_cmvn: true表示使用 JSON 格式统计(WeNet 的load_cmvn会按 JSON 解析,见 wenet/utils/cmvn.py)。
编码器:sanm_encoder + 动态分块
encoder: sanm_encoder
encoder_conf:
attention_dropout_rate: 0.1
attention_heads: 4
dropout_rate: 0.1
input_layer: paraformer_dummy
kernel_size: 11
linear_units: 2048
normalize_before: true
num_blocks: 50
output_size: 512
pos_enc_layer_type: abs_pos_paraformer
positional_dropout_rate: 0.1
sanm_shfit: 0
use_dynamic_chunk: true
gradient_checkpointing: true
- SANM(Self-Attention with Mask)编码器在 wenet/models/paraformer/layers.py 的
SanmEncoder中实现:第一层encoders0负责把输入维度从in_size(560)投影到output_size(512),其后 49 层为常规 SANM 层; kernel_size: 11表示 SANM 相对位置注意力窗口大小,sanm_shfit: 0为掩码偏移量;use_dynamic_chunk: true是流式化微调的关键开关:它使编码器在训练阶段模拟动态分块掩码(dynamic chunk mask),这正是 README 所说"通过 wenet-like chunk 方法实现流式推理"的机制基础;gradient_checkpointing: true用于在 50 层大模型上以计算换显存。
解码器:sanm_decoder(NAR 核心)
decoder: sanm_decoder
decoder_conf:
att_layer_num: 16
attention_heads: 4
dropout_rate: 0.1
kernel_size: 11
linear_units: 2048
num_blocks: 16
positional_dropout_rate: 0.1
sanm_shfit: 0
self_attention_dropout_rate: 0.1
src_attention_dropout_rate: 0.1
gradient_checkpointing: true
SanmDecoder(wenet/models/paraformer/layers.py)与原版 Paraformer 对齐的细节:
- 每个
SanmDecoderLayer使用eps=1e-12的 LayerNorm(注释明确"ali-Paraformer need eps=1e-12"); - 自注意力用
DummyMultiHeadSANM、交叉注意力用MultiHeadAttentionCross; - 解码器末尾还有一个
decoders3前馈模块(源码注释 "Paraformer has a deocder3"); - 构造时断言
att_layer_num == num_blocks(此处均为 16),与官方发布的 Paraformer 结构一致。
分词器与 CTC
tokenizer: paraformer
tokenizer_conf:
seg_dict_path: exp/paraformer/large/seg_dict
special_tokens:
<blank>: 0
<eos>: 2
<sos>: 1
<unk>: 8403
symbol_table_path: exp/paraformer/large/units.txt
ctc: ctc
ctc_conf:
ctc_blank_id: 0
ParaformerTokenizer(wenet/text/paraformer_tokenizer.py)继承自CharTokenizer,text2tokens通过tokenize_by_seg_dict用seg_dict(FunASR 的中文分词词典)把文本切分为 BPE 风格子词;tokens2text调用paraformer_beautify_result(wenet/models/paraformer/search.py)进行中文/英文/混排的还原美化;- 虽然 Paraformer 主解码是 NAR,模型仍保留一个 CTC 分支用于辅助训练与解码(见下文性能对比,CTC 结果也可单独评测)。
模型配置:预测器与损失权重
model: paraformer
model_conf:
ctc_weight: 0.3
length_normalized_loss: false
lsm_weight: 0.1
sampling_ratio: 0.75
predictor: paraformer_predictor
predictor_conf:
cnn_groups: 1
idim: 512
l_order: 1
noise_threshold2: 0.01
r_order: 1
residual: false
smooth_factor2: 0.25
tail_threshold: 0.45
threshold: 1.0
upsample_times: 3
predictor_conf.idim: 512与编码器output_size一致;threshold: 1.0为 CIF 的积分阈值(触发一次"fire"输出一个 token),tail_threshold: 0.45决定序列末尾是否补 token;smooth_factor2/noise_threshold2/upsample_times控制时间戳分支:Predictor中tp_upsample_cnn为转置卷积(上采样 3 倍),配合单层双向 LSTMtp_blstm与线性层tp_output估计精确帧级对齐(见 wenet/models/paraformer/paraformer.py);sampling_ratio: 0.75用于训练时的 sampler 策略(_sampler):用解码器在 no_grad 下预测的 token 与真实 token 对比,按比例随机掩掉部分 acoustic embedding,替换为 ground-truth 的 embedding,缓解 NAR 训练的 exposure bias;lsm_weight: 0.1为标签平滑,ctc_weight: 0.3为 CTC 辅助损失权重;add_eos由转换脚本从原predictor_bias迁移而来,Paraformer.__init__会在标签尾部追加<eos>供预测器计数(源码注释示例:你 好 we@@ net eos)。
数据与训练超参数
dataset: asr
dataset_conf:
filter_conf:
max_length: 40960
min_length: 30
token_max_length: 200
token_min_length: 1
resample_conf:
resample_rate: 16000
speed_perturb: true
fbank_conf:
num_mel_bins: 80
frame_shift: 10
frame_length: 25
dither: 0.1
spec_aug: true
spec_aug_conf:
num_t_mask: 2
num_f_mask: 2
max_t: 50
max_f: 10
shuffle: true
shuffle_conf:
shuffle_size: 5000
sort: true
sort_conf:
sort_size: 1000 # sort_size should be less than shuffle_size
batch_conf:
batch_type: 'dynamic' # static or dynamic
batch_size: 32
max_frames_in_batch: 36000
grad_clip: 5
accum_grad: 4
max_epoch: 20
log_interval: 100
optim: adam
optim_conf:
lr: 0.0005
scheduler: warmuplr
scheduler_conf:
warmup_steps: 100000
- 动态 batch:
batch_type: 'dynamic'+max_frames_in_batch: 36000表示按总帧数而非固定条数动态组 batch(README 中称为 "batch size dynamic36000"); - 其余为 WeNet 标准的数据增强(speed perturb、SpecAug)、排序混洗与 Adam + warmuplr 学习率策略。
第三步:训练与解码流水线(run.sh)
训练脚本为 examples/wenetspeech/paraformer/run.sh,关键变量与阶段说明如下。
数据与模型入口
data_type=shard
train_set=train_l-aishell4 # manully merge data/train_l/data.list and ../../aishell4_train/data.list into data/train_l-aishell4/data.list
dev_set=dev
test_sets="test_net test_meeting aishell4_test"
train_config=conf/fintune_paraformer_dynamic.yaml
checkpoint=exp/paraformer/large/wenet_paraformer.pt
dir=exp/finetune_paraformer_dynamic
- 训练集为
train_l(WenetsSpeech 大型子集)与 AISHELL-4 训练集的手动合并产物,需先把两份data.list合并为data/train_l-aishell4/data.list; checkpoint直接指向转换步骤产出的wenet_paraformer.pt,实现从预训练权重全参数微调;- 推理引擎默认
train_engine=torch_ddp(脚本也预留了 deepspeed 分支配置deepspeed_config=../whisper/conf/ds_stage1.json)。
Stage 0:启动微调训练
torchrun --nnodes=$num_nodes --nproc_per_node=$num_gpus \
--rdzv_id=$job_id --rdzv_backend="c10d" --rdzv_endpoint=$HOST_NODE_ADDR \
wenet/bin/train.py \
--train_engine ${train_engine} \
--config $train_config \
--data_type $data_type \
--train_data data/$train_set/data.list \
--cv_data data/$dev_set/data.list \
${checkpoint:+--checkpoint $checkpoint} \
--model_dir $dir \
--tensorboard_dir ${tensorboard_dir} \
--ddp.dist_backend $dist_backend \
--num_workers ${num_workers} \
--prefetch ${prefetch} \
--pin_memory \
--timeout 1200 \
--deepspeed_config ${deepspeed_config} \
--deepspeed.save_states ${deepspeed_save_states}
脚本会自动检测 GPU 数量(nvidia-smi),也可通过设置 CUDA_VISIBLE_DEVICES 手动指定;支持 --nnodes / --rdzv_endpoint 扩展为多机训练。README 记录的微调条件为:lr 0.0005、动态 batch(单 batch 上限 36000 帧)、梯度检查点、torch_ddp、accum_grad 4、8×3090 GPU、20 个 epoch、约 4 天。
Stage 1:Deepspeed 权重聚合
若使用 deepspeed 且 deepspeed_save_states="model+optimizer",脚本遍历 $dir 下各子目录,调用 deepspeed 自动生成的 zero_to_fp32.py 将分片权重合并为独立 .pt。使用 torch_ddp 时可跳过此阶段。
Stage 2:模型平均与多模式解码
average_checkpoint=true
decode_checkpoint=$dir/final.pt
average_num=10
average_mode=epoch
decode_modes="ctc_greedy_search ctc_prefix_beam_search paraformer_greedy_search"
解码阶段先调用 wenet/bin/average_model.py 按 epoch 平均 10 个 checkpoint 得到 avg10_modeepoch.pt(README 说明 average checkpoint 效果更好),再对每个测试集执行:
python wenet/bin/recognize.py --gpu 0 \
--modes $decode_modes \
--config $dir/train.yaml \
--data_type $data_type \
--test_data data/$testset/data.list \
--checkpoint $decode_checkpoint \
--beam_size 10 \
--batch_size 8 \
--blank_penalty ${blank_penalty} \
--ctc_weight $ctc_weight \
--reverse_weight $reverse_weight \
--result_dir $result_dir \
${decoding_chunk_size:+--decoding_chunk_size $decoding_chunk_size}
解码参数:decoding_chunk_size=-1(全量分块,即非流式推理;流式时需指定具体 chunk 大小)、ctc_weight=0.5、reverse_weight=0.0、blank_penalty 对 dev 设为 2.5、其余测试集为 0.0(README 中明确说明)。随后用 tools/compute-wer.py --char=1 --v=1 计算字级 CER。
Stage 3:导出
python wenet/bin/export_jit.py \
--config $dir/train.yaml \
--checkpoint $dir/avg_${average_num}.pt \
--output_file $dir/final.zip \
--output_quant_file $dir/final_quant.zip
将训练后的模型导出为 TorchScript(final.zip)及量化版本(final_quant.zip),供 runtime/libtorch 等 C++ 推理后端使用。Paraformer 类中提供了 forward_paraformer、forward_encoder_chunk、forward_cif_peaks 等 @torch.jit.export 方法,为运行时流式/离线推理预留了接口。
解码原理:三种模式的实现位置
在 wenet/models/paraformer/paraformer.py 的 decode 方法中,三种解码模式共用 _forward_paraformer(编码器 → CIF 预测器 → 解码器),随后分派:
| 模式 | 实现 | 说明 |
|---|---|---|
paraformer_greedy_search |
paraformer_greedy_search(search.py) |
对 decoder log-softmax 输出取 top-1,并可由 forward_cif_peaks 生成的 CIF 峰值附带逐 token 时间戳 |
paraformer_beam_search |
paraformer_beam_search / _batch_beam_search |
批式 beam 搜索,遇到 <eos> 通过 mask_finished_scores / mask_finished_preds 截止 |
ctc_greedy_search / ctc_prefix_beam_search |
ctc_greedy_search / ctc_prefix_beam_search(wenet/models/transformer/search.py) |
基于编码器输出计算 CTC log 概率,支持 blank_penalty |
时间戳生成逻辑在 wenet/models/paraformer/search.py 的 gen_timestamps_from_peak(阈值 START_END_THRESHOLD=5、MAX_TOKEN_DURATION=14、force_time_shift=-0.5 帧)。
性能记录与实验结论
原文档记录了官方的两类评测结果(字错误率 CER,均在同一套评测集:Wenetspeech 的 DEV / TEST_NET / TEST_MEETING 与 AISHELL4-TEST,并附 N/C/S/D/I 统计,其中 N 为总字数,C/S/D/I 分别为正确/替换/删除/插入数)。
Paraformer(原始模型)结果
| 解码模式 | CER(DEV) | CER(TEST_NET) | CER(TEST_MEETING) | CER(AISHELL4-TEST) |
|---|---|---|---|---|
| ctc greedy search | N/A | N/A | N/A | N/A |
| ctc prefix beam search | N/A | N/A | N/A | N/A |
| paraformer greedy search | 3.38 % | 6.74 % | 6.95 % | 18.37 % |
原始模型不含可用 CTC 输出,故表格中 CTC 两行标记为 N/A。
Paraformer-dynamic 全参数微调结果
训练条件:lr 0.0005、动态 batch(max_frames_in_batch=36000)、梯度检查点、torch_ddp、accum_grad 4、8×3090 GPU、20 epochs、约 4 天。解码条件:ctc_weight 0.5、average_num 3(epoch 平均)、dev 集 blank penalty 2.5、其余 0.0(Git hash 当时未定,标注 TBD)。
| 解码模式 | CER(DEV) | CER(TEST_NET) | CER(TEST_MEETING) | CER(AISHELL4-TEST) |
|---|---|---|---|---|
| ctc greedy search | 7.44 % | 10.53 % | 9.60 % | 20.24 % |
| ctc prefix beam search | 7.18 % | 10.34 % | 9.26 % | 19.83 % |
| paraformer greedy search | 6.63 % | 7.71 % | 7.34 % | 18.04 % |
实验结论(原文档 NOTE 摘录与解读)
- 微调带来流式能力、代价是离线精度回落:这是首次尝试对 paraformer-large 做微调,使其通过 wenet-like chunk 方式支持流式推理;微调后非流式指标相比原始模型有所下降,但 README 认为这是非常初步的结果,paraformer-large 在 WeNet 内微调仍有很大提升空间。
- 与同条件从头训练的 conformer-large 对比(对照实验见 examples/aishell/s0,同样使用 wenetspeech+aishell4 训练集):paraformer-large 的 CTC 结果稳定优于 conformer-large,其 NAR 结果也始终好于 conformer-large 的 rescore 结果。README 将原因归结为 paraformer-large 曾在约 6 万小时工业数据上预训练,具备更好的模型初始化。
需要说明:以上数据均来自原 README 的性能记录表,作为该示例的官方记录如实引用;微调后具体指标会因数据合并方式、平均策略与解码参数选择而浮动,复现时应以自测为准。
小结
通过本文梳理的完整链路——权重/配置转换 → 动态分块微调 → 多模式解码评测 → JIT 导出——开发者可以在 WeNet 框架内直接复用 Paraformer-Large 的预训练成果,并借助 WeNet 的 dynamic chunk 机制探索其流式化潜力。三个最值得关注的技术点:
- 转换脚本(wenet/models/paraformer/convert_paraformer_to_wenet_config_and_ckpt.py)一次性产出
global_cmvn/units.txt/train.yaml/wenet_paraformer.pt,无需手工对齐字段; - 微调配置中的
use_dynamic_chunk、sampling_ratio与预测器的threshold/tail_threshold共同决定了 NAR 模型在流式场景下的行为; decode方法同时暴露 CTC 与 NAR 两类解码,便于在精度与延迟之间做工程取舍。
后续可继续查阅 wenet/models/paraformer 目录下的 attention.py、subsampling.py、cif.py 深入理解 CIF 积分-触发机制,或参考 runtime/libtorch 了解导出模型的部署方式。