WeNet 中 Paraformer-Large 微调实战:从 FunASR 风格权重转换到动态分块流式推理

原创2026-10-12 21:49:211,835 阅读
文章标签:人工智能语音深度学习

WeNet 中 Paraformer-Large 微调实战:从 FunASR 风格权重转换到动态分块流式推理

导读

本文基于 WeNet 仓库中的 examples/wenetspeech/paraformer 示例,系统讲解如何在 WeNet 训练框架中接入阿里开源 Paraformer-Large 模型:包括将 FunASR 风格预训练权重与配置转换为 WeNet 风格(wenet_paraformer.pt + train.yaml)的完整命令与底层转换逻辑、微调训练配置(fintune_paraformer_dynamic.yaml)逐字段解读、以及使用 CIF 预测器实现"类流式"动态分块推理的解码流程与性能记录。读完本文,你将掌握把第三方 NAR(Non-Autoregressive,非自回归)ASR 预训练模型迁移进 WeNet 生态并完成微调、评测与导出的完整链路。

背景:为什么在 WeNet 中引入 Paraformer

Paraformer 是阿里巴巴开源的"Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition"模型(论文见 wenet/models/paraformer/paraformer.py 类注释中的 arXiv 2206.08317)。其核心特点是非自回归解码:编码器之后通过 CIF(Continuous Integrate-and-Fire)预测器在一条前向路径中直接输出全部 token,从而显著降低推理延迟。

WeNet 团队在 examples/wenetspeech/paraformer 中提供的示例,其目标并不止于"在 WeNet 里跑通一个 NAR 模型",而是对 Paraformer-Large 进行全参数微调,使其能够通过类似 WeNet 的 chunk 方式支持流式(streaming)推理(参见 README 中的 NOTE 部分)。因此示例同时保留了:

  • 纯离线 NAR 解码模式 paraformer_greedy_search;
  • 可选的 CTC 辅助解码模式(ctc_greedy_search / ctc_prefix_beam_search);
  • 在训练阶段通过动态分块(use_dynamic_chunk: true)为后续流式推理打基础的机制。

仓库证据:模型注册表 wenet/utils/init_model.py 中 WENET_MODEL_CLASSES<a href="https://link.gitcode.com/i/45c7ff8bc84dcb39593b42fab4d3db58" target="_blank">'paraformer'] 指向 Paraformer,WENET_PREDICTOR_CLASSES['paraformer_predictor'] 指向 Predictor;编码器/解码器分别注册为 sanm_encoder / sanm_decoder(见 [wenet/models/paraformer/layers.py)。

第一步:将 FunASR 风格权重转换为 WeNet 风格

转换命令(原文档核心内容)

原文档给出的转换命令位于 examples/wenetspeech/paraformer/README.md,执行前需先准备输出目录并加载环境:

output_dir=exp/paraformer/large
mkdir -p ${output_dir}
. ./path.sh && python wenet/paraformer/convert_paraformer_to_wenet_config_and_ckpt.py \
  --output_dir ${output_dir}

其中 . ./path.sh 用于设置 WENET_DIR、PYTHONPATH 等环境变量(见 examples/wenetspeech/paraformer/path.sh)。

转换脚本做什么:四类产出物

转换脚本实现在 wenet/models/paraformer/convert_paraformer_to_wenet_config_and_ckpt.py,一次执行会向 --output_dir 写出四个文件:

产出文件 说明 关键转换逻辑
global_cmvn WeNet 风格的 JSON 格式 CMVN 统计 读取 FunASR 的 am.mvn(kaldi 风格 <AddShift>/<Rescale>),对均值取负、对方差做倒数平方变换后序列化为 mean_stat/var_stat/frame_num,见 _load_paraformer_cmvn
units.txt 词表文件(每行 token id) 由原模型 config.yaml 中的 token_list 导出,并把 <s>/</s> 分别映射为 <sos>/<eos>,见 extract_dict
train.yaml WeNet 训练配置 把原 FunASR 配置筛选字段并改写为 WeNet 结构(见下文)
wenet_paraformer.pt 转换后的权重 逐 key 重命名状态字典,见下文

权重 key 重命名规则

convert_to_wenet_state_dict 处理 FunASR 与 WeNet 的命名差异,核心映射规则:

  • predictor.cif_output2.* → predictor.tp_output.*(时间戳分支输出层);
  • predictor.cif.* → predictor.predictor.cif.*(CIF 主预测器被包裹在 Predictor 的 predictor 子模块下,见 wenet/models/paraformer/paraformer.py 的 Predictor.__init__);
  • predictor.upsample.* / predictor.blstm.* → predictor.tp_upsample_cnn.* / predictor.tp_blstm.*(准确时间戳分支的上采样 CNN 与 BLSTM);
  • decoder.embed.0.weight → embed.weight。

同时所有权重被显式转为 float() 后保存。

自动下载与参数缺省

脚本支持通过 --paraformer_config、--paraformer_cmvn、--paraformer_seg_dict、--paraformer_model 显式指定 FunASR 侧文件;若缺省,may_get_assets_and_refine_args 会自动从 ModelScope 下载 speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch 的 config.yaml、am.mvn、seg_dict、model.pt 至 ~/.wenet/cache/paraformer-offline-cn,因此直接运行上面 README 命令即可完成全流程(需联网)。该模型词表为 8404 个符号,映射后的 <unk> 为 8403,<blank>/<sos>/<eos> 分别为 0/1/2,这些值在转换脚本的 convert_to_wenet_tokenizer_conf 与配置文件 special_tokens 中保持一致。

转换生成的 train.yaml 要点

convert_to_wenet_yaml 会把原配置改写为:

  • encoder: sanm_encoder、decoder: sanm_decoder;
  • encoder_conf.input_layer = paraformer_dummy(注册为 torch.nn.Identity,见 wenet/utils/class_utils.py),pos_enc_layer_type = abs_pos_paraformer(注册为 wenet/models/paraformer/embedding.py 中的 ParaformerPositinoalEncoding,其 xscale = d_model**0.5);
  • predictor: paraformer_predictor,并把 predictor_conf 中不再使用的 upsample_type、use_cif1_cnn 删除,强制 cnn_groups=1、residual=False;
  • 输入维度由 LFR 参数推导:input_dim = lfr_m * 80 = 7 * 80 = 560,lfr_conf = {'lfr_m': 7, 'lfr_n': 6};
  • model_conf 中 predictor_bias 改写为 add_eos(用于在标签尾部为预测器追加 <eos>)。

注意:README 的转换命令使用 python wenet/paraformer/... 写法,而仓库实际脚本路径为 wenet/models/paraformer/convert_paraformer_to_wenet_config_and_ckpt.py(README 可能基于软链接或旧目录结构)。以仓库当前实际路径为准运行即可。

第二步:微调训练配置详解

微调配置文件为 examples/wenetspeech/paraformer/conf/fintune_paraformer_dynamic.yaml,字段含义逐段说明如下。

特征与前端

input_dim: 560
cmvn: global_cmvn
cmvn_conf:
  cmvn_file: exp/paraformer/large/global_cmvn
  is_json_cmvn: true
  • input_dim: 560:80 维 fbank × LFR 帧拼接系数 7(lfr_m: 7),与转换脚本推导一致;
  • CMVN 指向转换步骤产出的 global_cmvn,is_json_cmvn: true 表示使用 JSON 格式统计(WeNet 的 load_cmvn 会按 JSON 解析,见 wenet/utils/cmvn.py)。

编码器:sanm_encoder + 动态分块

encoder: sanm_encoder
encoder_conf:
  attention_dropout_rate: 0.1
  attention_heads: 4
  dropout_rate: 0.1
  input_layer: paraformer_dummy
  kernel_size: 11
  linear_units: 2048
  normalize_before: true
  num_blocks: 50
  output_size: 512
  pos_enc_layer_type: abs_pos_paraformer
  positional_dropout_rate: 0.1
  sanm_shfit: 0
  use_dynamic_chunk: true
  gradient_checkpointing: true
  • SANM(Self-Attention with Mask)编码器在 wenet/models/paraformer/layers.py 的 SanmEncoder 中实现:第一层 encoders0 负责把输入维度从 in_size(560)投影到 output_size(512),其后 49 层为常规 SANM 层;
  • kernel_size: 11 表示 SANM 相对位置注意力窗口大小,sanm_shfit: 0 为掩码偏移量;
  • use_dynamic_chunk: true 是流式化微调的关键开关:它使编码器在训练阶段模拟动态分块掩码(dynamic chunk mask),这正是 README 所说"通过 wenet-like chunk 方法实现流式推理"的机制基础;
  • gradient_checkpointing: true 用于在 50 层大模型上以计算换显存。

解码器:sanm_decoder(NAR 核心)

decoder: sanm_decoder
decoder_conf:
  att_layer_num: 16
  attention_heads: 4
  dropout_rate: 0.1
  kernel_size: 11
  linear_units: 2048
  num_blocks: 16
  positional_dropout_rate: 0.1
  sanm_shfit: 0
  self_attention_dropout_rate: 0.1
  src_attention_dropout_rate: 0.1
  gradient_checkpointing: true

SanmDecoder(wenet/models/paraformer/layers.py)与原版 Paraformer 对齐的细节:

  • 每个 SanmDecoderLayer 使用 eps=1e-12 的 LayerNorm(注释明确"ali-Paraformer need eps=1e-12");
  • 自注意力用 DummyMultiHeadSANM、交叉注意力用 MultiHeadAttentionCross;
  • 解码器末尾还有一个 decoders3 前馈模块(源码注释 "Paraformer has a deocder3");
  • 构造时断言 att_layer_num == num_blocks(此处均为 16),与官方发布的 Paraformer 结构一致。

分词器与 CTC

tokenizer: paraformer
tokenizer_conf:
  seg_dict_path: exp/paraformer/large/seg_dict
  special_tokens:
    <blank>: 0
    <eos>: 2
    <sos>: 1
    <unk>: 8403
  symbol_table_path: exp/paraformer/large/units.txt

ctc: ctc
ctc_conf:
  ctc_blank_id: 0
  • ParaformerTokenizer(wenet/text/paraformer_tokenizer.py)继承自 CharTokenizer,text2tokens 通过 tokenize_by_seg_dict 用 seg_dict(FunASR 的中文分词词典)把文本切分为 BPE 风格子词;tokens2text 调用 paraformer_beautify_result(wenet/models/paraformer/search.py)进行中文/英文/混排的还原美化;
  • 虽然 Paraformer 主解码是 NAR,模型仍保留一个 CTC 分支用于辅助训练与解码(见下文性能对比,CTC 结果也可单独评测)。

模型配置:预测器与损失权重

model: paraformer
model_conf:
  ctc_weight: 0.3
  length_normalized_loss: false
  lsm_weight: 0.1
  sampling_ratio: 0.75

predictor: paraformer_predictor
predictor_conf:
  cnn_groups: 1
  idim: 512
  l_order: 1
  noise_threshold2: 0.01
  r_order: 1
  residual: false
  smooth_factor2: 0.25
  tail_threshold: 0.45
  threshold: 1.0
  upsample_times: 3
  • predictor_conf.idim: 512 与编码器 output_size 一致;
  • threshold: 1.0 为 CIF 的积分阈值(触发一次"fire"输出一个 token),tail_threshold: 0.45 决定序列末尾是否补 token;
  • smooth_factor2 / noise_threshold2 / upsample_times 控制时间戳分支:Predictor 中 tp_upsample_cnn 为转置卷积(上采样 3 倍),配合单层双向 LSTM tp_blstm 与线性层 tp_output 估计精确帧级对齐(见 wenet/models/paraformer/paraformer.py);
  • sampling_ratio: 0.75 用于训练时的 sampler 策略(_sampler):用解码器在 no_grad 下预测的 token 与真实 token 对比,按比例随机掩掉部分 acoustic embedding,替换为 ground-truth 的 embedding,缓解 NAR 训练的 exposure bias;
  • lsm_weight: 0.1 为标签平滑,ctc_weight: 0.3 为 CTC 辅助损失权重;
  • add_eos 由转换脚本从原 predictor_bias 迁移而来,Paraformer.__init__ 会在标签尾部追加 <eos> 供预测器计数(源码注释示例:你 好 we@@ net eos)。

数据与训练超参数

dataset: asr
dataset_conf:
    filter_conf:
        max_length: 40960
        min_length: 30
        token_max_length: 200
        token_min_length: 1
    resample_conf:
        resample_rate: 16000
    speed_perturb: true
    fbank_conf:
        num_mel_bins: 80
        frame_shift: 10
        frame_length: 25
        dither: 0.1
    spec_aug: true
    spec_aug_conf:
        num_t_mask: 2
        num_f_mask: 2
        max_t: 50
        max_f: 10
    shuffle: true
    shuffle_conf:
        shuffle_size: 5000
    sort: true
    sort_conf:
        sort_size: 1000  # sort_size should be less than shuffle_size
    batch_conf:
        batch_type: 'dynamic' # static or dynamic
        batch_size: 32
        max_frames_in_batch: 36000

grad_clip: 5
accum_grad: 4
max_epoch: 20
log_interval: 100

optim: adam
optim_conf:
  lr: 0.0005
scheduler: warmuplr
scheduler_conf:
  warmup_steps: 100000
  • 动态 batch:batch_type: 'dynamic' + max_frames_in_batch: 36000 表示按总帧数而非固定条数动态组 batch(README 中称为 "batch size dynamic36000");
  • 其余为 WeNet 标准的数据增强(speed perturb、SpecAug)、排序混洗与 Adam + warmuplr 学习率策略。

第三步:训练与解码流水线(run.sh)

训练脚本为 examples/wenetspeech/paraformer/run.sh,关键变量与阶段说明如下。

数据与模型入口

data_type=shard
train_set=train_l-aishell4  # manully merge data/train_l/data.list and ../../aishell4_train/data.list into data/train_l-aishell4/data.list
dev_set=dev
test_sets="test_net test_meeting aishell4_test"

train_config=conf/fintune_paraformer_dynamic.yaml
checkpoint=exp/paraformer/large/wenet_paraformer.pt
dir=exp/finetune_paraformer_dynamic
  • 训练集为 train_l(WenetsSpeech 大型子集)与 AISHELL-4 训练集的手动合并产物,需先把两份 data.list 合并为 data/train_l-aishell4/data.list;
  • checkpoint 直接指向转换步骤产出的 wenet_paraformer.pt,实现从预训练权重全参数微调;
  • 推理引擎默认 train_engine=torch_ddp(脚本也预留了 deepspeed 分支配置 deepspeed_config=../whisper/conf/ds_stage1.json)。

Stage 0:启动微调训练

torchrun --nnodes=$num_nodes --nproc_per_node=$num_gpus \
         --rdzv_id=$job_id --rdzv_backend="c10d" --rdzv_endpoint=$HOST_NODE_ADDR \
  wenet/bin/train.py \
    --train_engine ${train_engine} \
    --config $train_config \
    --data_type  $data_type \
    --train_data data/$train_set/data.list \
    --cv_data data/$dev_set/data.list \
    ${checkpoint:+--checkpoint $checkpoint} \
    --model_dir $dir \
    --tensorboard_dir ${tensorboard_dir} \
    --ddp.dist_backend $dist_backend \
    --num_workers ${num_workers} \
    --prefetch ${prefetch} \
    --pin_memory \
    --timeout 1200 \
    --deepspeed_config ${deepspeed_config} \
    --deepspeed.save_states ${deepspeed_save_states}

脚本会自动检测 GPU 数量(nvidia-smi),也可通过设置 CUDA_VISIBLE_DEVICES 手动指定;支持 --nnodes / --rdzv_endpoint 扩展为多机训练。README 记录的微调条件为:lr 0.0005、动态 batch(单 batch 上限 36000 帧)、梯度检查点、torch_ddp、accum_grad 4、8×3090 GPU、20 个 epoch、约 4 天。

Stage 1:Deepspeed 权重聚合

若使用 deepspeed 且 deepspeed_save_states="model+optimizer",脚本遍历 $dir 下各子目录,调用 deepspeed 自动生成的 zero_to_fp32.py 将分片权重合并为独立 .pt。使用 torch_ddp 时可跳过此阶段。

Stage 2:模型平均与多模式解码

average_checkpoint=true
decode_checkpoint=$dir/final.pt
average_num=10
average_mode=epoch
decode_modes="ctc_greedy_search ctc_prefix_beam_search paraformer_greedy_search"

解码阶段先调用 wenet/bin/average_model.py 按 epoch 平均 10 个 checkpoint 得到 avg10_modeepoch.pt(README 说明 average checkpoint 效果更好),再对每个测试集执行:

python wenet/bin/recognize.py --gpu 0 \
  --modes $decode_modes \
  --config $dir/train.yaml \
  --data_type $data_type \
  --test_data data/$testset/data.list \
  --checkpoint $decode_checkpoint \
  --beam_size 10 \
  --batch_size 8 \
  --blank_penalty ${blank_penalty} \
  --ctc_weight $ctc_weight \
  --reverse_weight $reverse_weight \
  --result_dir $result_dir \
  ${decoding_chunk_size:+--decoding_chunk_size $decoding_chunk_size}

解码参数:decoding_chunk_size=-1(全量分块,即非流式推理;流式时需指定具体 chunk 大小)、ctc_weight=0.5、reverse_weight=0.0、blank_penalty 对 dev 设为 2.5、其余测试集为 0.0(README 中明确说明)。随后用 tools/compute-wer.py --char=1 --v=1 计算字级 CER。

Stage 3:导出

python wenet/bin/export_jit.py \
  --config $dir/train.yaml \
  --checkpoint $dir/avg_${average_num}.pt \
  --output_file $dir/final.zip \
  --output_quant_file $dir/final_quant.zip

将训练后的模型导出为 TorchScript(final.zip)及量化版本(final_quant.zip),供 runtime/libtorch 等 C++ 推理后端使用。Paraformer 类中提供了 forward_paraformer、forward_encoder_chunk、forward_cif_peaks 等 @torch.jit.export 方法,为运行时流式/离线推理预留了接口。

解码原理:三种模式的实现位置

在 wenet/models/paraformer/paraformer.py 的 decode 方法中,三种解码模式共用 _forward_paraformer(编码器 → CIF 预测器 → 解码器),随后分派:

模式 实现 说明
paraformer_greedy_search paraformer_greedy_search(search.py) 对 decoder log-softmax 输出取 top-1,并可由 forward_cif_peaks 生成的 CIF 峰值附带逐 token 时间戳
paraformer_beam_search paraformer_beam_search / _batch_beam_search 批式 beam 搜索,遇到 <eos> 通过 mask_finished_scores / mask_finished_preds 截止
ctc_greedy_search / ctc_prefix_beam_search ctc_greedy_search / ctc_prefix_beam_search(wenet/models/transformer/search.py) 基于编码器输出计算 CTC log 概率,支持 blank_penalty

时间戳生成逻辑在 wenet/models/paraformer/search.py 的 gen_timestamps_from_peak(阈值 START_END_THRESHOLD=5、MAX_TOKEN_DURATION=14、force_time_shift=-0.5 帧)。

性能记录与实验结论

原文档记录了官方的两类评测结果(字错误率 CER,均在同一套评测集:Wenetspeech 的 DEV / TEST_NET / TEST_MEETING 与 AISHELL4-TEST,并附 N/C/S/D/I 统计,其中 N 为总字数,C/S/D/I 分别为正确/替换/删除/插入数)。

Paraformer(原始模型)结果

解码模式 CER(DEV) CER(TEST_NET) CER(TEST_MEETING) CER(AISHELL4-TEST)
ctc greedy search N/A N/A N/A N/A
ctc prefix beam search N/A N/A N/A N/A
paraformer greedy search 3.38 % 6.74 % 6.95 % 18.37 %

原始模型不含可用 CTC 输出,故表格中 CTC 两行标记为 N/A。

Paraformer-dynamic 全参数微调结果

训练条件:lr 0.0005、动态 batch(max_frames_in_batch=36000)、梯度检查点、torch_ddp、accum_grad 4、8×3090 GPU、20 epochs、约 4 天。解码条件:ctc_weight 0.5、average_num 3(epoch 平均)、dev 集 blank penalty 2.5、其余 0.0(Git hash 当时未定,标注 TBD)。

解码模式 CER(DEV) CER(TEST_NET) CER(TEST_MEETING) CER(AISHELL4-TEST)
ctc greedy search 7.44 % 10.53 % 9.60 % 20.24 %
ctc prefix beam search 7.18 % 10.34 % 9.26 % 19.83 %
paraformer greedy search 6.63 % 7.71 % 7.34 % 18.04 %

实验结论(原文档 NOTE 摘录与解读)

  1. 微调带来流式能力、代价是离线精度回落:这是首次尝试对 paraformer-large 做微调,使其通过 wenet-like chunk 方式支持流式推理;微调后非流式指标相比原始模型有所下降,但 README 认为这是非常初步的结果,paraformer-large 在 WeNet 内微调仍有很大提升空间。
  2. 与同条件从头训练的 conformer-large 对比(对照实验见 examples/aishell/s0,同样使用 wenetspeech+aishell4 训练集):paraformer-large 的 CTC 结果稳定优于 conformer-large,其 NAR 结果也始终好于 conformer-large 的 rescore 结果。README 将原因归结为 paraformer-large 曾在约 6 万小时工业数据上预训练,具备更好的模型初始化。

需要说明:以上数据均来自原 README 的性能记录表,作为该示例的官方记录如实引用;微调后具体指标会因数据合并方式、平均策略与解码参数选择而浮动,复现时应以自测为准。

小结

通过本文梳理的完整链路——权重/配置转换 → 动态分块微调 → 多模式解码评测 → JIT 导出——开发者可以在 WeNet 框架内直接复用 Paraformer-Large 的预训练成果,并借助 WeNet 的 dynamic chunk 机制探索其流式化潜力。三个最值得关注的技术点:

  • 转换脚本(wenet/models/paraformer/convert_paraformer_to_wenet_config_and_ckpt.py)一次性产出 global_cmvn / units.txt / train.yaml / wenet_paraformer.pt,无需手工对齐字段;
  • 微调配置中的 use_dynamic_chunk、sampling_ratio 与预测器的 threshold / tail_threshold 共同决定了 NAR 模型在流式场景下的行为;
  • decode 方法同时暴露 CTC 与 NAR 两类解码,便于在精度与延迟之间做工程取舍。

后续可继续查阅 wenet/models/paraformer 目录下的 attention.py、subsampling.py、cif.py 深入理解 CIF 积分-触发机制,或参考 runtime/libtorch 了解导出模型的部署方式。

登录后查看全文
wenet