ESPnet2 低资源印度语言 ASR 配方实战:ms_indic_18(XLSR-53/wav2vec2 自监督特征 + Conformer/Transformer)训练与评测全解析

原创2026-09-24 22:06:482,228 阅读
文章标签:语音深度学习人工智能机器学习音频处理

ESPnet2 低资源印度语言 ASR 配方实战:ms_indic_18(XLSR-53/wav2vec2 自监督特征 + Conformer/Transformer)训练与评测全解析

本文以 ESPnet2 的 ms_indic_18 配方(egs2/ms_indic_18/asr1)为线索,系统讲解基于 Microsoft Speech Corpus(Indian languages)语料的低资源印度语言(泰卢固语 te / 泰米尔语 ta / 古吉拉特语 gu)端到端语音识别完整流程:从语料配置、数据切分、BPE 子词建模,到三种声学模型(XLSR-53 + Conformer、wav2vec2-large + Transformer、标准 Transformer)与两种语言模型(Transformer-LM / RNN-LM)的配置要点,以及官方 README 中公布的 WER/CER/TER 评测结果。读完本文,你将掌握该配方的全部可复现细节,并理解自监督特征在低资源 ASR 中如何落地。

一、配方定位:低资源印度语言 ASR 的标准参照

ms_indic_18 是 ESPnet2 提供的面向低资源印度语言语音识别的端到端配方,其目标语料为 Microsoft Speech Corpus(Indian languages),支持三种语言:te(泰卢固语)、ta(泰米尔语)、gu(古吉拉特语)。该配方同时给出了三组完整可复现的实验配置,为后续研究者提供了一条清晰的低资源 ASR 对比基线:

  • 基于 wav2vec2_xlsr_53(XLSR-53)+ Conformer 编码器的自监督特征方案;
  • 基于 wav2vec2_large_ll60k + Transformer 编码器的自监督特征方案;
  • 基于标准 Transformer 编码器的经典 baseline。

三组实验统一使用 Transformer-LM 与 RNN-LM 两种语言模型进行解码增强,并使用完全相同的解码参数,从而保证各方案之间指标可比。该配方对应的实验环境(记录于 README 的 Environments 节)为:Python 3.9.5、ESPnet 0.10.7a1、PyTorch 1.8.1+cu111,实验生成于 2022 年 3 月,Git commit 为 f91410f712d1287cd6809c5bf26b54c5a40fe314;该实验还发布了预训练模型(Hugging Face 上的 espnet/chai_microsoft_indian_langs_te),可在官方模型仓库中检索下载。

二、运行入口:run.sh 核心参数逐项解析

配方的训练入口是 egs2/ms_indic_18/asr1/run.sh,脚本开头定义了语言与数据集划分,随后调用通用 asr.sh 完成全流程(数据准备 → 特征提取 → token 建模 → 声学模型训练 → LM 训练 → 解码评测):

lang=te # te ta gu

train_set=train_${lang}
train_dev=dev_${lang}
test_set="${train_dev} test_${lang}"

asr_config=conf/train_asr.yaml
lm_config=conf/train_lm.yaml
inference_config=conf/decoder_asr.yaml

if [[ "zh" == *"${lang}"* ]]; then # placeholder for optimal bpe when lang=te
  nbpe=2500
elif [[ "fr" == *"${lang}"* ]]; then # placeholder for optimal bpe when lang=ta
  nbpe=350
elif [[ "es" == *"${lang}"* ]]; then # placeholder for optimal bpe when lang=gu
  nbpe=235
else
  nbpe=150
fi

./asr.sh \
    --ngpu 1 \
    --lang "${lang}" \
    --local_data_opts "--lang ${lang}" \
    --use_lm true \
    --lm_config "${lm_config}" \
    --token_type bpe \
    --nbpe $nbpe \
    --feats_type raw \
    --speed_perturb_factors "0.9 1.0 1.1" \
    --asr_config "${asr_config}" \
    --inference_config "${inference_config}" \
    --inference_asr_model valid.acc.ave.pth\
    --train_set "${train_set}" \
    --valid_set "${train_dev}" \
    --test_sets "${test_set}" \
    --min_wav_duration 0.5 \
    --bpe_train_text "data/${train_set}/text" \
    --lm_train_text "data/${train_set}/text" "$@"

各关键参数的作用如下:

参数 取值 含义与说明
lang te / ta / gu 目标语言,切换语言只需修改此变量,数据集划分与 BPE 词表随之联动
train_set / valid_set / test_sets train_${lang} / dev_${lang} / dev_${lang} test_${lang} 训练 / 验证 / 测试集命名,与 local/prepare_data.py 生成的 data 目录一一对应
--ngpu 1 1 使用 1 张 GPU 训练
--use_lm true — 开启语言模型,后续解码时通过 lm_weight 与声学模型联合打分
--token_type bpe — 使用 SentencePiece BPE 子词建模
--nbpe 150 子词数量。脚本中为三种语言预留了最优 BPE 大小的注释占位(te→2500、ta→350、gu→235),默认统一回退到 150
--feats_type raw — 直接使用原始波形(raw wav),自监督前端在模型内部做特征提取
--speed_perturb_factors "0.9 1.0 1.1" 速度扰动(0.9×/1.0×/1.1×)数据增强,扩大训练样本多样性
--inference_asr_model valid.acc.ave.pth 选取验证集 accuracy 平均后的模型权重用于解码
--min_wav_duration 0.5 0.5 过滤时长小于 0.5 秒的音频
--bpe_train_text / --lm_train_text data/${train_set}/text 分别指定 BPE 训练文本与 LM 训练文本来源,均取自训练集标注

需要注意,脚本中 nbpe 的 zh/fr/es 分支是作者为 te/ta/gu 三语预留的"占位注释"(placeholder),实际取值始终走 else 分支的 150,读者若追求各语言最优 BPE 规模,可自行按注释调整。

三、语料路径配置与数据准备流程

3.1 在 db.sh 中登记语料路径

该语料不会自动下载,需要用户预先获取 Microsoft Speech Corpus(Indian languages)数据集并填写路径。在 egs2/ms_indic_18/asr1/db.sh 中找到 MS_INDIC_IS18= 一行,填入语料根目录,例如(CMU TIR 环境下的参考写法):

MS_INDIC_IS18=/path/to/microsoft_speech_corpus_indian_languages

若该变量为空,egs2/ms_indic_18/asr1/local/data.sh 会直接报错并提示 Fill the value of 'MS_INDIC_IS18' of db.sh,防止误跑。

3.2 data.sh 的分阶段流程

local/data.sh 是数据准备脚本,支持 --stage / --stop_stage 控制:

  • stage 0:校验语料目录完整性,要求语料根目录下存在 ${lang}-in-Train 与 ${lang}-in-Test 两个子目录,缺失即退出;
  • stage 1:调用 local/prepare_data.py 生成 ESPnet 标准的 data/{train,dev,test}_${lang} 数据目录。

3.3 prepare_data.py 的数据切分逻辑

prepare_data.py 的核心逻辑如下:

  • 读取 Train/transcription.txt 与 Test/transcription.txt,逐行解析 wav_id 文本,音频文件位于 Audios/${wav_id}.wav;
  • 对训练集全部句子 random.shuffle 后,按累计时长切出约 2 小时(7200 秒)作为验证集,其余作为训练集;
  • 为 train/dev/test 三个子集分别写出 text、wav.scp、spk2utt、utt2spk 四个 Kaldi 风格文件;
  • 所有 ID 统一加语言前缀(如 te_${wav_id}),说话人 ID 形如 spk_te_${wav_id},避免跨语言配方混用时 ID 冲突。

由此产出的数据集划分即 README 评测表中 test_te 的 3040 条句子 / 28413 词(WER 统计)/ 229419 字符(CER 统计)/ 146657 token(TER 统计)。

四、三种声学模型配置深度解读

配方在 conf/tuning 目录下提供了三份声学模型配置,三组实验共用相同的 Transformer-LM / RNN-LM 与解码参数。三份配置的核心差异在于前端(frontend)与编码器的设计:自监督方案通过 fused 前端把预训练特征与经典 FBank 特征在投影后拼接,再经 preencoder 降维送入编码器。

4.1 XLSR-53 + Conformer:最优方案

配置见 conf/tuning/train_asr_xlsr53_conformer.yaml,关键结构如下:

encoder: conformer
encoder_conf:
  output_size: 256
  attention_heads: 4
  linear_units: 2048
  num_blocks: 12
  dropout_rate: 0.1
  positional_dropout_rate: 0.1
  attention_dropout_rate: 0.1
  input_layer: conv2d
  normalize_before: true
  macaron_style: true
  pos_enc_layer_type: "rel_pos"
  selfattention_layer_type: "rel_selfattn"
  activation_type: "swish"
  use_cnn_module: true
  cnn_module_kernel: 15

frontend: fused
frontend_conf:
  frontends:
    - frontend_type: default
      n_fft: 512
      win_length: 400
      hop_length: 160
    - frontend_type: s3prl
      frontend_conf:
        upstream: xlsr_53
      download_dir: ./hub
      multilayer_feature: True
  align_method: linear_projection
  proj_dim: 200

preencoder: linear
preencoder_conf:
  input_size: 400
  output_size: 100

要点解读:

  • fused 前端:一路是标准 FBank(n_fft=512, win_length=400, hop_length=160),另一路是 s3prl 提取的 XLSR-53(xlsr_53,启用 multilayer_feature: True 融合多层 Transformer 特征);两路经 linear_projection 对齐后拼接;
  • preencoder 线性降维:input_size: 400(200 维投影特征 + 200 维 FBank)投影到 output_size: 100,再送入 Conformer。配置注释明确提醒:更换 upstream 后必须同步修改 input_size;
  • Conformer 编码器:12 层、256 维、4 头注意力,启用相对位置编码(rel_pos / rel_selfattn)、Macaron 结构与 CNN 模块(kernel=15),激活函数 Swish;
  • freeze_param: ["frontend.upstream"]:冻结 XLSR-53 预训练参数,只训练其余部分,这是低资源场景控制参数量与训练成本的关键手段;
  • 混合 CTC/attention:ctc_weight: 0.3、lsm_weight: 0.1(标签平滑)、length_normalized_loss: false;
  • extract_feats_in_collect_stats: false:collect stats 阶段不真正做前端前向,而是生成 dummy stats 文件,节省自监督前端在数据统计阶段的开销;
  • 训练策略:Adam + warmup lr(warmup_steps: 30000)、lr: 0.0005、max_epoch: 50、SpecAugment(时域/频域 mask 各 2 次)、batch_type: folded / batch_size: 64、keep_nbest_models: 5,模型选择标准为验证集 accuracy 最大化。

4.2 wav2vec2_large_ll60k + Transformer

配置见 conf/tuning/train_asr_wav2vec2.yaml,与 4.1 的区别在于:

  • 前端 upstream 换为 wav2vec2_large_ll60k,proj_dim: 100,preencoder.input_size: 200(100 维投影 + 100 维 FBank 特征对齐),output_size: 100;
  • 编码器为 12 层 Transformer(num_blocks: 12、linear_units: 2048、4 头注意力);
  • 该配置注释掉了 freeze_param(#freeze_param: ["frontend.upstream"]),即默认不冻结上游;
  • 混合 CTC/attention 的 ctc_weight: 0.1(比 XLSR-53 方案更低),lr: 0.001、warmup_steps: 20000、max_epoch: 29。

4.3 标准 Transformer baseline

配置见 conf/tuning/train_asr_transformer.yaml,不依赖任何自监督前端:

  • 6 层 Transformer 编码器 + 6 层 Transformer 解码器(linear_units: 1024、4 头注意力、output_size: 256),输入层为 conv2d;
  • ctc_weight: 0.3、lsm_weight: 0.1;
  • batch_size: 256、lr: 0.001、warmup_steps: 25000、max_epoch: 50、patience: 3、keep_nbest_models: 10;
  • 配置末尾注释点明了该方案的训练经验:xavier_uniform 初始化对低资源 ASR 训练非常重要。由于 keep_nbest_models: 10,其解码目录名带有 _10best 后缀(README 中 asr_model_valid.acc.ave_10best),即对验证集 accuracy 最高的 10 个模型权重取平均后解码。

五、语言模型配置:Transformer-LM 与 RNN-LM

三组声学实验共用同一份 LM 训练文本(data/${train_set}/text),并分别训练两种架构的 LM,便于对比不同 LM 对解码的增益。

5.1 Transformer-LM

配置见 conf/tuning/train_lm_transformer.yaml:

lm: transformer
lm_conf:
  pos_enc: null
  embed_unit: 128
  att_unit: 512
  head: 8
  unit: 2048
  layer: 16
  dropout_rate: 0.1

grad_clip: 5.0
batch_type: numel
batch_bins: 350000
accum_grad: 2
max_epoch: 25
optim: adam
optim_conf:
  lr: 0.001
scheduler: warmuplr
scheduler_conf:
  warmup_steps: 25000
best_model_criterion:
- - valid
  - loss
  - min
keep_nbest_models: 3

该 LM 为 16 层、注意力维度 512、8 头的 Transformer,按 numel 批次策略(batch_bins: 350000)控制 token 总量;模型选择标准为验证集 loss 最小化,保留 3 个最优模型。配置注释记录该 LM 使用 4 张 NVIDIA TESLA V100(16GB)训练。

5.2 RNN-LM

配置见 conf/tuning/train_lm_rnn.yaml,为 4 层 LSTM 风格 seq_rnn LM(unit: 650, nlayers: 4),batch_size: 512、lr: 0.0005、max_epoch: 30、keep_nbest_models: 3,同样以验证集 loss 最小化为选模标准。

六、统一解码配置:混合 CTC/attention 联合打分

README 明确说明:"During inference, all below models use the same decoding parameters",即所有模型共用 conf/tuning/decode_asr_transformer.yaml:

batch_size: 1
beam_size: 10
penalty: 0.0
maxlenratio: 0.0
minlenratio: 0.0
ctc_weight: 0.4
lm_weight: 0.4

各参数含义:

参数 取值 作用
beam_size 10 集束搜索宽度,越大候选越充分但解码越慢
penalty 0.0 长度惩罚系数
maxlenratio / minlenratio 0.0 / 0.0 输出长度上下限比例,置 0 表示不额外约束
ctc_weight 0.4 混合解码时 CTC 路径的权重,attention 路径权重为 1 − ctc_weight(0.6)
lm_weight 0.4 语言模型打分在解码中的权重,配合 --use_lm true 使用

解码时声学模型统一选择 valid.acc.ave.pth(或 _10best 平均),LM 侧分别使用 valid.loss.ave 与 valid.loss.best 两种选模结果,因此每套声学配置下会出现 3 条 decode 记录(RNN-LM ave / RNN-LM best / Transformer-LM ave)。

七、官方评测结果全表(README 原文继承)

以下三组结果完整来自配方根目录的 egs2/ms_indic_18/asr1/README.md(由 show_asr_result.sh 自动生成)。指标含义:WER(词错误率,按词)、CER(字符错误率,按字符)、TER(token 错误率,按 BPE 子词 token);表中 Corr/Sub/Del/Ins/Err/S.Err 分别表示正确率、替换、删除、插入、总错误率与句子错误率。评测集为 test_te(3040 句)。

7.1 方案一:XLSR-53 + Conformer(自监督特征)

对应配置 conf/tuning/train_asr_xlsr53_conformer.yaml,搭配 Transformer-LM 与 RNN-LM。

WER(词数 28413):

dataset Snt Wrd Corr Sub Del Ins Err S.Err
decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te 3040 28413 78.0 19.5 2.5 2.4 24.4 80.1
decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.best_asr_model_valid.acc.ave/test_te 3040 28413 78.0 19.4 2.6 2.4 24.4 79.7
decode_transformer_lm_lm_train_lm_transformer_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te 3040 28413 78.0 19.5 2.6 2.5 24.5 79.9

CER(字符数 229419):

dataset Snt Wrd Corr Sub Del Ins Err S.Err
decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te 3040 229419 95.6 2.2 2.2 1.6 6.1 80.1
decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.best_asr_model_valid.acc.ave/test_te 3040 229419 95.6 2.2 2.2 1.6 6.0 79.7
decode_transformer_lm_lm_train_lm_transformer_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te 3040 229419 95.6 2.1 2.2 1.6 6.0 79.9

TER(token 数 146657):

dataset Snt Wrd Corr Sub Del Ins Err S.Err
decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te 3040 146657 92.7 4.7 2.6 1.6 8.9 80.1
decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.best_asr_model_valid.acc.ave/test_te 3040 146657 92.8 4.7 2.6 1.6 8.9 79.7
decode_transformer_lm_lm_train_lm_transformer_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te 3040 146657 92.8 4.6 2.6 1.6 8.9 79.9

7.2 方案二:wav2vec2_large_ll60k + Transformer(自监督特征)

对应配置 conf/tuning/train_asr_wav2vec2.yaml。

WER(词数 28413):

dataset Snt Wrd Corr Sub Del Ins Err S.Err
decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te 3040 28413 77.3 20.3 2.4 2.9 25.6 79.5
decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.best_asr_model_valid.acc.ave/test_te 3040 28413 77.4 20.1 2.5 2.8 25.3 79.3
decode_transformer_lm_lm_train_lm_transformer_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te 3040 28413 77.5 20.1 2.4 2.8 25.3 79.6

CER(字符数 229419):

dataset Snt Wrd Corr Sub Del Ins Err S.Err
decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te 3040 229419 95.0 2.5 2.5 1.8 6.8 79.5
decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.best_asr_model_valid.acc.ave/test_te 3040 229419 95.1 2.4 2.5 1.8 6.7 79.3
decode_transformer_lm_lm_train_lm_transformer_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te 3040 229419 95.1 2.4 2.5 1.7 6.6 79.6

TER(token 数 146657):

dataset Snt Wrd Corr Sub Del Ins Err S.Err
decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te 3040 146657 91.8 5.2 3.0 1.8 9.9 79.5
decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.best_asr_model_valid.acc.ave/test_te 3040 146657 91.9 5.1 2.9 1.8 9.8 79.3
decode_transformer_lm_lm_train_lm_transformer_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te 3040 146657 92.0 5.1 3.0 1.7 9.7 79.6

7.3 方案三:标准 Transformer baseline

对应配置 conf/tuning/train_asr_transformer.yaml,解码使用 _10best 平均权重。

WER(词数 28413):

dataset Snt Wrd Corr Sub Del Ins Err S.Err
decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave_10best/test_te 3040 28413 75.7 22.0 2.4 3.2 27.6 82.7
decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.best_asr_model_valid.acc.ave_10best/test_te 3040 28413 75.9 21.8 2.4 3.1 27.3 82.2
decode_transformer_lm_lm_train_lm_transformer_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave_10best/test_te 3040 28413 76.1 21.5 2.4 3.1 27.0 82.6

CER(字符数 229419):

dataset Snt Wrd Corr Sub Del Ins Err S.Err
decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave_10best/test_te 3040 229419 94.7 2.7 2.6 2.0 7.3 82.7
decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.best_asr_model_valid.acc.ave_10best/test_te 3040 229419 94.8 2.7 2.6 2.0 7.2 82.2
decode_transformer_lm_lm_train_lm_transformer_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave_10best/test_te 3040 229419 94.8 2.6 2.6 2.0 7.1 82.6

TER(token 数 146657):

dataset Snt Wrd Corr Sub Del Ins Err S.Err
decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave_10best/test_te 3040 146657 91.1 5.8 3.1 2.0 10.9 82.7
decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.best_asr_model_valid.acc.ave_10best/test_te 3040 146657 91.3 5.7 3.1 2.0 10.7 82.2
decode_transformer_lm_lm_train_lm_transformer_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave_10best/test_te 3040 146657 91.4 5.5 3.1 1.9 10.6 82.6

7.4 结果观察

从三组数据可以清晰看到自监督预训练特征对低资源 ASR 的显著增益:

  • 在词级 WER 上,XLSR-53 + Conformer 方案约 24.4%,wav2vec2-large + Transformer 约 25.3%,而标准 Transformer baseline 约 27.0%~27.6%;
  • 在字符级 CER 上,自监督方案达到 6.0%~6.8%,baseline 为 7.1%~7.3%;token 级 TER 上,自监督方案为 8.9%~9.9%,baseline 为 10.6%~10.9%;
  • 句子级错误率(S.Err)普遍较高(79%~83%),说明该低资源任务中整句完全正确的比例仍然有限,这也侧面反映印度语言语料在声学与标注层面的难度;
  • 三种方案下 Transformer-LM 与 RNN-LM 的最终指标差异较小(WER 差距约 0.1~0.3 个百分点),说明在 lm_weight: 0.4 的统一解码设置下,LM 架构选择对结果的敏感度不高。

以上结果均为该配方实验环境下的实测记录(espnet 0.10.7a1 / PyTorch 1.8.1),若使用当前仓库更新版本的代码重新运行,指标可能因框架演进而略有差异,应以复跑结果为准。

八、从零复现与横向扩展建议

8.1 复现步骤

  1. 获取语料:向 Microsoft 申请/下载 Speech Corpus(Indian languages)数据集,确认目录结构包含各语言的 -in-Train 与 -in-Test 子目录及 transcription.txt;
  2. 登记路径:编辑 db.sh,设置 MS_INDIC_IS18;
  3. 运行数据准备:在 egs2/ms_indic_18/asr1 目录下执行 ./run.sh --local_data_opts "--lang te"(或将 run.sh 中 lang 改为 ta / gu),asr.sh 会自动按 stage 依次完成数据准备、BPE 训练、特征/SSL 特征提取(fused 前端)、ASR 训练、LM 训练与解码评测;
  4. 切换模型配置:将 run.sh 中的 asr_config 指向 conf/tuning/train_asr_xlsr53_conformer.yaml、train_asr_wav2vec2.yaml 或 train_asr_transformer.yaml 之一,lm_config 指向 conf/tuning/train_lm_transformer.yaml 或 train_lm_rnn.yaml;
  5. 查看结果:配方根目录的 README 由 scripts/utils/show_asr_result.sh 自动生成,复跑后可在 exp/ 下查看各 decode 目录并重新生成结果表。

8.2 扩展思路

  • 语言维度:run.sh 与 prepare_data.py 已按语言参数化,只需语料就位即可扩展到同一语料包内的其他印度语言;
  • BPE 规模调优:按 run.sh 中的注释为 te/ta/gu 分别尝试 2500 / 350 / 235 等不同 nbpe,观察指标变化;
  • 自监督上游替换:替换 fused 前端中的 upstream(如更换为其他 XLSR/wav2vec2 变体)时,务必同步调整 preencoder.input_size 与 proj_dim(两份自监督配置中 400→200、200→100 的对应关系即为实例);
  • 微调冻结策略:对比 freeze_param 冻结与不冻结上游两种设置对低资源收敛速度与最终指标的影响,可参考两份配置中该字段的注释差异。

九、相关文件索引

用途 路径
训练入口脚本 egs2/ms_indic_18/asr1/run.sh
语料路径配置 egs2/ms_indic_18/asr1/db.sh
数据准备脚本 egs2/ms_indic_18/asr1/local/data.sh、egs2/ms_indic_18/asr1/local/prepare_data.py
XLSR-53 + Conformer 配置 egs2/ms_indic_18/asr1/conf/tuning/train_asr_xlsr53_conformer.yaml
wav2vec2 + Transformer 配置 egs2/ms_indic_18/asr1/conf/tuning/train_asr_wav2vec2.yaml
标准 Transformer 配置 egs2/ms_indic_18/asr1/conf/tuning/train_asr_transformer.yaml
Transformer-LM / RNN-LM 配置 egs2/ms_indic_18/asr1/conf/tuning/train_lm_transformer.yaml、egs2/ms_indic_18/asr1/conf/tuning/train_lm_rnn.yaml
统一解码配置 egs2/ms_indic_18/asr1/conf/tuning/decode_asr_transformer.yaml
评测结果生成脚本 egs2/ms_indic_18/asr1/scripts/utils/show_asr_result.sh
结果文档(本文章数据来源) egs2/ms_indic_18/asr1/README.md

总体而言,ms_indic_18 配方是 ESPnet2 中"自监督预训练特征 + 端到端 ASR"在低资源多语言场景下的一个完整、可复现的参考实现:它把数据切分、BPE 建模、fused 前端、混合 CTC/attention 训练与 LM 增强解码串成一条开箱即用的流水线,其公开评测结果为后续研究提供了可信的对比基线。

登录后查看全文
espnet