ESPnet2 低资源印度语言 ASR 配方实战:ms_indic_18(XLSR-53/wav2vec2 自监督特征 + Conformer/Transformer)训练与评测全解析
ESPnet2 低资源印度语言 ASR 配方实战:ms_indic_18(XLSR-53/wav2vec2 自监督特征 + Conformer/Transformer)训练与评测全解析
本文以 ESPnet2 的 ms_indic_18 配方(egs2/ms_indic_18/asr1)为线索,系统讲解基于 Microsoft Speech Corpus(Indian languages)语料的低资源印度语言(泰卢固语 te / 泰米尔语 ta / 古吉拉特语 gu)端到端语音识别完整流程:从语料配置、数据切分、BPE 子词建模,到三种声学模型(XLSR-53 + Conformer、wav2vec2-large + Transformer、标准 Transformer)与两种语言模型(Transformer-LM / RNN-LM)的配置要点,以及官方 README 中公布的 WER/CER/TER 评测结果。读完本文,你将掌握该配方的全部可复现细节,并理解自监督特征在低资源 ASR 中如何落地。
一、配方定位:低资源印度语言 ASR 的标准参照
ms_indic_18 是 ESPnet2 提供的面向低资源印度语言语音识别的端到端配方,其目标语料为 Microsoft Speech Corpus(Indian languages),支持三种语言:te(泰卢固语)、ta(泰米尔语)、gu(古吉拉特语)。该配方同时给出了三组完整可复现的实验配置,为后续研究者提供了一条清晰的低资源 ASR 对比基线:
- 基于 wav2vec2_xlsr_53(XLSR-53)+ Conformer 编码器的自监督特征方案;
- 基于 wav2vec2_large_ll60k + Transformer 编码器的自监督特征方案;
- 基于标准 Transformer 编码器的经典 baseline。
三组实验统一使用 Transformer-LM 与 RNN-LM 两种语言模型进行解码增强,并使用完全相同的解码参数,从而保证各方案之间指标可比。该配方对应的实验环境(记录于 README 的 Environments 节)为:Python 3.9.5、ESPnet 0.10.7a1、PyTorch 1.8.1+cu111,实验生成于 2022 年 3 月,Git commit 为 f91410f712d1287cd6809c5bf26b54c5a40fe314;该实验还发布了预训练模型(Hugging Face 上的 espnet/chai_microsoft_indian_langs_te),可在官方模型仓库中检索下载。
二、运行入口:run.sh 核心参数逐项解析
配方的训练入口是 egs2/ms_indic_18/asr1/run.sh,脚本开头定义了语言与数据集划分,随后调用通用 asr.sh 完成全流程(数据准备 → 特征提取 → token 建模 → 声学模型训练 → LM 训练 → 解码评测):
lang=te # te ta gu
train_set=train_${lang}
train_dev=dev_${lang}
test_set="${train_dev} test_${lang}"
asr_config=conf/train_asr.yaml
lm_config=conf/train_lm.yaml
inference_config=conf/decoder_asr.yaml
if [[ "zh" == *"${lang}"* ]]; then # placeholder for optimal bpe when lang=te
nbpe=2500
elif [[ "fr" == *"${lang}"* ]]; then # placeholder for optimal bpe when lang=ta
nbpe=350
elif [[ "es" == *"${lang}"* ]]; then # placeholder for optimal bpe when lang=gu
nbpe=235
else
nbpe=150
fi
./asr.sh \
--ngpu 1 \
--lang "${lang}" \
--local_data_opts "--lang ${lang}" \
--use_lm true \
--lm_config "${lm_config}" \
--token_type bpe \
--nbpe $nbpe \
--feats_type raw \
--speed_perturb_factors "0.9 1.0 1.1" \
--asr_config "${asr_config}" \
--inference_config "${inference_config}" \
--inference_asr_model valid.acc.ave.pth\
--train_set "${train_set}" \
--valid_set "${train_dev}" \
--test_sets "${test_set}" \
--min_wav_duration 0.5 \
--bpe_train_text "data/${train_set}/text" \
--lm_train_text "data/${train_set}/text" "$@"
各关键参数的作用如下:
| 参数 | 取值 | 含义与说明 |
|---|---|---|
lang |
te / ta / gu |
目标语言,切换语言只需修改此变量,数据集划分与 BPE 词表随之联动 |
train_set / valid_set / test_sets |
train_${lang} / dev_${lang} / dev_${lang} test_${lang} |
训练 / 验证 / 测试集命名,与 local/prepare_data.py 生成的 data 目录一一对应 |
--ngpu 1 |
1 | 使用 1 张 GPU 训练 |
--use_lm true |
— | 开启语言模型,后续解码时通过 lm_weight 与声学模型联合打分 |
--token_type bpe |
— | 使用 SentencePiece BPE 子词建模 |
--nbpe |
150 | 子词数量。脚本中为三种语言预留了最优 BPE 大小的注释占位(te→2500、ta→350、gu→235),默认统一回退到 150 |
--feats_type raw |
— | 直接使用原始波形(raw wav),自监督前端在模型内部做特征提取 |
--speed_perturb_factors |
"0.9 1.0 1.1" |
速度扰动(0.9×/1.0×/1.1×)数据增强,扩大训练样本多样性 |
--inference_asr_model |
valid.acc.ave.pth |
选取验证集 accuracy 平均后的模型权重用于解码 |
--min_wav_duration 0.5 |
0.5 | 过滤时长小于 0.5 秒的音频 |
--bpe_train_text / --lm_train_text |
data/${train_set}/text |
分别指定 BPE 训练文本与 LM 训练文本来源,均取自训练集标注 |
需要注意,脚本中 nbpe 的 zh/fr/es 分支是作者为 te/ta/gu 三语预留的"占位注释"(placeholder),实际取值始终走 else 分支的 150,读者若追求各语言最优 BPE 规模,可自行按注释调整。
三、语料路径配置与数据准备流程
3.1 在 db.sh 中登记语料路径
该语料不会自动下载,需要用户预先获取 Microsoft Speech Corpus(Indian languages)数据集并填写路径。在 egs2/ms_indic_18/asr1/db.sh 中找到 MS_INDIC_IS18= 一行,填入语料根目录,例如(CMU TIR 环境下的参考写法):
MS_INDIC_IS18=/path/to/microsoft_speech_corpus_indian_languages
若该变量为空,egs2/ms_indic_18/asr1/local/data.sh 会直接报错并提示 Fill the value of 'MS_INDIC_IS18' of db.sh,防止误跑。
3.2 data.sh 的分阶段流程
local/data.sh 是数据准备脚本,支持 --stage / --stop_stage 控制:
- stage 0:校验语料目录完整性,要求语料根目录下存在
${lang}-in-Train与${lang}-in-Test两个子目录,缺失即退出; - stage 1:调用 local/prepare_data.py 生成 ESPnet 标准的
data/{train,dev,test}_${lang}数据目录。
3.3 prepare_data.py 的数据切分逻辑
prepare_data.py 的核心逻辑如下:
- 读取
Train/transcription.txt与Test/transcription.txt,逐行解析wav_id 文本,音频文件位于Audios/${wav_id}.wav; - 对训练集全部句子
random.shuffle后,按累计时长切出约 2 小时(7200 秒)作为验证集,其余作为训练集; - 为 train/dev/test 三个子集分别写出
text、wav.scp、spk2utt、utt2spk四个 Kaldi 风格文件; - 所有 ID 统一加语言前缀(如
te_${wav_id}),说话人 ID 形如spk_te_${wav_id},避免跨语言配方混用时 ID 冲突。
由此产出的数据集划分即 README 评测表中 test_te 的 3040 条句子 / 28413 词(WER 统计)/ 229419 字符(CER 统计)/ 146657 token(TER 统计)。
四、三种声学模型配置深度解读
配方在 conf/tuning 目录下提供了三份声学模型配置,三组实验共用相同的 Transformer-LM / RNN-LM 与解码参数。三份配置的核心差异在于前端(frontend)与编码器的设计:自监督方案通过 fused 前端把预训练特征与经典 FBank 特征在投影后拼接,再经 preencoder 降维送入编码器。
4.1 XLSR-53 + Conformer:最优方案
配置见 conf/tuning/train_asr_xlsr53_conformer.yaml,关键结构如下:
encoder: conformer
encoder_conf:
output_size: 256
attention_heads: 4
linear_units: 2048
num_blocks: 12
dropout_rate: 0.1
positional_dropout_rate: 0.1
attention_dropout_rate: 0.1
input_layer: conv2d
normalize_before: true
macaron_style: true
pos_enc_layer_type: "rel_pos"
selfattention_layer_type: "rel_selfattn"
activation_type: "swish"
use_cnn_module: true
cnn_module_kernel: 15
frontend: fused
frontend_conf:
frontends:
- frontend_type: default
n_fft: 512
win_length: 400
hop_length: 160
- frontend_type: s3prl
frontend_conf:
upstream: xlsr_53
download_dir: ./hub
multilayer_feature: True
align_method: linear_projection
proj_dim: 200
preencoder: linear
preencoder_conf:
input_size: 400
output_size: 100
要点解读:
- fused 前端:一路是标准 FBank(
n_fft=512, win_length=400, hop_length=160),另一路是 s3prl 提取的 XLSR-53(xlsr_53,启用multilayer_feature: True融合多层 Transformer 特征);两路经linear_projection对齐后拼接; - preencoder 线性降维:
input_size: 400(200 维投影特征 + 200 维 FBank)投影到output_size: 100,再送入 Conformer。配置注释明确提醒:更换 upstream 后必须同步修改input_size; - Conformer 编码器:12 层、256 维、4 头注意力,启用相对位置编码(
rel_pos/rel_selfattn)、Macaron 结构与 CNN 模块(kernel=15),激活函数 Swish; freeze_param: ["frontend.upstream"]:冻结 XLSR-53 预训练参数,只训练其余部分,这是低资源场景控制参数量与训练成本的关键手段;- 混合 CTC/attention:
ctc_weight: 0.3、lsm_weight: 0.1(标签平滑)、length_normalized_loss: false; extract_feats_in_collect_stats: false:collect stats 阶段不真正做前端前向,而是生成 dummy stats 文件,节省自监督前端在数据统计阶段的开销;- 训练策略:Adam + warmup lr(
warmup_steps: 30000)、lr: 0.0005、max_epoch: 50、SpecAugment(时域/频域 mask 各 2 次)、batch_type: folded/batch_size: 64、keep_nbest_models: 5,模型选择标准为验证集 accuracy 最大化。
4.2 wav2vec2_large_ll60k + Transformer
配置见 conf/tuning/train_asr_wav2vec2.yaml,与 4.1 的区别在于:
- 前端 upstream 换为
wav2vec2_large_ll60k,proj_dim: 100,preencoder.input_size: 200(100 维投影 + 100 维 FBank 特征对齐),output_size: 100; - 编码器为 12 层 Transformer(
num_blocks: 12、linear_units: 2048、4 头注意力); - 该配置注释掉了
freeze_param(#freeze_param: ["frontend.upstream"]),即默认不冻结上游; - 混合 CTC/attention 的
ctc_weight: 0.1(比 XLSR-53 方案更低),lr: 0.001、warmup_steps: 20000、max_epoch: 29。
4.3 标准 Transformer baseline
配置见 conf/tuning/train_asr_transformer.yaml,不依赖任何自监督前端:
- 6 层 Transformer 编码器 + 6 层 Transformer 解码器(
linear_units: 1024、4 头注意力、output_size: 256),输入层为conv2d; ctc_weight: 0.3、lsm_weight: 0.1;batch_size: 256、lr: 0.001、warmup_steps: 25000、max_epoch: 50、patience: 3、keep_nbest_models: 10;- 配置末尾注释点明了该方案的训练经验:
xavier_uniform初始化对低资源 ASR 训练非常重要。由于keep_nbest_models: 10,其解码目录名带有_10best后缀(README 中asr_model_valid.acc.ave_10best),即对验证集 accuracy 最高的 10 个模型权重取平均后解码。
五、语言模型配置:Transformer-LM 与 RNN-LM
三组声学实验共用同一份 LM 训练文本(data/${train_set}/text),并分别训练两种架构的 LM,便于对比不同 LM 对解码的增益。
5.1 Transformer-LM
配置见 conf/tuning/train_lm_transformer.yaml:
lm: transformer
lm_conf:
pos_enc: null
embed_unit: 128
att_unit: 512
head: 8
unit: 2048
layer: 16
dropout_rate: 0.1
grad_clip: 5.0
batch_type: numel
batch_bins: 350000
accum_grad: 2
max_epoch: 25
optim: adam
optim_conf:
lr: 0.001
scheduler: warmuplr
scheduler_conf:
warmup_steps: 25000
best_model_criterion:
- - valid
- loss
- min
keep_nbest_models: 3
该 LM 为 16 层、注意力维度 512、8 头的 Transformer,按 numel 批次策略(batch_bins: 350000)控制 token 总量;模型选择标准为验证集 loss 最小化,保留 3 个最优模型。配置注释记录该 LM 使用 4 张 NVIDIA TESLA V100(16GB)训练。
5.2 RNN-LM
配置见 conf/tuning/train_lm_rnn.yaml,为 4 层 LSTM 风格 seq_rnn LM(unit: 650, nlayers: 4),batch_size: 512、lr: 0.0005、max_epoch: 30、keep_nbest_models: 3,同样以验证集 loss 最小化为选模标准。
六、统一解码配置:混合 CTC/attention 联合打分
README 明确说明:"During inference, all below models use the same decoding parameters",即所有模型共用 conf/tuning/decode_asr_transformer.yaml:
batch_size: 1
beam_size: 10
penalty: 0.0
maxlenratio: 0.0
minlenratio: 0.0
ctc_weight: 0.4
lm_weight: 0.4
各参数含义:
| 参数 | 取值 | 作用 |
|---|---|---|
beam_size |
10 | 集束搜索宽度,越大候选越充分但解码越慢 |
penalty |
0.0 | 长度惩罚系数 |
maxlenratio / minlenratio |
0.0 / 0.0 | 输出长度上下限比例,置 0 表示不额外约束 |
ctc_weight |
0.4 | 混合解码时 CTC 路径的权重,attention 路径权重为 1 − ctc_weight(0.6) |
lm_weight |
0.4 | 语言模型打分在解码中的权重,配合 --use_lm true 使用 |
解码时声学模型统一选择 valid.acc.ave.pth(或 _10best 平均),LM 侧分别使用 valid.loss.ave 与 valid.loss.best 两种选模结果,因此每套声学配置下会出现 3 条 decode 记录(RNN-LM ave / RNN-LM best / Transformer-LM ave)。
七、官方评测结果全表(README 原文继承)
以下三组结果完整来自配方根目录的 egs2/ms_indic_18/asr1/README.md(由 show_asr_result.sh 自动生成)。指标含义:WER(词错误率,按词)、CER(字符错误率,按字符)、TER(token 错误率,按 BPE 子词 token);表中 Corr/Sub/Del/Ins/Err/S.Err 分别表示正确率、替换、删除、插入、总错误率与句子错误率。评测集为 test_te(3040 句)。
7.1 方案一:XLSR-53 + Conformer(自监督特征)
对应配置 conf/tuning/train_asr_xlsr53_conformer.yaml,搭配 Transformer-LM 与 RNN-LM。
WER(词数 28413):
| dataset | Snt | Wrd | Corr | Sub | Del | Ins | Err | S.Err |
|---|---|---|---|---|---|---|---|---|
| decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te | 3040 | 28413 | 78.0 | 19.5 | 2.5 | 2.4 | 24.4 | 80.1 |
| decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.best_asr_model_valid.acc.ave/test_te | 3040 | 28413 | 78.0 | 19.4 | 2.6 | 2.4 | 24.4 | 79.7 |
| decode_transformer_lm_lm_train_lm_transformer_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te | 3040 | 28413 | 78.0 | 19.5 | 2.6 | 2.5 | 24.5 | 79.9 |
CER(字符数 229419):
| dataset | Snt | Wrd | Corr | Sub | Del | Ins | Err | S.Err |
|---|---|---|---|---|---|---|---|---|
| decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te | 3040 | 229419 | 95.6 | 2.2 | 2.2 | 1.6 | 6.1 | 80.1 |
| decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.best_asr_model_valid.acc.ave/test_te | 3040 | 229419 | 95.6 | 2.2 | 2.2 | 1.6 | 6.0 | 79.7 |
| decode_transformer_lm_lm_train_lm_transformer_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te | 3040 | 229419 | 95.6 | 2.1 | 2.2 | 1.6 | 6.0 | 79.9 |
TER(token 数 146657):
| dataset | Snt | Wrd | Corr | Sub | Del | Ins | Err | S.Err |
|---|---|---|---|---|---|---|---|---|
| decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te | 3040 | 146657 | 92.7 | 4.7 | 2.6 | 1.6 | 8.9 | 80.1 |
| decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.best_asr_model_valid.acc.ave/test_te | 3040 | 146657 | 92.8 | 4.7 | 2.6 | 1.6 | 8.9 | 79.7 |
| decode_transformer_lm_lm_train_lm_transformer_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te | 3040 | 146657 | 92.8 | 4.6 | 2.6 | 1.6 | 8.9 | 79.9 |
7.2 方案二:wav2vec2_large_ll60k + Transformer(自监督特征)
对应配置 conf/tuning/train_asr_wav2vec2.yaml。
WER(词数 28413):
| dataset | Snt | Wrd | Corr | Sub | Del | Ins | Err | S.Err |
|---|---|---|---|---|---|---|---|---|
| decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te | 3040 | 28413 | 77.3 | 20.3 | 2.4 | 2.9 | 25.6 | 79.5 |
| decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.best_asr_model_valid.acc.ave/test_te | 3040 | 28413 | 77.4 | 20.1 | 2.5 | 2.8 | 25.3 | 79.3 |
| decode_transformer_lm_lm_train_lm_transformer_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te | 3040 | 28413 | 77.5 | 20.1 | 2.4 | 2.8 | 25.3 | 79.6 |
CER(字符数 229419):
| dataset | Snt | Wrd | Corr | Sub | Del | Ins | Err | S.Err |
|---|---|---|---|---|---|---|---|---|
| decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te | 3040 | 229419 | 95.0 | 2.5 | 2.5 | 1.8 | 6.8 | 79.5 |
| decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.best_asr_model_valid.acc.ave/test_te | 3040 | 229419 | 95.1 | 2.4 | 2.5 | 1.8 | 6.7 | 79.3 |
| decode_transformer_lm_lm_train_lm_transformer_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te | 3040 | 229419 | 95.1 | 2.4 | 2.5 | 1.7 | 6.6 | 79.6 |
TER(token 数 146657):
| dataset | Snt | Wrd | Corr | Sub | Del | Ins | Err | S.Err |
|---|---|---|---|---|---|---|---|---|
| decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te | 3040 | 146657 | 91.8 | 5.2 | 3.0 | 1.8 | 9.9 | 79.5 |
| decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.best_asr_model_valid.acc.ave/test_te | 3040 | 146657 | 91.9 | 5.1 | 2.9 | 1.8 | 9.8 | 79.3 |
| decode_transformer_lm_lm_train_lm_transformer_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave/test_te | 3040 | 146657 | 92.0 | 5.1 | 3.0 | 1.7 | 9.7 | 79.6 |
7.3 方案三:标准 Transformer baseline
对应配置 conf/tuning/train_asr_transformer.yaml,解码使用 _10best 平均权重。
WER(词数 28413):
| dataset | Snt | Wrd | Corr | Sub | Del | Ins | Err | S.Err |
|---|---|---|---|---|---|---|---|---|
| decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave_10best/test_te | 3040 | 28413 | 75.7 | 22.0 | 2.4 | 3.2 | 27.6 | 82.7 |
| decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.best_asr_model_valid.acc.ave_10best/test_te | 3040 | 28413 | 75.9 | 21.8 | 2.4 | 3.1 | 27.3 | 82.2 |
| decode_transformer_lm_lm_train_lm_transformer_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave_10best/test_te | 3040 | 28413 | 76.1 | 21.5 | 2.4 | 3.1 | 27.0 | 82.6 |
CER(字符数 229419):
| dataset | Snt | Wrd | Corr | Sub | Del | Ins | Err | S.Err |
|---|---|---|---|---|---|---|---|---|
| decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave_10best/test_te | 3040 | 229419 | 94.7 | 2.7 | 2.6 | 2.0 | 7.3 | 82.7 |
| decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.best_asr_model_valid.acc.ave_10best/test_te | 3040 | 229419 | 94.8 | 2.7 | 2.6 | 2.0 | 7.2 | 82.2 |
| decode_transformer_lm_lm_train_lm_transformer_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave_10best/test_te | 3040 | 229419 | 94.8 | 2.6 | 2.6 | 2.0 | 7.1 | 82.6 |
TER(token 数 146657):
| dataset | Snt | Wrd | Corr | Sub | Del | Ins | Err | S.Err |
|---|---|---|---|---|---|---|---|---|
| decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave_10best/test_te | 3040 | 146657 | 91.1 | 5.8 | 3.1 | 2.0 | 10.9 | 82.7 |
| decode_transformer_lm_lm_train_lm_rnn_te_bpe150_valid.loss.best_asr_model_valid.acc.ave_10best/test_te | 3040 | 146657 | 91.3 | 5.7 | 3.1 | 2.0 | 10.7 | 82.2 |
| decode_transformer_lm_lm_train_lm_transformer_te_bpe150_valid.loss.ave_asr_model_valid.acc.ave_10best/test_te | 3040 | 146657 | 91.4 | 5.5 | 3.1 | 1.9 | 10.6 | 82.6 |
7.4 结果观察
从三组数据可以清晰看到自监督预训练特征对低资源 ASR 的显著增益:
- 在词级 WER 上,XLSR-53 + Conformer 方案约 24.4%,wav2vec2-large + Transformer 约 25.3%,而标准 Transformer baseline 约 27.0%~27.6%;
- 在字符级 CER 上,自监督方案达到 6.0%~6.8%,baseline 为 7.1%~7.3%;token 级 TER 上,自监督方案为 8.9%~9.9%,baseline 为 10.6%~10.9%;
- 句子级错误率(S.Err)普遍较高(79%~83%),说明该低资源任务中整句完全正确的比例仍然有限,这也侧面反映印度语言语料在声学与标注层面的难度;
- 三种方案下 Transformer-LM 与 RNN-LM 的最终指标差异较小(WER 差距约 0.1~0.3 个百分点),说明在
lm_weight: 0.4的统一解码设置下,LM 架构选择对结果的敏感度不高。
以上结果均为该配方实验环境下的实测记录(espnet 0.10.7a1 / PyTorch 1.8.1),若使用当前仓库更新版本的代码重新运行,指标可能因框架演进而略有差异,应以复跑结果为准。
八、从零复现与横向扩展建议
8.1 复现步骤
- 获取语料:向 Microsoft 申请/下载 Speech Corpus(Indian languages)数据集,确认目录结构包含各语言的
-in-Train与-in-Test子目录及transcription.txt; - 登记路径:编辑 db.sh,设置
MS_INDIC_IS18; - 运行数据准备:在
egs2/ms_indic_18/asr1目录下执行./run.sh --local_data_opts "--lang te"(或将run.sh中lang改为ta/gu),asr.sh会自动按 stage 依次完成数据准备、BPE 训练、特征/SSL 特征提取(fused 前端)、ASR 训练、LM 训练与解码评测; - 切换模型配置:将
run.sh中的asr_config指向conf/tuning/train_asr_xlsr53_conformer.yaml、train_asr_wav2vec2.yaml或train_asr_transformer.yaml之一,lm_config指向conf/tuning/train_lm_transformer.yaml或train_lm_rnn.yaml; - 查看结果:配方根目录的 README 由 scripts/utils/show_asr_result.sh 自动生成,复跑后可在
exp/下查看各 decode 目录并重新生成结果表。
8.2 扩展思路
- 语言维度:
run.sh与prepare_data.py已按语言参数化,只需语料就位即可扩展到同一语料包内的其他印度语言; - BPE 规模调优:按
run.sh中的注释为 te/ta/gu 分别尝试 2500 / 350 / 235 等不同nbpe,观察指标变化; - 自监督上游替换:替换
fused前端中的upstream(如更换为其他 XLSR/wav2vec2 变体)时,务必同步调整preencoder.input_size与proj_dim(两份自监督配置中 400→200、200→100 的对应关系即为实例); - 微调冻结策略:对比
freeze_param冻结与不冻结上游两种设置对低资源收敛速度与最终指标的影响,可参考两份配置中该字段的注释差异。
九、相关文件索引
| 用途 | 路径 |
|---|---|
| 训练入口脚本 | egs2/ms_indic_18/asr1/run.sh |
| 语料路径配置 | egs2/ms_indic_18/asr1/db.sh |
| 数据准备脚本 | egs2/ms_indic_18/asr1/local/data.sh、egs2/ms_indic_18/asr1/local/prepare_data.py |
| XLSR-53 + Conformer 配置 | egs2/ms_indic_18/asr1/conf/tuning/train_asr_xlsr53_conformer.yaml |
| wav2vec2 + Transformer 配置 | egs2/ms_indic_18/asr1/conf/tuning/train_asr_wav2vec2.yaml |
| 标准 Transformer 配置 | egs2/ms_indic_18/asr1/conf/tuning/train_asr_transformer.yaml |
| Transformer-LM / RNN-LM 配置 | egs2/ms_indic_18/asr1/conf/tuning/train_lm_transformer.yaml、egs2/ms_indic_18/asr1/conf/tuning/train_lm_rnn.yaml |
| 统一解码配置 | egs2/ms_indic_18/asr1/conf/tuning/decode_asr_transformer.yaml |
| 评测结果生成脚本 | egs2/ms_indic_18/asr1/scripts/utils/show_asr_result.sh |
| 结果文档(本文章数据来源) | egs2/ms_indic_18/asr1/README.md |
总体而言,ms_indic_18 配方是 ESPnet2 中"自监督预训练特征 + 端到端 ASR"在低资源多语言场景下的一个完整、可复现的参考实现:它把数据切分、BPE 建模、fused 前端、混合 CTC/attention 训练与 LM 增强解码串成一条开箱即用的流水线,其公开评测结果为后续研究提供了可信的对比基线。