MuST-C v2 英德语音翻译实战:ESPnet2 ST Recipe 从数据准备到 BLEU 评测全流程
MuST-C v2 英德语音翻译实战:ESPnet2 ST Recipe 从数据准备到 BLEU 评测全流程
本文基于 ESPnet2 仓库中
egs2/must_c_v2/st1/这一端到端语音翻译(ST)recipe 展开,围绕其 README 记录的 5 组已发布实验结果,完整讲解 MuST-C v2 英→德语料在 ESPnet2 上的离线 ST 训练、多种模型结构对比(注意力编码器-解码器、多解码器、CTC/Attention、Transducer)、模型下载与推理复现方法,以及 BLEU/CHRF/TER 评测结果的可视化与解读。读完本文,你可以独立复现表内全部实验,并掌握 ESPnet2 ST 任务的 recipe 骨架与配置调优要点。
一、Recipe 总览:一条指令跑通端到端 ST
egs2/must_c_v2/st1/ 是 ESPnet2 中 MuST-C v2 语料(英语→德语方向)的完整 ST recipe,其目录结构清晰地划分了数据准备、配置、脚本与工具链:
- run.sh:用户入口脚本,定义语料方向、数据集划分、token 类型与训练/推理配置,并委托给 st.sh 执行全部 stage;
- st.sh:任务无关的 ST 流水线主脚本,涵盖 stage 1~15(数据准备、速度扰动、特征 dump、长短句过滤、BPE 训练、统计收集、训练、解码、评分、打包与上传);
- local/、conf/:语料专属的数据准备脚本与训练/推理配置;
- db.sh:声明
MUST_C环境变量,指向本地语料存放路径。
在开始任何实验之前,需要先按 tools/installers 中的说明完成 ESPnet2 环境安装,并确认已安装 Moses(tokenizer.perl 与 detokenizer.perl 用于文本 tokenize/detokenize,local/data.sh 会在数据准备阶段强制检查该命令)。此外,评测环节依赖 sacrebleu 计算 BLEU/CHRF/TER。
二、数据准备与 run.sh 参数解析
2.1 数据集划分与语料下载
run.sh 将 MuST-C v2 英德语料划分为三个集合:
train_set=train.en-de
train_dev=dev.en-de
test_set="tst-COMMON.en-de tst-HE.en-de"
其中 tst-COMMON 是标准评测集(表内全部 BLEU 均在其上报告),tst-HE 为高熵(难以翻译)的附加测试集。数据准备由 local/data.sh 完成,它接收 local_data_opts(此处为 de,即目标语言),内部调用 download_and_untar.sh 与 data_prep.sh 完成下载、解压与格式整理,并在每个集合内生成 text.lc.rm.en 与 text.tc.de 两个额外文本文件(分别作为 ASR 辅助文本与 ST 目标文本)。
2.2 关键 run.sh 参数
run.sh 中的核心参数如下,这些参数决定了整个实验的 token 化策略与数据增强方式:
| 参数 | 取值 | 说明 |
|---|---|---|
src_lang / tgt_lang |
en / de |
源语言与目标语言 |
src_token_type / tgt_token_type |
bpe / bpe |
源、目标均使用 BPE 子词 |
src_nbpe / tgt_nbpe |
4000 / 4000 |
源、目标 BPE 词表大小 |
src_case |
lc.rm |
源文本 lowercase + 去标点 |
tgt_case |
tc |
目标文本 truecase(保留大小写信息) |
feats_type |
raw |
直接使用原始波形(经前端提取 fbank) |
audio_format |
flac.ark |
音频封装为 flac 并打包成 Kaldi ark |
speed_perturb_factors |
"0.9 1.0 1.1" |
三倍速度扰动数据增强 |
nj / inference_nj |
40 |
训练/推理并行 job 数 |
st_config |
conf/tuning/train_st_conformer.yaml |
训练配置(默认基线) |
inference_config |
conf/tuning/decode_st_conformer.yaml |
解码配置(默认基线) |
run.sh 会同时把 text.lc.rm.en(源)与 text.tc.de(目标)作为 utt_extra_files 传入数据流水线,供 ST 训练同时使用 ASR 文本与翻译文本。模型目录命名 st_tag 由 st.sh 自动拼接(<训练配置名>_<feats_type>_<src>_<tgt>_<tgt_token_type><nbpe>,开启速度扰动时追加 _sp),因此实验中会出现 train_st_conformer_asrinit_v2_raw_en_de_bpe_tc4000_sp 这类长名称。
2.3 流水线 stage 一览
st.sh 定义的 stage 顺序为:
- Stage 1-2:数据下载与速度扰动(
0.9/1.0/1.1三份扰动后合并为train.en-de_sp,1.0 因子保留原始数据); - Stage 3:特征 dump。
feats_type=raw时,format_wav_scp.sh 负责把 Kaldi 风格的管道式wav.scp落盘为真实音频文件并统一采样率(--fs 16k),产出dump/raw/{train,dev,tst-COMMON,tst-HE}; - Stage 4:长短句过滤,仅作用于 train/valid 集合(
min_wav_duration=0.1、max_wav_duration=20秒),同时剔除空文本; - Stage 5:源、目标 BPE 训练。目标语言先行(
spm_train --vocab_size=4000 --model_type=unigram),随后生成tokens.txt,其中<blank>(索引 0)、<oov>(索引 1)、<sos/eos>(末尾)特殊符号被依次插入词表; - Stage 10-11:ST 统计收集(collect-stats,用于
global_mvn归一化与 shape 文件)与正式训练,由espnet2.bin.st_train驱动; - Stage 12-13:解码与评分,由
espnet2.bin.st_inference驱动,评测产出 BLEU/CHRF/TER; - Stage 14-15:模型打包(
espnet2.bin.pack st)与(可选)上传 Hugging Face。
三、五种模型结构的训练配置解析
表内 5 组实验全部采用 ASR 预训练初始化(init_param 从 ../asr1/exp/asr_train_asr_conformer_raw_bpe4000_sp/ 加载 encoder、extra_asr_decoder 与 ctc 权重),并以 Conformer 编码器 + 多任务学习为共同骨架。以下逐一拆解其结构差异。
3.1 Attentional Enc-Dec(v2 基线)
配置文件:train_st_conformer_asrinit_v2.yaml,对应模型 espnet/brianyan918_mustc-v2_en-de_st_conformer_asrinit_v2_raw_en_de_bpe_tc4000_sp。
核心结构:
encoder: conformer
encoder_conf:
output_size: 256
attention_heads: 4
linear_units: 2048
num_blocks: 12
input_layer: conv2d
rel_pos_type: latest
pos_enc_layer_type: rel_pos
selfattention_layer_type: rel_selfattn
activation_type: swish
use_cnn_module: true
cnn_module_kernel: 31
decoder: transformer
decoder_conf:
attention_heads: 4
linear_units: 2048
num_blocks: 6
dropout_rate: 0.1
model_conf:
asr_weight: 0.3 # ASR 辅助损失权重
mt_weight: 0.0 # 机器翻译损失权重
mtlalpha: 0.3 # CTC 与 Attention 损失的比例
st_mtlalpha: 0.0 # ST 侧不使用 CTC
lsm_weight: 0.1 # label smoothing
训练超参数:batch_type: numel(按元素数动态 batch)、batch_bins: 25000000、accum_grad: 2、max_epoch: 40、keep_nbest_models: 10,优化器为 Adam(lr=0.002)配合 warmup(warmup_steps: 25000)。前端使用 n_fft: 400、hop_length: 160(对应 16kHz 下 25ms/10ms 窗),并启用 SpecAugment(时间扭曲 + 频域/时域掩码)。该模型在 tst-COMMON 上取得 BLEU 25.7。
3.2 Multi-Decoder Attn Enc-Dec(v3-2)
配置文件:train_st_md_conformer_asrinit_v3-2.yaml,对应模型名含 st_md_conformer_asrinit_v3-2。
与 v2 基线相比的关键差异:
decoder: transformer_md # 多解码器(multi-decoder)架构
md_encoder: conformer # 额外的多解码器编码器
md_encoder_conf:
output_size: 256
input_layer: linear
num_blocks: 2
...
use_amp: true # 启用自动混合精度
该结构在 ST 解码器旁增加 md_encoder(此处为 2 层 Conformer)与对应的多解码器输出头,使单模型可同时产出 ST 翻译与 ASR 识别结果(在解码阶段通过 asr_beam_size 等参数独立解码)。由于引入额外参数,accum_grad 降至 1。该模型 BLEU 为 27.6,较 v2 基线提升约 2 个点。
3.3 CTC/Attention(v2 + CTC)
配置文件:train_st_ctc_conformer_asrinit_v2.yaml,对应模型名含 st_ctc_conformer_asrinit_v2。
与 3.1 的结构差异集中在 model_conf 与层级编码器:
hier_encoder: conformer # 层级编码器
hier_encoder_conf:
input_layer: null
num_blocks: 6
linear_units: 2048
...
model_conf:
asr_weight: 0.3
mt_weight: 0.0
mtlalpha: 0.3
st_mtlalpha: 0.3 # ST 侧引入 CTC 辅助损失
lsm_weight: 0.1
hier_encoder(6 层 Conformer,input_layer: null)构成「主编码器 + 层级编码器」的层级结构(espnet2/st/espnet_model.py 中 hier_encoder 被显式注入 ESPnetSTModel,并在前向中调用)。ST 侧 CTC 权重 st_mtlalpha=0.3,配合解码配置 decode_st_conformer_ctc0.3.yaml(ctc_weight: 0.3)。该模型 BLEU 为 28.6。
3.4 Multi-Decoder CTC/Attention(v3 + CTC)
配置文件:train_st_ctc_md_conformer_asrinit_v3_noamp_batch50m_ctcsamp0.1.yaml,对应模型名含 st_ctc_md_conformer_asrinit_v3。
综合了 3.2 与 3.3 的思路:decoder: transformer_md + md_encoder: transformer(2 层,input_layer: null),并设置 st_mtlalpha: 0.3。命名中的 noamp 表示未使用混合精度(use_amp 被注释),batch50m 表示 batch_bins 提升至 5000 万,ctcsamp0.1 对应:
ctc_sample_rate: 0.1 # CTC 损失按 10% 概率采样计算
max_epoch: 20 较基线减半。该模型以 BLEU 28.8 位列表内第一。
3.5 Transducer(RNN-T 解码器)
配置文件:train_st_ctc_rnnt_asrinit.yaml,对应模型名含 st_ctc_rnnt_asrinit。
该实验用 Transducer 解码器替换 Attention 解码器:
decoder: transducer
decoder_conf:
rnn_type: lstm
num_layers: 1
hidden_size: 512
dropout: 0.1
dropout_embed: 0.2
st_joint_net_conf:
joint_space_size: 640
lin_dec_bias: false
model_conf:
asr_weight: 0.3
mtlalpha: 0.3
st_mtlalpha: 0.3
训练量缩减(batch_bins: 5000000、accum_grad: 5、max_epoch: 20),同样带 hier_encoder 与 CTC 辅助损失。推理使用 TSD(time synchronous decoding)搜索,详见 4.3 节。
3.6 共同的多任务训练目标
5 个配置共享同一套 ESPnetSTModel 多任务目标(见 espnet2/st/espnet_model.py):
- ST 损失:翻译(Attention 或 Transducer)损失,必要时混合 CTC(
st_mtlalpha); - ASR 辅助损失:
asr_weight(0.3)控制的源语言识别损失,使用extra_asr_decoder; - MT 损失:
mt_weight(此处 0.0,未启用)控制的纯文本翻译损失。
use_src_lang=true(st.sh 默认)表示同时把 text.lc.rm.en 作为 src_text 送入训练,因此 ASR 文本是 ST 训练中始终参与的多任务信号。
四、推理与解码配置
4.1 从 Model Zoo 下载并直接推理
README 给出了最快捷的复现路径:下载官方发布模型并跳过训练,只跑数据准备与解码评测。例如复现 3.1 的 v2 基线:
./run.sh --skip_data_prep false --skip_train true \
--download_model espnet/brianyan918_mustc-v2_en-de_st_conformer_asrinit_v2_raw_en_de_bpe_tc4000_sp \
--inference_config conf/tuning/decode_st_conformer.yaml
st.sh 在检测到 download_model 非空后,会调用 espnet_model_zoo_download --unpack true 下载模型包,解析出 st_model_file 与 st_train_config 并建立软链接,然后自动进入 stage 12 解码(st.sh)。五个模型名及其对应的训练/推理配置如下:
模型(Model Zoo 名,前缀 espnet/brianyan918_mustc-v2_en-de_) |
训练配置 | 推理配置 |
|---|---|---|
st_conformer_asrinit_v2_raw_en_de_bpe_tc4000_sp |
train_st_conformer_asrinit_v2.yaml | decode_st_conformer.yaml |
st_md_conformer_asrinit_v3-2_raw_en_de_bpe_tc4000_sp |
train_st_md_conformer_asrinit_v3-2.yaml | decode_st_md.yaml |
st_ctc_conformer_asrinit_v2_raw_en_de_bpe_tc4000_sp |
train_st_ctc_conformer_asrinit_v2.yaml | decode_st_conformer_ctc0.3.yaml |
st_ctc_md_conformer_asrinit_v3_raw_en_de_bpe_tc4000_sp |
train_st_ctc_md_conformer_asrinit_v3_noamp_batch50m_ctcsamp0.1.yaml | decode_st_md_ctc0.3.yaml |
st_ctc_rnnt_asrinit_raw_en_de_bpe_tc4000_sp |
train_st_ctc_rnnt_asrinit.yaml | decode_rnnt_tsd_mse4_scorenormduring_beam10.yaml |
4.2 Attention 解码器参数
以 decode_st_conformer.yaml 为例:
batch_size: 1
beam_size: 5
penalty: 0.3
maxlenratio: 0.0
minlenratio: 0.0
lm_weight: 0.0
beam_size=5:束搜索宽度;penalty=0.3:长度惩罚系数;maxlenratio/minlenratio=0表示不限制生成长度比例,由模型自行决定终止;lm_weight=0.0:不叠加外部语言模型。
多解码器配置 decode_st_md.yaml 额外包含 ASR 解码分支的参数:
asr_beam_size: 10
asr_penalty: 0.0
asr_maxlenratio: 0.0
asr_minlenratio: 0.0
asr_lm_weight: 0.0
asr_ctc_weight: 0.3
即 ST 与 ASR 两个解码器分别独立配置束搜索,ASR 侧使用 ctc_weight=0.3 的 CTC/Attention 联合解码。CTC/Attention 实验的解码配置 decode_st_conformer_ctc0.3.yaml 则在主解码器上设置 ctc_weight=0.3。
4.3 Transducer 解码参数
decode_rnnt_tsd_mse4_scorenormduring_beam10.yaml:
beam_size: 10
transducer_conf:
search_type: tsd
score_norm: True
score_norm_during: True
max_sym_exp: 4
search_type: tsd:时间同步解码(time synchronous decoding),适合与外部 LM 结合;score_norm/score_norm_during:解码过程中实时进行得分归一化;max_sym_exp: 4:每帧最多允许扩展的符号数上限(mse4即 max symbol expansion=4)。
4.4 评测细节:stage 12-13 的内部流程
解码阶段(stage 12)按 inference_nj 并行切分 wav.scp 后,对每个测试集调用 espnet2.bin.st_inference(流式场景则使用 st_inference_streaming),产出 1best_recog/{token,token_int,score,text} 文件;多解码器模型还会额外产出 1asr_best_recog/{asr_token,asr_token_int,asr_score,asr_text}。随后按 key 排序合并为 $st_exp/$inference_tag/$dset/{token,text,...}。
评分阶段(stage 13)使用 sacrebleu 计算 -m bleu chrf ter 三种指标:目标文本 tc(truecase)时额外报告大小写敏感的 BLEU(result.tc.txt),同时用 remove_punctuation.pl 生成 lc.rm 版本并报告大小写不敏感的 BLEU(result.lc.txt)。若 tgt_case=tc,还会调用 pyscripts/utils/rotate_logfile.py 对结果文件做轮转备份。多解码器模型若存在 asr_text,则额外用 sclite 计算 ASR WER。最后 show_translation_result.sh 把各测试集结果汇总成 RESULTS.md(即 README 的生成来源)。
五、离线 ST 结果表(BLEU)解读
README 以 Markdown 表格形式记录了 5 组实验在 tst-COMMON.en-de 上的评测结果。score 列为 sacrebleu 计算的主 BLEU 值,verbose_score 为四个 n-gram 精度(1-4 gram)+ BP/ratio/hyp_len/ref_len 的详细展开。
5.1 五组实验结果汇总
| 模型结构 | 检查点 | score | verbose_score(BLEU 明细) |
|---|---|---|---|
| Attentional Enc-Dec(v2) | st_model_valid.acc.ave_10best |
25.7 | 62.3/34.6/21.8/14.3(BP=0.897 ratio=0.902 hyp_len=46612 ref_len=51699) |
| Multi-Decoder Attn Enc-Dec(v3-2) | st_model_valid.acc.ave_10best |
27.6 | 61.6/34.6/21.9/14.4(BP=0.964 ratio=0.965 hyp_len=49877 ref_len=51699) |
| CTC/Attention(v2+CTC) | st_model_valid.acc.ave_10best |
28.6 | 61.8/35.1/22.2/14.5(BP=0.988 ratio=0.988 hyp_len=51068 ref_len=51699) |
| Multi-Decoder CTC/Attention(v3+CTC) | st_model_valid.acc.ave_10best |
28.8 | 61.5/35.0/22.2/14.7(BP=0.994 ratio=0.994 hyp_len=51386 ref_len=51699) |
| Transducer | st_model_valid.loss.ave_10best |
27.6 | 60.2/33.6/21.0/13.7(BP=0.998 ratio=0.998 hyp_len=51602 ref_len=51699) |
所有模型均采用 ave_10best 平均检查点(transducer 按 valid.loss 最小、其余按 valid.acc 最大选择前 10 个模型平均),这正是 keep_nbest_models: 10 配置的产物。ref_len 恒为 51699,说明五个实验在相同参考集上评测,横向可比。
5.2 结果解读要点
- CTC 辅助损失带来显著增益:加入 ST 侧 CTC(
st_mtlalpha=0.3)后,BLEU 从 25.7 提升至 28.6(+2.9);在此基础上叠加多解码器结构后达到 28.8(表内最优)。 - 多解码器对 Attention 基线同样有效:纯 Attention 路线中,multi-decoder 结构(v3-2)相对 v2 基线提升 1.9 个点(25.7→27.6)。
- BP(brevity penalty)随分数上升逐步逼近 1:v2 基线 BP=0.897(译文偏短,ratio=0.902),而 28.8 的模型 BP=0.994,说明高质量模型在长度匹配上也更稳定。
- Transducer 与 Attention 路线分数持平(27.6),但其 1-gram 精度(60.2)略低于多解码器 Attention(61.5~61.8),优势主要体现在更适合流式/低延迟部署的解码结构上。
- 排名说明:
score是最终引用的主指标(sacrebleu 的标准 BLEU),verbose_score中的四项 n-gram 精度仅供诊断 1-4 gram 匹配质量,不能直接替代score参与横向比较。
5.3 检查点选择策略
inference_st_model 默认值为 valid.acc.ave.pth(st.sh),但 README 中的 5 组实验均显式使用了 ave_10best 平均检查点(transducer 为 valid.loss.ave_10best)。在 stage 12 中,模型文件路径由 --st_model_file ${st_exp}/${inference_st_model} 传入解码器,因此复现时若想获得与表中一致的分数,必须使用相同的检查点命名。
六、从源码看 ST 模型的多任务前向逻辑
ESPnetSTModel(espnet2/st/espnet_model.py)是上述所有配置的模型载体,其前向逻辑与第三节的结构差异一一对应:
hier_encoder(层级编码器)与md_encoder(多解码器编码器)作为可选模块注入构造函数(同文件L44-L45),self.use_multidecoder = self.md_encoder is not None(L201)决定是否走多解码器路径;- 训练时若存在
hier_encoder,编码器输出会继续经层级编码器处理(L514-L515); use_src_lang=true时,源文本作为src_text输入,参与 ASR 辅助解码器(extra_asr_decoder)的损失计算,实现asr_weight对应的多任务项。
这也解释了 3.2/3.4 中 decoder: transformer_md 与 md_encoder 的配对关系:transformer_md 解码器内部依赖 md_encoder 产生的中间表示来并行输出 ST 与 ASR 两个序列。需要说明的是,Transducer 与 CTC 的具体实现分散在 espnet2/asr_transducer/ 与 espnet2/st/ 各模块中,本文不再展开。
七、复现检查清单
- 环境:完成 ESPnet2 安装,在 tools/Makefile 中构建 Moses(
make moses.done),确认tokenizer.perl、detokenizer.perl、sacrebleu可用; - 语料路径:在 db.sh 中填写
MUST_C指向 MuST-C v2 存放目录,数据准备阶段会自动下载; - 快速复现(推荐):使用 4.1 节的
--download_model命令逐条复现 5 个模型,核对 BLEU 与表内score列一致; - 从零训练:直接运行
./run.sh(默认st_config=conf/tuning/train_st_conformer.yaml),或修改st_config/inference_config指向第三节对应配置后重跑;训练建议参考各配置头部注释:4×A40 GPU、显存不足时降低batch_bins并相应提高accum_grad; - 结果核对:每个实验完成后查看
exp/st_*/RESULTS.md(由show_translation_result.sh自动生成),与 5.1 节表格比对; - 横向调优参考:如需进一步提升 BLEU,可在
model_conf中调节asr_weight、st_mtlalpha,或在解码侧调节ctc_weight、beam_size、penalty后重新评测。