MuST-C v2 英德语音翻译实战:ESPnet2 ST Recipe 从数据准备到 BLEU 评测全流程

原创2026-09-25 19:01:451,870 阅读
文章标签:语音深度学习人工智能机器学习音频处理

MuST-C v2 英德语音翻译实战:ESPnet2 ST Recipe 从数据准备到 BLEU 评测全流程

本文基于 ESPnet2 仓库中 egs2/must_c_v2/st1/ 这一端到端语音翻译(ST)recipe 展开,围绕其 README 记录的 5 组已发布实验结果,完整讲解 MuST-C v2 英→德语料在 ESPnet2 上的离线 ST 训练、多种模型结构对比(注意力编码器-解码器、多解码器、CTC/Attention、Transducer)、模型下载与推理复现方法,以及 BLEU/CHRF/TER 评测结果的可视化与解读。读完本文,你可以独立复现表内全部实验,并掌握 ESPnet2 ST 任务的 recipe 骨架与配置调优要点。

一、Recipe 总览:一条指令跑通端到端 ST

egs2/must_c_v2/st1/ 是 ESPnet2 中 MuST-C v2 语料(英语→德语方向)的完整 ST recipe,其目录结构清晰地划分了数据准备、配置、脚本与工具链:

  • run.sh:用户入口脚本,定义语料方向、数据集划分、token 类型与训练/推理配置,并委托给 st.sh 执行全部 stage;
  • st.sh:任务无关的 ST 流水线主脚本,涵盖 stage 1~15(数据准备、速度扰动、特征 dump、长短句过滤、BPE 训练、统计收集、训练、解码、评分、打包与上传);
  • local/、conf/:语料专属的数据准备脚本与训练/推理配置;
  • db.sh:声明 MUST_C 环境变量,指向本地语料存放路径。

在开始任何实验之前,需要先按 tools/installers 中的说明完成 ESPnet2 环境安装,并确认已安装 Moses(tokenizer.perl 与 detokenizer.perl 用于文本 tokenize/detokenize,local/data.sh 会在数据准备阶段强制检查该命令)。此外,评测环节依赖 sacrebleu 计算 BLEU/CHRF/TER。

二、数据准备与 run.sh 参数解析

2.1 数据集划分与语料下载

run.sh 将 MuST-C v2 英德语料划分为三个集合:

train_set=train.en-de
train_dev=dev.en-de
test_set="tst-COMMON.en-de tst-HE.en-de"

其中 tst-COMMON 是标准评测集(表内全部 BLEU 均在其上报告),tst-HE 为高熵(难以翻译)的附加测试集。数据准备由 local/data.sh 完成,它接收 local_data_opts(此处为 de,即目标语言),内部调用 download_and_untar.sh 与 data_prep.sh 完成下载、解压与格式整理,并在每个集合内生成 text.lc.rm.en 与 text.tc.de 两个额外文本文件(分别作为 ASR 辅助文本与 ST 目标文本)。

2.2 关键 run.sh 参数

run.sh 中的核心参数如下,这些参数决定了整个实验的 token 化策略与数据增强方式:

参数 取值 说明
src_lang / tgt_lang en / de 源语言与目标语言
src_token_type / tgt_token_type bpe / bpe 源、目标均使用 BPE 子词
src_nbpe / tgt_nbpe 4000 / 4000 源、目标 BPE 词表大小
src_case lc.rm 源文本 lowercase + 去标点
tgt_case tc 目标文本 truecase(保留大小写信息)
feats_type raw 直接使用原始波形(经前端提取 fbank)
audio_format flac.ark 音频封装为 flac 并打包成 Kaldi ark
speed_perturb_factors "0.9 1.0 1.1" 三倍速度扰动数据增强
nj / inference_nj 40 训练/推理并行 job 数
st_config conf/tuning/train_st_conformer.yaml 训练配置(默认基线)
inference_config conf/tuning/decode_st_conformer.yaml 解码配置(默认基线)

run.sh 会同时把 text.lc.rm.en(源)与 text.tc.de(目标)作为 utt_extra_files 传入数据流水线,供 ST 训练同时使用 ASR 文本与翻译文本。模型目录命名 st_tag 由 st.sh 自动拼接(<训练配置名>_<feats_type>_<src>_<tgt>_<tgt_token_type><nbpe>,开启速度扰动时追加 _sp),因此实验中会出现 train_st_conformer_asrinit_v2_raw_en_de_bpe_tc4000_sp 这类长名称。

2.3 流水线 stage 一览

st.sh 定义的 stage 顺序为:

  • Stage 1-2:数据下载与速度扰动(0.9/1.0/1.1 三份扰动后合并为 train.en-de_sp,1.0 因子保留原始数据);
  • Stage 3:特征 dump。feats_type=raw 时,format_wav_scp.sh 负责把 Kaldi 风格的管道式 wav.scp 落盘为真实音频文件并统一采样率(--fs 16k),产出 dump/raw/{train,dev,tst-COMMON,tst-HE};
  • Stage 4:长短句过滤,仅作用于 train/valid 集合(min_wav_duration=0.1、max_wav_duration=20 秒),同时剔除空文本;
  • Stage 5:源、目标 BPE 训练。目标语言先行(spm_train --vocab_size=4000 --model_type=unigram),随后生成 tokens.txt,其中 <blank>(索引 0)、<oov>(索引 1)、<sos/eos>(末尾)特殊符号被依次插入词表;
  • Stage 10-11:ST 统计收集(collect-stats,用于 global_mvn 归一化与 shape 文件)与正式训练,由 espnet2.bin.st_train 驱动;
  • Stage 12-13:解码与评分,由 espnet2.bin.st_inference 驱动,评测产出 BLEU/CHRF/TER;
  • Stage 14-15:模型打包(espnet2.bin.pack st)与(可选)上传 Hugging Face。

三、五种模型结构的训练配置解析

表内 5 组实验全部采用 ASR 预训练初始化(init_param 从 ../asr1/exp/asr_train_asr_conformer_raw_bpe4000_sp/ 加载 encoder、extra_asr_decoder 与 ctc 权重),并以 Conformer 编码器 + 多任务学习为共同骨架。以下逐一拆解其结构差异。

3.1 Attentional Enc-Dec(v2 基线)

配置文件:train_st_conformer_asrinit_v2.yaml,对应模型 espnet/brianyan918_mustc-v2_en-de_st_conformer_asrinit_v2_raw_en_de_bpe_tc4000_sp。

核心结构:

encoder: conformer
encoder_conf:
    output_size: 256
    attention_heads: 4
    linear_units: 2048
    num_blocks: 12
    input_layer: conv2d
    rel_pos_type: latest
    pos_enc_layer_type: rel_pos
    selfattention_layer_type: rel_selfattn
    activation_type: swish
    use_cnn_module: true
    cnn_module_kernel: 31

decoder: transformer
decoder_conf:
    attention_heads: 4
    linear_units: 2048
    num_blocks: 6
    dropout_rate: 0.1

model_conf:
    asr_weight: 0.3      # ASR 辅助损失权重
    mt_weight: 0.0        # 机器翻译损失权重
    mtlalpha: 0.3         # CTC 与 Attention 损失的比例
    st_mtlalpha: 0.0      # ST 侧不使用 CTC
    lsm_weight: 0.1       # label smoothing

训练超参数:batch_type: numel(按元素数动态 batch)、batch_bins: 25000000、accum_grad: 2、max_epoch: 40、keep_nbest_models: 10,优化器为 Adam(lr=0.002)配合 warmup(warmup_steps: 25000)。前端使用 n_fft: 400、hop_length: 160(对应 16kHz 下 25ms/10ms 窗),并启用 SpecAugment(时间扭曲 + 频域/时域掩码)。该模型在 tst-COMMON 上取得 BLEU 25.7。

3.2 Multi-Decoder Attn Enc-Dec(v3-2)

配置文件:train_st_md_conformer_asrinit_v3-2.yaml,对应模型名含 st_md_conformer_asrinit_v3-2。

与 v2 基线相比的关键差异:

decoder: transformer_md          # 多解码器(multi-decoder)架构
md_encoder: conformer            # 额外的多解码器编码器
md_encoder_conf:
    output_size: 256
    input_layer: linear
    num_blocks: 2
    ...

use_amp: true                    # 启用自动混合精度

该结构在 ST 解码器旁增加 md_encoder(此处为 2 层 Conformer)与对应的多解码器输出头,使单模型可同时产出 ST 翻译与 ASR 识别结果(在解码阶段通过 asr_beam_size 等参数独立解码)。由于引入额外参数,accum_grad 降至 1。该模型 BLEU 为 27.6,较 v2 基线提升约 2 个点。

3.3 CTC/Attention(v2 + CTC)

配置文件:train_st_ctc_conformer_asrinit_v2.yaml,对应模型名含 st_ctc_conformer_asrinit_v2。

与 3.1 的结构差异集中在 model_conf 与层级编码器:

hier_encoder: conformer          # 层级编码器
hier_encoder_conf:
    input_layer: null
    num_blocks: 6
    linear_units: 2048
    ...

model_conf:
    asr_weight: 0.3
    mt_weight: 0.0
    mtlalpha: 0.3
    st_mtlalpha: 0.3     # ST 侧引入 CTC 辅助损失
    lsm_weight: 0.1

hier_encoder(6 层 Conformer,input_layer: null)构成「主编码器 + 层级编码器」的层级结构(espnet2/st/espnet_model.py 中 hier_encoder 被显式注入 ESPnetSTModel,并在前向中调用)。ST 侧 CTC 权重 st_mtlalpha=0.3,配合解码配置 decode_st_conformer_ctc0.3.yaml(ctc_weight: 0.3)。该模型 BLEU 为 28.6。

3.4 Multi-Decoder CTC/Attention(v3 + CTC)

配置文件:train_st_ctc_md_conformer_asrinit_v3_noamp_batch50m_ctcsamp0.1.yaml,对应模型名含 st_ctc_md_conformer_asrinit_v3。

综合了 3.2 与 3.3 的思路:decoder: transformer_md + md_encoder: transformer(2 层,input_layer: null),并设置 st_mtlalpha: 0.3。命名中的 noamp 表示未使用混合精度(use_amp 被注释),batch50m 表示 batch_bins 提升至 5000 万,ctcsamp0.1 对应:

ctc_sample_rate: 0.1    # CTC 损失按 10% 概率采样计算

max_epoch: 20 较基线减半。该模型以 BLEU 28.8 位列表内第一。

3.5 Transducer(RNN-T 解码器)

配置文件:train_st_ctc_rnnt_asrinit.yaml,对应模型名含 st_ctc_rnnt_asrinit。

该实验用 Transducer 解码器替换 Attention 解码器:

decoder: transducer
decoder_conf:
    rnn_type: lstm
    num_layers: 1
    hidden_size: 512
    dropout: 0.1
    dropout_embed: 0.2

st_joint_net_conf:
    joint_space_size: 640
    lin_dec_bias: false

model_conf:
    asr_weight: 0.3
    mtlalpha: 0.3
    st_mtlalpha: 0.3

训练量缩减(batch_bins: 5000000、accum_grad: 5、max_epoch: 20),同样带 hier_encoder 与 CTC 辅助损失。推理使用 TSD(time synchronous decoding)搜索,详见 4.3 节。

3.6 共同的多任务训练目标

5 个配置共享同一套 ESPnetSTModel 多任务目标(见 espnet2/st/espnet_model.py):

  • ST 损失:翻译(Attention 或 Transducer)损失,必要时混合 CTC(st_mtlalpha);
  • ASR 辅助损失:asr_weight(0.3)控制的源语言识别损失,使用 extra_asr_decoder;
  • MT 损失:mt_weight(此处 0.0,未启用)控制的纯文本翻译损失。

use_src_lang=true(st.sh 默认)表示同时把 text.lc.rm.en 作为 src_text 送入训练,因此 ASR 文本是 ST 训练中始终参与的多任务信号。

四、推理与解码配置

4.1 从 Model Zoo 下载并直接推理

README 给出了最快捷的复现路径:下载官方发布模型并跳过训练,只跑数据准备与解码评测。例如复现 3.1 的 v2 基线:

./run.sh --skip_data_prep false --skip_train true \
    --download_model espnet/brianyan918_mustc-v2_en-de_st_conformer_asrinit_v2_raw_en_de_bpe_tc4000_sp \
    --inference_config conf/tuning/decode_st_conformer.yaml

st.sh 在检测到 download_model 非空后,会调用 espnet_model_zoo_download --unpack true 下载模型包,解析出 st_model_file 与 st_train_config 并建立软链接,然后自动进入 stage 12 解码(st.sh)。五个模型名及其对应的训练/推理配置如下:

模型(Model Zoo 名,前缀 espnet/brianyan918_mustc-v2_en-de_) 训练配置 推理配置
st_conformer_asrinit_v2_raw_en_de_bpe_tc4000_sp train_st_conformer_asrinit_v2.yaml decode_st_conformer.yaml
st_md_conformer_asrinit_v3-2_raw_en_de_bpe_tc4000_sp train_st_md_conformer_asrinit_v3-2.yaml decode_st_md.yaml
st_ctc_conformer_asrinit_v2_raw_en_de_bpe_tc4000_sp train_st_ctc_conformer_asrinit_v2.yaml decode_st_conformer_ctc0.3.yaml
st_ctc_md_conformer_asrinit_v3_raw_en_de_bpe_tc4000_sp train_st_ctc_md_conformer_asrinit_v3_noamp_batch50m_ctcsamp0.1.yaml decode_st_md_ctc0.3.yaml
st_ctc_rnnt_asrinit_raw_en_de_bpe_tc4000_sp train_st_ctc_rnnt_asrinit.yaml decode_rnnt_tsd_mse4_scorenormduring_beam10.yaml

4.2 Attention 解码器参数

以 decode_st_conformer.yaml 为例:

batch_size: 1
beam_size: 5
penalty: 0.3
maxlenratio: 0.0
minlenratio: 0.0
lm_weight: 0.0
  • beam_size=5:束搜索宽度;
  • penalty=0.3:长度惩罚系数;maxlenratio/minlenratio=0 表示不限制生成长度比例,由模型自行决定终止;
  • lm_weight=0.0:不叠加外部语言模型。

多解码器配置 decode_st_md.yaml 额外包含 ASR 解码分支的参数:

asr_beam_size: 10
asr_penalty: 0.0
asr_maxlenratio: 0.0
asr_minlenratio: 0.0
asr_lm_weight: 0.0
asr_ctc_weight: 0.3

即 ST 与 ASR 两个解码器分别独立配置束搜索,ASR 侧使用 ctc_weight=0.3 的 CTC/Attention 联合解码。CTC/Attention 实验的解码配置 decode_st_conformer_ctc0.3.yaml 则在主解码器上设置 ctc_weight=0.3。

4.3 Transducer 解码参数

decode_rnnt_tsd_mse4_scorenormduring_beam10.yaml:

beam_size: 10
transducer_conf:
    search_type: tsd
    score_norm: True
    score_norm_during: True
    max_sym_exp: 4
  • search_type: tsd:时间同步解码(time synchronous decoding),适合与外部 LM 结合;
  • score_norm / score_norm_during:解码过程中实时进行得分归一化;
  • max_sym_exp: 4:每帧最多允许扩展的符号数上限(mse4 即 max symbol expansion=4)。

4.4 评测细节:stage 12-13 的内部流程

解码阶段(stage 12)按 inference_nj 并行切分 wav.scp 后,对每个测试集调用 espnet2.bin.st_inference(流式场景则使用 st_inference_streaming),产出 1best_recog/{token,token_int,score,text} 文件;多解码器模型还会额外产出 1asr_best_recog/{asr_token,asr_token_int,asr_score,asr_text}。随后按 key 排序合并为 $st_exp/$inference_tag/$dset/{token,text,...}。

评分阶段(stage 13)使用 sacrebleu 计算 -m bleu chrf ter 三种指标:目标文本 tc(truecase)时额外报告大小写敏感的 BLEU(result.tc.txt),同时用 remove_punctuation.pl 生成 lc.rm 版本并报告大小写不敏感的 BLEU(result.lc.txt)。若 tgt_case=tc,还会调用 pyscripts/utils/rotate_logfile.py 对结果文件做轮转备份。多解码器模型若存在 asr_text,则额外用 sclite 计算 ASR WER。最后 show_translation_result.sh 把各测试集结果汇总成 RESULTS.md(即 README 的生成来源)。

五、离线 ST 结果表(BLEU)解读

README 以 Markdown 表格形式记录了 5 组实验在 tst-COMMON.en-de 上的评测结果。score 列为 sacrebleu 计算的主 BLEU 值,verbose_score 为四个 n-gram 精度(1-4 gram)+ BP/ratio/hyp_len/ref_len 的详细展开。

5.1 五组实验结果汇总

模型结构 检查点 score verbose_score(BLEU 明细)
Attentional Enc-Dec(v2) st_model_valid.acc.ave_10best 25.7 62.3/34.6/21.8/14.3(BP=0.897 ratio=0.902 hyp_len=46612 ref_len=51699)
Multi-Decoder Attn Enc-Dec(v3-2) st_model_valid.acc.ave_10best 27.6 61.6/34.6/21.9/14.4(BP=0.964 ratio=0.965 hyp_len=49877 ref_len=51699)
CTC/Attention(v2+CTC) st_model_valid.acc.ave_10best 28.6 61.8/35.1/22.2/14.5(BP=0.988 ratio=0.988 hyp_len=51068 ref_len=51699)
Multi-Decoder CTC/Attention(v3+CTC) st_model_valid.acc.ave_10best 28.8 61.5/35.0/22.2/14.7(BP=0.994 ratio=0.994 hyp_len=51386 ref_len=51699)
Transducer st_model_valid.loss.ave_10best 27.6 60.2/33.6/21.0/13.7(BP=0.998 ratio=0.998 hyp_len=51602 ref_len=51699)

所有模型均采用 ave_10best 平均检查点(transducer 按 valid.loss 最小、其余按 valid.acc 最大选择前 10 个模型平均),这正是 keep_nbest_models: 10 配置的产物。ref_len 恒为 51699,说明五个实验在相同参考集上评测,横向可比。

5.2 结果解读要点

  • CTC 辅助损失带来显著增益:加入 ST 侧 CTC(st_mtlalpha=0.3)后,BLEU 从 25.7 提升至 28.6(+2.9);在此基础上叠加多解码器结构后达到 28.8(表内最优)。
  • 多解码器对 Attention 基线同样有效:纯 Attention 路线中,multi-decoder 结构(v3-2)相对 v2 基线提升 1.9 个点(25.7→27.6)。
  • BP(brevity penalty)随分数上升逐步逼近 1:v2 基线 BP=0.897(译文偏短,ratio=0.902),而 28.8 的模型 BP=0.994,说明高质量模型在长度匹配上也更稳定。
  • Transducer 与 Attention 路线分数持平(27.6),但其 1-gram 精度(60.2)略低于多解码器 Attention(61.5~61.8),优势主要体现在更适合流式/低延迟部署的解码结构上。
  • 排名说明:score 是最终引用的主指标(sacrebleu 的标准 BLEU),verbose_score 中的四项 n-gram 精度仅供诊断 1-4 gram 匹配质量,不能直接替代 score 参与横向比较。

5.3 检查点选择策略

inference_st_model 默认值为 valid.acc.ave.pth(st.sh),但 README 中的 5 组实验均显式使用了 ave_10best 平均检查点(transducer 为 valid.loss.ave_10best)。在 stage 12 中,模型文件路径由 --st_model_file ${st_exp}/${inference_st_model} 传入解码器,因此复现时若想获得与表中一致的分数,必须使用相同的检查点命名。

六、从源码看 ST 模型的多任务前向逻辑

ESPnetSTModel(espnet2/st/espnet_model.py)是上述所有配置的模型载体,其前向逻辑与第三节的结构差异一一对应:

  • hier_encoder(层级编码器)与 md_encoder(多解码器编码器)作为可选模块注入构造函数(同文件 L44-L45),self.use_multidecoder = self.md_encoder is not None(L201)决定是否走多解码器路径;
  • 训练时若存在 hier_encoder,编码器输出会继续经层级编码器处理(L514-L515);
  • use_src_lang=true 时,源文本作为 src_text 输入,参与 ASR 辅助解码器(extra_asr_decoder)的损失计算,实现 asr_weight 对应的多任务项。

这也解释了 3.2/3.4 中 decoder: transformer_md 与 md_encoder 的配对关系:transformer_md 解码器内部依赖 md_encoder 产生的中间表示来并行输出 ST 与 ASR 两个序列。需要说明的是,Transducer 与 CTC 的具体实现分散在 espnet2/asr_transducer/ 与 espnet2/st/ 各模块中,本文不再展开。

七、复现检查清单

  1. 环境:完成 ESPnet2 安装,在 tools/Makefile 中构建 Moses(make moses.done),确认 tokenizer.perl、detokenizer.perl、sacrebleu 可用;
  2. 语料路径:在 db.sh 中填写 MUST_C 指向 MuST-C v2 存放目录,数据准备阶段会自动下载;
  3. 快速复现(推荐):使用 4.1 节的 --download_model 命令逐条复现 5 个模型,核对 BLEU 与表内 score 列一致;
  4. 从零训练:直接运行 ./run.sh(默认 st_config=conf/tuning/train_st_conformer.yaml),或修改 st_config/inference_config 指向第三节对应配置后重跑;训练建议参考各配置头部注释:4×A40 GPU、显存不足时降低 batch_bins 并相应提高 accum_grad;
  5. 结果核对:每个实验完成后查看 exp/st_*/RESULTS.md(由 show_translation_result.sh 自动生成),与 5.1 节表格比对;
  6. 横向调优参考:如需进一步提升 BLEU,可在 model_conf 中调节 asr_weight、st_mtlalpha,或在解码侧调节 ctc_weight、beam_size、penalty 后重新评测。
登录后查看全文
espnet