PaddleSpeech TED En-Zh 端到端语音翻译:Transformer FAT-ST MTL 模型实战与结果解读

原创2026-09-24 14:13:171,881 阅读
文章标签:语音人工智能深度学习模型推理服务本地部署音频处理

PaddleSpeech TED En-Zh 端到端语音翻译:Transformer FAT-ST MTL 模型实战与结果解读

本文以 examples/ted_en_zh/st1/RESULTS.md 为主体,结合该目录下的 README.md、run.sh、训练/测试脚本与配置文件,完整讲解 PaddleSpeech 在 TED En-Zh(英文语音 → 中文文本)语音翻译任务上的数据组织、多任务训练流水线与 Char-BLEU 评测结果,帮助读者复现并理解 Transformer FAT-ST MTL 模型的完整技术链路。

一、任务背景:TED 英中语音翻译(ST1)

PaddleSpeech 的语音翻译(Speech Translation,ST)任务在 examples/ted_en_zh/st1 目录中实现了一个完整可复现的实验配方(recipe)。该任务的目标是输入英文语音,输出中文翻译文本,即语音到文本的跨语言翻译。

在 PaddleSpeech 中,ST 任务有两套典型实现:

  • st0:直接使用原始波形/通用特征训练端到端翻译模型;
  • st1:使用 Kaldi 特征(Fbank + Pitch),这是与 st0 最主要的区别。

在 st1 的 path.sh 中可以看到,模型对应的执行目录被设置为 MODEL=u2_st,即 BIN_DIR=${MAIN_ROOT}/paddlespeech/s2t/exps/u2_st/bin(见 path.sh),所有训练与测试均调用 paddlespeech/s2t 中的 train.py / test.py 完成。

本任务的核心模型配置为 FAT + Transformer + ASR MTL(Multi-Task Learning,多任务学习):以 FAT(Fast-Attention Transformer,借鉴 BERT/TLM 的跨语言跨模态预训练思路)预训练模型为起点,用 Transformer 编码器 + Transformer 解码器搭建语音翻译模型,同时将 ASR 识别作为辅助任务 进行联合训练,从而缓解 ST 任务标注数据稀缺的问题(该思路在 docs/tutorial/st/st_tutorial.ipynb 中有详细讲解)。

二、数据集与评测指标

2.1 数据集划分

TED En-Zh 语音翻译数据集包含训练、开发(dev)与测试(test)三个子集。RESULTS.md 以“时长(帧)”为单位记录了各子集的规模分布(帧数对应特征时长,帧内数值区间反映单条样本的语音长度范围):

Data Subset Duration in Frames
data/manifest.train 94.2 ~ 6000
data/manifest.dev 115.1 ~ 3900
data/manifest.test 110 ~ 4274.6

三个 manifest 文件(data/manifest.train、data/manifest.dev、data/manifest.test)由数据预处理阶段(local/data.sh 的 stage 3)通过 espnet_json_to_manifest.py 从 json 特征文件转换生成,并作为训练配置中的输入数据入口(见 transformer_mtl_noam.yaml)。

数据集需要自行下载并解压(下载方式与目录结构在 local/data.sh 中给出)。原始数据的目录树应为:

.
|-- En-Zh
|   |-- train.en-zh
|   |-- tst2014.en-zh
|   |-- tst2015.en-zh
|-- test-segment
|   |-- tst2010
|   |-- ...
|-- train-split
|   |-- train-segment
|-- README.md

数据集加载脚本 local/ted_en_zh.py 将原始目录映射为三个子集:train-split/train-segment → train、test-segment/tst2014 → dev、test-segment/tst2015 → test,同时过滤掉小于 30KB 的音频文件,并将说话人 ID 补齐为 6 位、统一命名为 ted-en-zh- 前缀,输出 wav.scp.org、utt2spk.org、en.org、zh.org 等中间文件。

2.2 评测指标:Char-BLEU

RESULTS.md 中使用的核心指标是 Char-BLEU(字符级 BLEU)。与 ASR 任务常用的 CER/WER 不同,翻译任务需要对生成文本与参考译文进行 n-gram 匹配打分。PaddleSpeech 在 paddlespeech/s2t/utils/bleu_score.py 中实现了 BLEU 计算,并在 u2_st 模型 中注册了 char-bleu 错误率类型。评测时通过 conf/tuning/decode.yaml 中的 error_rate_type: char-bleu 指定(见 decode.yaml)。

三、实验结果:Transformer 模型评测

RESULTS.md 给出了两种模型变体的评测结果(参数规模 50.26M,均使用 conf/transformer_mtl_noam.yaml 配置):

Model Params Config Val loss Char-BLEU
FAT + Transformer+ASR MTL 50.26M conf/transformer_mtl_noam.yaml 69.91 20.26
FAT + Transformer+ASR MTL with word reward 50.26M conf/transformer_mtl_noam.yaml 62.86 20.80

两行数据的区别在于是否在解码(beam search)时引入 word reward(单词奖励):

  • 第一行是标准的多任务模型,Val loss 为 69.91,Char-BLEU 为 20.26;
  • 第二行在 conf/tuning/decode.yaml 中设置 word_reward: 0.7(见 decode.yaml),训练中 Val loss 降为 62.86,Char-BLEU 提升到 20.80。

从代码实现看,word reward 的作用是在束搜索(beam search)中对已结束(输出 EOS)的假设按生成长度给予额外加分,以缓解翻译输出过早终止、译文偏短的问题。在 paddlespeech/s2t/models/u2_st/u2_st.py 中,每一条结束的假设会执行 hyp<a href="https://link.gitcode.com/i/2678155b903fd92e754369411ae26942" target="_blank">"score"] += (i - 1) * word_reward,同时用 hyp["score"] + maxlen * word_reward > cur_best_score 作为提前终止的判定条件,保证束搜索的优性。这与 README 中的发布模型结果(Char-BLEU 20.80)一致——20.80 对应的正是启用 word reward 的版本,也是 [docs/source/released_model.md 中列出的 ST1 发布模型得分。

提示:README 中该模型的 Val loss 记录为 62.86,RESULTS.md 第一行记录为 69.91,两者差异来源于不同训练轮次/checkpoint 平均策略下的快照,Char-BLEU 以解码评测结果为准。

四、从数据处理到模型评测:完整流水线

run.sh 是整条流水线的总入口(默认 stage=1、stop_stage=4,见 run.sh)。其阶段划分与功能如下:

Stage Function
0 处理数据:计算训练集 CMVN、生成词表文件、生成训练/开发/测试集的 manifest 文件
1 训练模型
2 对 top-k 模型取平均得到最终模型,k = 1 表示直接选择最优模型
3 测试最终模型性能

运行前需先加载环境变量并解析命令行参数:

. ./path.sh
. ./cmd.sh
source ${MAIN_ROOT}/utils/parse_options.sh

run.sh 支持通过 --stage / --stop_stage 组合控制执行区间。例如只跑数据处理:

bash run.sh --stage 0 --stop_stage 0

也可以同时设置 GPU 数量与平均模型个数等局部变量:

bash run.sh --gpus 0,1 --avg_num 5

run.sh 中的关键局部变量包括:

  • gpus:使用的 GPU 编号,置空表示仅用 CPU;
  • conf_path:模型配置文件路径(默认 conf/transformer_mtl_noam.yaml);
  • data_path:数据集路径(默认 ./TED_EnZh);
  • avg_num:top-k 平均的 k 值(默认 5);
  • ckpt_path:预训练模型 checkpoint 前缀(如 paddle.98,用于从 FAT-ST 预训练模型微调);
  • decode_conf_path:解码配置(默认 conf/tuning/decode.yaml)。

4.1 Stage 0:数据处理

数据处理由 local/data.sh 完成(内部又细分为多个 stage),核心步骤包括:

  1. 数据抽取:python3 local/ted_en_zh.py --tgt-dir=data/ted_en_zh --src-dir=${data_dir} 生成各子集的 wav.scp、utt2spk、spk2utt 及中英文文本;
  2. 去重与清洗:利用 utils/fix_data_dir.sh --utt_extra_files "text.en text.zh" 等 Kaldi 工具去除重复语句(duplicate_lines / reclist),英文文本通过 local/remove_punctuation.pl 去除标点并转为小写;
  3. 特征生成:通过 steps/make_fbank_pitch.sh 生成 80 维 Fbank + Pitch 特征(配置文件见 conf/fbank.conf 与 conf/pitch.conf),并做 speed perturbation 速度扰动数据增强(0.9 / 1.0 / 1.1 三份);
  4. CMVN 统计与 dump:compute-cmvn-stats 计算训练集 CMVN,再用 dump.sh 将特征 dump 成 data/dump/train_sp/deltaFalse 等目录(do_delta=false 表示不使用 delta 特征);
  5. 词典与 Json 生成:用 SentencePiece(spm_train / spm_encode,BPE 模式,nbpe=8000)训练联合中英词表 data/lang_char/ted_en_zh_bpe8000.txt(<unk> 必须为 1,0 留给 CTC 的 blank),通过 data2json.sh 生成 json,再由 update_json.sh 添加源语言(英文)引用;
  6. manifest 生成:espnet_json_to_manifest.py 将 json 转为 data/manifest.{train,dev,test}。

此外 data.sh 还会对过长样本做过滤(--maxframes 3000 --maxchars 400),并分别按语言切分数据(local/divide_lang.sh),以支持中英双语言的联合建模。

4.2 Stage 1:模型训练

训练脚本入口为 CUDA_VISIBLE_DEVICES=${gpus} ./local/train.sh ${conf_path} ${ckpt} "${ckpt_path}"。若指定了 ckpt_path,会先执行 ./local/download_pretrain.sh 下载 FAT-ST 预训练模型进行微调。

train.sh 的调用方式:

# 单卡
python3 -u ${BIN_DIR}/train.py \
--ngpu ${ngpu} \
--config ${config_path} \
--output exp/${ckpt_name} \
--checkpoint_path "${ckpt_path}" \
--seed ${seed}

# 多卡(分布式)
python3 -m paddle.distributed.launch --gpus=${CUDA_VISIBLE_DEVICES} ${ips_config} ${BIN_DIR}/train.py \
--ngpu ${ngpu} \
--config ${config_path} \
--output exp/${ckpt_name} \
--checkpoint_path "${ckpt_path}" \
--seed ${seed}

训练模型的核心配置位于 conf/transformer_mtl_noam.yaml,关键参数如下:

数据与 Dataloader 部分

参数 默认值 说明
train_manifest / dev_manifest / test_manifest data/manifest.* 三组数据入口
vocab_filepath data/lang_char/ted_en_zh_bpe8000.txt 联合词表(BPE 8000)
unit_type 'spm' 使用 SentencePiece 子词单元
spm_model_prefix data/lang_char/ted_en_zh_bpe8000 SPM 模型前缀
batch_size 20 批大小
feat_dim 83 输入特征维度(80 维 Fbank + 3 维 Pitch)
window_ms / stride_ms 25.0 / 10.0 窗长与帧移
sortagrad 0 0 表示关闭“按长度排序”的课程学习,-1 表示全程开启
maxlen_in / maxlen_out 512 / 150 输入/输出过长时自动缩减 batch
num_workers 0 数据加载进程数

网络结构(Transformer Encoder-Decoder)

  • encoder: transformer,output_size=256(注意力维度)、attention_heads=4、linear_units=2048(FFN 隐层)、num_blocks=12、dropout_rate=0.1、input_layer=conv2d(也可选 conv2d6 / conv2d8);
  • decoder: transformer,attention_heads=4、linear_units=2048、num_blocks=6、dropout 0.1;
  • model_conf(混合 CTC/注意力损失权重):
    • asr_weight: 0.5(ASR 辅助任务损失权重);
    • ctc_weight: 0.3(CTC 损失权重);
    • lsm_weight: 0.1(label smoothing 标签平滑);
    • length_normalized_loss: false。

作为对照,纯 Transformer 翻译配置 conf/transformer.yaml 将 asr_weight 与 ctc_weight 均设为 0.0,即不启用 ASR 辅助任务——这正是两种配置的核心区别,也解释了"Transformer+ASR MTL"名称的含义。

训练超参

  • n_epoch: 40,accum_grad: 2(梯度累积),global_grad_clip: 5.0;
  • 优化器 adam,lr: 2.5;学习率调度器 noam,warmup_steps: 25000、lr_decay: 1.0;
  • checkpoint 策略:kbest_n: 50(按验证损失保存前 50 个)、latest_n: 5(保留最近 5 个)。

4.3 Stage 2:Top-k 模型平均

每个 epoch 都会保存 checkpoint,训练完成后通过 utils/avg.sh 对验证损失最优的 top-k 个模型做参数平均:

avg.sh best exp/${ckpt}/checkpoints ${avg_num}

avg.sh 位于 utils/ 目录(已通过 path.sh 加入 PATH)。k=1 时等价于直接选取最优单模型;默认 avg_num=5,即平均前 5 个最优 checkpoint 得到 avg_5 最终模型。

4.4 Stage 3:模型测试(解码与评测)

测试脚本调用方式:

CUDA_VISIBLE_DEVICES=0 ./local/test.sh ${conf_path} ${decode_conf_path} exp/${ckpt}/checkpoints/${avg_ckpt}

test.sh 内部对 fullsentence(整句解码)类型循环执行 test.py:

python3 -u ${BIN_DIR}/test.py \
--ngpu ${ngpu} \
--config ${config_path} \
--decode_cfg ${decode_config_path} \
--result_file ${ckpt_prefix}.${type}.rsl \
--checkpoint_path ${ckpt_prefix} \
--opts decode.decoding_method ${type}

解码与评测参数集中在 conf/tuning/decode.yaml:

参数 默认值 说明
batch_size 1 解码批大小
error_rate_type char-bleu 评测指标为字符级 BLEU
decoding_method fullsentence 整句解码(另有 simultaneous 流式翻译模式)
beam_size 10 束搜索宽度
word_reward 0.7 单词奖励,缓解译文过早终止
maxlenratio 0.3 译文最大长度 = 编码器输出长度 × maxlenratio
decoding_chunk_size -1 <0 全量解码;>0 固定 chunk;0 仅训练用,解码禁用
num_decoding_left_chunks -1 流式解码左侧 chunk 数
simulate_streaming False 是否模拟流式推理

其中 word_reward: 0.7 对应 RESULTS.md 中 Char-BLEU 20.80 的版本;若将其注释/置 0,则对应 20.26 的基线结果。

4.5 完整复现命令

在安装好 PaddlePaddle、PaddleSpeech 及 Kaldi(st1 依赖 Kaldi 特征提取,安装说明见 tools/extras/install_kaldi.sh)后,将 TED_EnZh 数据集放置到 ./TED_EnZh,从 examples/ted_en_zh/st1 目录执行:

# 数据 + 训练 + 平均 + 测试 全流程(4 卡 GPU)
bash run.sh --stage 0 --stop_stage 4

# 仅用 CPU 的等效命令序列
. ./path.sh
. ./cmd.sh
bash ./local/data.sh
CUDA_VISIBLE_DEVICES= ./local/train.sh conf/transformer_mtl_noam.yaml transformer_mtl_noam ""
avg.sh best exp/transformer_mtl_noam/checkpoints 5
CUDA_VISIBLE_DEVICES= ./local/test.sh conf/transformer_mtl_noam.yaml conf/tuning/decode.yaml exp/transformer_mtl_noam/checkpoints/avg_5

评测结果会写入 exp/transformer_mtl_noam/checkpoints/avg_5.fullsentence.rsl 等结果文件。

五、模型发布与使用

TED En-Zh ST1 的 Transformer FAT-ST MTL 模型已作为预训练模型发布(Char-BLEU 20.80,与启用 word reward 的实验行一致),模型详情见 docs/source/released_model.md(TED En-Zh ST1 条目)。

该模型可通过 PaddleSpeech 的 st 任务直接使用(见 demos/speech_translation/README.md):

  • 命令行方式(model=fat_st_ted,源语言 en、目标语言 zh);
  • Python API 方式:
import paddle
from paddlespeech.cli.st import STExecutor

st_executor = STExecutor()
text = st_executor(
    model='fat_st_ted',
    src_lang='en',
    tgt_lang='zh',
    sample_rate=16000,
    config=None,      # config 与 ckpt_path 均为 None 时使用预训练模型
    ckpt_path=None,
    audio_file='./en.wav',
    device=paddle.get_device())
print('ST Result: \n{}'.format(text))

若希望从 FAT-ST 预训练模型微调自己的 ST 模型,可在 run.sh 中设置 ckpt_path,训练脚本会自动调用 local/download_pretrain.sh 获取预训练权重。

六、小结

RESULTS.md 所记录的两行实验结果,浓缩了 PaddleSpeech TED En-Zh ST1 语音翻译配方中最有价值的两条经验:

  1. 多任务学习有效:将 ASR 作为辅助任务与 ST 联合训练(asr_weight=0.5、ctc_weight=0.3),配合 FAT 预训练,可在翻译数据稀缺的条件下获得有竞争力的翻译效果;
  2. 解码策略可继续提升指标:在 beam search 中引入 word reward(word_reward=0.7),通过抑制过早终止,将 Char-BLEU 从 20.26 提升至 20.80。

从数据处理(Kaldi Fbank+Pitch、SPM 词表、manifest 生成)到训练(Transformer MTL、Noam 调度)、再到模型平均与解码评测(Char-BLEU)的完整链路,均可通过 run.sh 一键复现,是研究和复现端到端语音翻译系统的可靠参考基线。

登录后查看全文
PaddleSpeech