PaddleSpeech TED En-Zh 端到端语音翻译:Transformer FAT-ST MTL 模型实战与结果解读
PaddleSpeech TED En-Zh 端到端语音翻译:Transformer FAT-ST MTL 模型实战与结果解读
本文以 examples/ted_en_zh/st1/RESULTS.md 为主体,结合该目录下的
README.md、run.sh、训练/测试脚本与配置文件,完整讲解 PaddleSpeech 在 TED En-Zh(英文语音 → 中文文本)语音翻译任务上的数据组织、多任务训练流水线与 Char-BLEU 评测结果,帮助读者复现并理解 Transformer FAT-ST MTL 模型的完整技术链路。
一、任务背景:TED 英中语音翻译(ST1)
PaddleSpeech 的语音翻译(Speech Translation,ST)任务在 examples/ted_en_zh/st1 目录中实现了一个完整可复现的实验配方(recipe)。该任务的目标是输入英文语音,输出中文翻译文本,即语音到文本的跨语言翻译。
在 PaddleSpeech 中,ST 任务有两套典型实现:
- st0:直接使用原始波形/通用特征训练端到端翻译模型;
- st1:使用 Kaldi 特征(Fbank + Pitch),这是与 st0 最主要的区别。
在 st1 的 path.sh 中可以看到,模型对应的执行目录被设置为 MODEL=u2_st,即 BIN_DIR=${MAIN_ROOT}/paddlespeech/s2t/exps/u2_st/bin(见 path.sh),所有训练与测试均调用 paddlespeech/s2t 中的 train.py / test.py 完成。
本任务的核心模型配置为 FAT + Transformer + ASR MTL(Multi-Task Learning,多任务学习):以 FAT(Fast-Attention Transformer,借鉴 BERT/TLM 的跨语言跨模态预训练思路)预训练模型为起点,用 Transformer 编码器 + Transformer 解码器搭建语音翻译模型,同时将 ASR 识别作为辅助任务 进行联合训练,从而缓解 ST 任务标注数据稀缺的问题(该思路在 docs/tutorial/st/st_tutorial.ipynb 中有详细讲解)。
二、数据集与评测指标
2.1 数据集划分
TED En-Zh 语音翻译数据集包含训练、开发(dev)与测试(test)三个子集。RESULTS.md 以“时长(帧)”为单位记录了各子集的规模分布(帧数对应特征时长,帧内数值区间反映单条样本的语音长度范围):
| Data Subset | Duration in Frames |
|---|---|
| data/manifest.train | 94.2 ~ 6000 |
| data/manifest.dev | 115.1 ~ 3900 |
| data/manifest.test | 110 ~ 4274.6 |
三个 manifest 文件(data/manifest.train、data/manifest.dev、data/manifest.test)由数据预处理阶段(local/data.sh 的 stage 3)通过 espnet_json_to_manifest.py 从 json 特征文件转换生成,并作为训练配置中的输入数据入口(见 transformer_mtl_noam.yaml)。
数据集需要自行下载并解压(下载方式与目录结构在 local/data.sh 中给出)。原始数据的目录树应为:
.
|-- En-Zh
| |-- train.en-zh
| |-- tst2014.en-zh
| |-- tst2015.en-zh
|-- test-segment
| |-- tst2010
| |-- ...
|-- train-split
| |-- train-segment
|-- README.md
数据集加载脚本 local/ted_en_zh.py 将原始目录映射为三个子集:train-split/train-segment → train、test-segment/tst2014 → dev、test-segment/tst2015 → test,同时过滤掉小于 30KB 的音频文件,并将说话人 ID 补齐为 6 位、统一命名为 ted-en-zh- 前缀,输出 wav.scp.org、utt2spk.org、en.org、zh.org 等中间文件。
2.2 评测指标:Char-BLEU
RESULTS.md 中使用的核心指标是 Char-BLEU(字符级 BLEU)。与 ASR 任务常用的 CER/WER 不同,翻译任务需要对生成文本与参考译文进行 n-gram 匹配打分。PaddleSpeech 在 paddlespeech/s2t/utils/bleu_score.py 中实现了 BLEU 计算,并在 u2_st 模型 中注册了 char-bleu 错误率类型。评测时通过 conf/tuning/decode.yaml 中的 error_rate_type: char-bleu 指定(见 decode.yaml)。
三、实验结果:Transformer 模型评测
RESULTS.md 给出了两种模型变体的评测结果(参数规模 50.26M,均使用 conf/transformer_mtl_noam.yaml 配置):
| Model | Params | Config | Val loss | Char-BLEU |
|---|---|---|---|---|
| FAT + Transformer+ASR MTL | 50.26M | conf/transformer_mtl_noam.yaml | 69.91 | 20.26 |
| FAT + Transformer+ASR MTL with word reward | 50.26M | conf/transformer_mtl_noam.yaml | 62.86 | 20.80 |
两行数据的区别在于是否在解码(beam search)时引入 word reward(单词奖励):
- 第一行是标准的多任务模型,Val loss 为 69.91,Char-BLEU 为 20.26;
- 第二行在
conf/tuning/decode.yaml中设置word_reward: 0.7(见 decode.yaml),训练中 Val loss 降为 62.86,Char-BLEU 提升到 20.80。
从代码实现看,word reward 的作用是在束搜索(beam search)中对已结束(输出 EOS)的假设按生成长度给予额外加分,以缓解翻译输出过早终止、译文偏短的问题。在 paddlespeech/s2t/models/u2_st/u2_st.py 中,每一条结束的假设会执行 hyp<a href="https://link.gitcode.com/i/2678155b903fd92e754369411ae26942" target="_blank">"score"] += (i - 1) * word_reward,同时用 hyp["score"] + maxlen * word_reward > cur_best_score 作为提前终止的判定条件,保证束搜索的优性。这与 README 中的发布模型结果(Char-BLEU 20.80)一致——20.80 对应的正是启用 word reward 的版本,也是 [docs/source/released_model.md 中列出的 ST1 发布模型得分。
提示:README 中该模型的 Val loss 记录为 62.86,
RESULTS.md第一行记录为 69.91,两者差异来源于不同训练轮次/checkpoint 平均策略下的快照,Char-BLEU 以解码评测结果为准。
四、从数据处理到模型评测:完整流水线
run.sh 是整条流水线的总入口(默认 stage=1、stop_stage=4,见 run.sh)。其阶段划分与功能如下:
| Stage | Function |
|---|---|
| 0 | 处理数据:计算训练集 CMVN、生成词表文件、生成训练/开发/测试集的 manifest 文件 |
| 1 | 训练模型 |
| 2 | 对 top-k 模型取平均得到最终模型,k = 1 表示直接选择最优模型 |
| 3 | 测试最终模型性能 |
运行前需先加载环境变量并解析命令行参数:
. ./path.sh
. ./cmd.sh
source ${MAIN_ROOT}/utils/parse_options.sh
run.sh 支持通过 --stage / --stop_stage 组合控制执行区间。例如只跑数据处理:
bash run.sh --stage 0 --stop_stage 0
也可以同时设置 GPU 数量与平均模型个数等局部变量:
bash run.sh --gpus 0,1 --avg_num 5
run.sh 中的关键局部变量包括:
gpus:使用的 GPU 编号,置空表示仅用 CPU;conf_path:模型配置文件路径(默认conf/transformer_mtl_noam.yaml);data_path:数据集路径(默认./TED_EnZh);avg_num:top-k 平均的 k 值(默认 5);ckpt_path:预训练模型 checkpoint 前缀(如paddle.98,用于从 FAT-ST 预训练模型微调);decode_conf_path:解码配置(默认conf/tuning/decode.yaml)。
4.1 Stage 0:数据处理
数据处理由 local/data.sh 完成(内部又细分为多个 stage),核心步骤包括:
- 数据抽取:
python3 local/ted_en_zh.py --tgt-dir=data/ted_en_zh --src-dir=${data_dir}生成各子集的wav.scp、utt2spk、spk2utt及中英文文本; - 去重与清洗:利用
utils/fix_data_dir.sh --utt_extra_files "text.en text.zh"等 Kaldi 工具去除重复语句(duplicate_lines/reclist),英文文本通过 local/remove_punctuation.pl 去除标点并转为小写; - 特征生成:通过
steps/make_fbank_pitch.sh生成 80 维 Fbank + Pitch 特征(配置文件见 conf/fbank.conf 与 conf/pitch.conf),并做 speed perturbation 速度扰动数据增强(0.9 / 1.0 / 1.1 三份); - CMVN 统计与 dump:
compute-cmvn-stats计算训练集 CMVN,再用dump.sh将特征 dump 成data/dump/train_sp/deltaFalse等目录(do_delta=false表示不使用 delta 特征); - 词典与 Json 生成:用 SentencePiece(
spm_train/spm_encode,BPE 模式,nbpe=8000)训练联合中英词表data/lang_char/ted_en_zh_bpe8000.txt(<unk>必须为 1,0 留给 CTC 的 blank),通过data2json.sh生成 json,再由update_json.sh添加源语言(英文)引用; - manifest 生成:
espnet_json_to_manifest.py将 json 转为data/manifest.{train,dev,test}。
此外 data.sh 还会对过长样本做过滤(--maxframes 3000 --maxchars 400),并分别按语言切分数据(local/divide_lang.sh),以支持中英双语言的联合建模。
4.2 Stage 1:模型训练
训练脚本入口为 CUDA_VISIBLE_DEVICES=${gpus} ./local/train.sh ${conf_path} ${ckpt} "${ckpt_path}"。若指定了 ckpt_path,会先执行 ./local/download_pretrain.sh 下载 FAT-ST 预训练模型进行微调。
train.sh 的调用方式:
# 单卡
python3 -u ${BIN_DIR}/train.py \
--ngpu ${ngpu} \
--config ${config_path} \
--output exp/${ckpt_name} \
--checkpoint_path "${ckpt_path}" \
--seed ${seed}
# 多卡(分布式)
python3 -m paddle.distributed.launch --gpus=${CUDA_VISIBLE_DEVICES} ${ips_config} ${BIN_DIR}/train.py \
--ngpu ${ngpu} \
--config ${config_path} \
--output exp/${ckpt_name} \
--checkpoint_path "${ckpt_path}" \
--seed ${seed}
训练模型的核心配置位于 conf/transformer_mtl_noam.yaml,关键参数如下:
数据与 Dataloader 部分
| 参数 | 默认值 | 说明 |
|---|---|---|
| train_manifest / dev_manifest / test_manifest | data/manifest.* | 三组数据入口 |
| vocab_filepath | data/lang_char/ted_en_zh_bpe8000.txt | 联合词表(BPE 8000) |
| unit_type | 'spm' | 使用 SentencePiece 子词单元 |
| spm_model_prefix | data/lang_char/ted_en_zh_bpe8000 | SPM 模型前缀 |
| batch_size | 20 | 批大小 |
| feat_dim | 83 | 输入特征维度(80 维 Fbank + 3 维 Pitch) |
| window_ms / stride_ms | 25.0 / 10.0 | 窗长与帧移 |
| sortagrad | 0 | 0 表示关闭“按长度排序”的课程学习,-1 表示全程开启 |
| maxlen_in / maxlen_out | 512 / 150 | 输入/输出过长时自动缩减 batch |
| num_workers | 0 | 数据加载进程数 |
网络结构(Transformer Encoder-Decoder)
- encoder: transformer,
output_size=256(注意力维度)、attention_heads=4、linear_units=2048(FFN 隐层)、num_blocks=12、dropout_rate=0.1、input_layer=conv2d(也可选 conv2d6 / conv2d8); - decoder: transformer,
attention_heads=4、linear_units=2048、num_blocks=6、dropout 0.1; - model_conf(混合 CTC/注意力损失权重):
asr_weight: 0.5(ASR 辅助任务损失权重);ctc_weight: 0.3(CTC 损失权重);lsm_weight: 0.1(label smoothing 标签平滑);length_normalized_loss: false。
作为对照,纯 Transformer 翻译配置 conf/transformer.yaml 将 asr_weight 与 ctc_weight 均设为 0.0,即不启用 ASR 辅助任务——这正是两种配置的核心区别,也解释了"Transformer+ASR MTL"名称的含义。
训练超参
n_epoch: 40,accum_grad: 2(梯度累积),global_grad_clip: 5.0;- 优化器 adam,
lr: 2.5;学习率调度器 noam,warmup_steps: 25000、lr_decay: 1.0; - checkpoint 策略:
kbest_n: 50(按验证损失保存前 50 个)、latest_n: 5(保留最近 5 个)。
4.3 Stage 2:Top-k 模型平均
每个 epoch 都会保存 checkpoint,训练完成后通过 utils/avg.sh 对验证损失最优的 top-k 个模型做参数平均:
avg.sh best exp/${ckpt}/checkpoints ${avg_num}
avg.sh 位于 utils/ 目录(已通过 path.sh 加入 PATH)。k=1 时等价于直接选取最优单模型;默认 avg_num=5,即平均前 5 个最优 checkpoint 得到 avg_5 最终模型。
4.4 Stage 3:模型测试(解码与评测)
测试脚本调用方式:
CUDA_VISIBLE_DEVICES=0 ./local/test.sh ${conf_path} ${decode_conf_path} exp/${ckpt}/checkpoints/${avg_ckpt}
test.sh 内部对 fullsentence(整句解码)类型循环执行 test.py:
python3 -u ${BIN_DIR}/test.py \
--ngpu ${ngpu} \
--config ${config_path} \
--decode_cfg ${decode_config_path} \
--result_file ${ckpt_prefix}.${type}.rsl \
--checkpoint_path ${ckpt_prefix} \
--opts decode.decoding_method ${type}
解码与评测参数集中在 conf/tuning/decode.yaml:
| 参数 | 默认值 | 说明 |
|---|---|---|
| batch_size | 1 | 解码批大小 |
| error_rate_type | char-bleu | 评测指标为字符级 BLEU |
| decoding_method | fullsentence | 整句解码(另有 simultaneous 流式翻译模式) |
| beam_size | 10 | 束搜索宽度 |
| word_reward | 0.7 | 单词奖励,缓解译文过早终止 |
| maxlenratio | 0.3 | 译文最大长度 = 编码器输出长度 × maxlenratio |
| decoding_chunk_size | -1 | <0 全量解码;>0 固定 chunk;0 仅训练用,解码禁用 |
| num_decoding_left_chunks | -1 | 流式解码左侧 chunk 数 |
| simulate_streaming | False | 是否模拟流式推理 |
其中 word_reward: 0.7 对应 RESULTS.md 中 Char-BLEU 20.80 的版本;若将其注释/置 0,则对应 20.26 的基线结果。
4.5 完整复现命令
在安装好 PaddlePaddle、PaddleSpeech 及 Kaldi(st1 依赖 Kaldi 特征提取,安装说明见 tools/extras/install_kaldi.sh)后,将 TED_EnZh 数据集放置到 ./TED_EnZh,从 examples/ted_en_zh/st1 目录执行:
# 数据 + 训练 + 平均 + 测试 全流程(4 卡 GPU)
bash run.sh --stage 0 --stop_stage 4
# 仅用 CPU 的等效命令序列
. ./path.sh
. ./cmd.sh
bash ./local/data.sh
CUDA_VISIBLE_DEVICES= ./local/train.sh conf/transformer_mtl_noam.yaml transformer_mtl_noam ""
avg.sh best exp/transformer_mtl_noam/checkpoints 5
CUDA_VISIBLE_DEVICES= ./local/test.sh conf/transformer_mtl_noam.yaml conf/tuning/decode.yaml exp/transformer_mtl_noam/checkpoints/avg_5
评测结果会写入 exp/transformer_mtl_noam/checkpoints/avg_5.fullsentence.rsl 等结果文件。
五、模型发布与使用
TED En-Zh ST1 的 Transformer FAT-ST MTL 模型已作为预训练模型发布(Char-BLEU 20.80,与启用 word reward 的实验行一致),模型详情见 docs/source/released_model.md(TED En-Zh ST1 条目)。
该模型可通过 PaddleSpeech 的 st 任务直接使用(见 demos/speech_translation/README.md):
- 命令行方式(
model=fat_st_ted,源语言 en、目标语言 zh); - Python API 方式:
import paddle
from paddlespeech.cli.st import STExecutor
st_executor = STExecutor()
text = st_executor(
model='fat_st_ted',
src_lang='en',
tgt_lang='zh',
sample_rate=16000,
config=None, # config 与 ckpt_path 均为 None 时使用预训练模型
ckpt_path=None,
audio_file='./en.wav',
device=paddle.get_device())
print('ST Result: \n{}'.format(text))
若希望从 FAT-ST 预训练模型微调自己的 ST 模型,可在 run.sh 中设置 ckpt_path,训练脚本会自动调用 local/download_pretrain.sh 获取预训练权重。
六、小结
RESULTS.md 所记录的两行实验结果,浓缩了 PaddleSpeech TED En-Zh ST1 语音翻译配方中最有价值的两条经验:
- 多任务学习有效:将 ASR 作为辅助任务与 ST 联合训练(
asr_weight=0.5、ctc_weight=0.3),配合 FAT 预训练,可在翻译数据稀缺的条件下获得有竞争力的翻译效果; - 解码策略可继续提升指标:在 beam search 中引入 word reward(
word_reward=0.7),通过抑制过早终止,将 Char-BLEU 从 20.26 提升至 20.80。
从数据处理(Kaldi Fbank+Pitch、SPM 词表、manifest 生成)到训练(Transformer MTL、Noam 调度)、再到模型平均与解码评测(Char-BLEU)的完整链路,均可通过 run.sh 一键复现,是研究和复现端到端语音翻译系统的可靠参考基线。