PaddleSpeech TED En→Zh 端到端语音翻译实战:Transformer/Conformer ST 模型从数据准备到训练、评测
PaddleSpeech TED En→Zh 端到端语音翻译实战:Transformer/Conformer ST 模型从数据准备到训练、评测
导读
本文围绕 PaddleSpeech 仓库中的 examples/ted_en_zh 示例展开,系统讲解如何使用 Transformer(或 Conformer)构建英译中(En→Zh)端到端语音翻译(Speech Translation, ST)模型。文章会完整梳理 st0(在线 fbank 特征)与 st1(Kaldi 特征 + FAT 预训练微调)两条实验流水线,覆盖数据集准备、模型配置解读、分布式训练、Top-K 模型平均与 Char-BLEU 评测等全部环节,并结合源码说明 U2-ST 多任务架构、ASR MTL 联合训练、SpecAugment 数据增强与 beam search 解码的底层实现。读完本文,你将具备独立复现 TED En→Zh 语音翻译实验并迁移到自有数据上的能力。
一、示例总览:st0 与 st1 两条流水线
仓库根目录下的 examples/ted_en_zh/README.md 只有一行索引,真正的技术细节分布在两个子目录中:
| 子目录 | 特征类型 | 依赖 | 关键差异 |
|---|---|---|---|
| examples/ted_en_zh/st0 | 原始波形(raw wav)在线提取 fbank | 无额外依赖 | 训练/测试脚本直接从 manifest 中读取音频 |
| examples/ted_en_zh/st1 | Kaldi 离线 fbank + pitch 特征 | 需先安装 Kaldi | 支持从 FAT 预训练模型(PyTorch 权重)微调 |
两个目录的核心脚本均为 run.sh,其中定义了 4 个实验阶段(Stage),每个阶段职责如下表:
| Stage | 功能 |
|---|---|
| 0 | 数据处理,包括: (1) 计算训练集 CMVN 统计量 (2) 生成词表文件 (3) 生成 train / development / test 数据集的 manifest 文件 |
| 1 | 训练模型 |
| 2 | 对 Top-K 模型参数取平均得到最终模型,k=1 表示直接选择最优模型 |
| 3 | 测试最终模型性能 |
注意:TED En→Zh 数据集需要自行下载(st0 与 st1 的
data.sh均会检查./TED_EnZh目录是否存在,缺失时会打印下载链接并退出),下载解压后的目录结构应为:En-Zh/、test-segment/(含 tst2010 等)、train-split/train-segment/与README.md。
run.sh 支持通过 --stage 与 --stop_stage 选择运行任意阶段区间,例如:
# 只运行 stage 2 和 stage 3
bash run.sh --stage 2 --stop_stage 3
# 只运行 stage 0
bash run.sh --stage 0 --stop_stage 0
stage 等于 stop_stage 时即只执行单个阶段。下面的章节将按阶段逐一拆解。
二、环境准备与关键变量
2.1 环境变量(path.sh)
两个示例都依赖 utils/parse_options.sh 提供 --变量 值 的命令行解析能力,而环境变量则由各自的 path.sh 定义:
- st0 使用 examples/ted_en_zh/st0/path.sh;
- st1 使用 examples/ted_en_zh/st1/path.sh,且额外需要 examples/ted_en_zh/st1/cmd.sh(Kaldi 风格任务调度后端选择,支持
local、sge、slurm、ssh、jhu)。
st0 初始化方式:
source path.sh
source ${MAIN_ROOT}/utils/parse_options.sh
st1 初始化方式:
. ./path.sh
. ./cmd.sh
source ${MAIN_ROOT}/utils/parse_options.sh
两个 path.sh 的关键导出项:
MAIN_ROOT:仓库根目录(通过realpath ${PWD}/../../../计算);BIN_DIR:指向paddlespeech/s2t/exps/u2_st/bin,即训练/测试脚本所在目录(st0 的 path.sh 直接定义MODEL=u2_st);- st1 额外导出
KALDI_ROOT=${MAIN_ROOT}/tools/kaldi及 Kaldi 的common_path.sh环境。
2.2 局部变量(run.sh)
run.sh 中声明的局部变量及含义如下:
| 变量 | 含义 | 默认值(st0 / st1) |
|---|---|---|
gpus |
使用的 GPU 编号列表;置空(gpus=)表示仅用 CPU |
0,1,2,3 / 0,1,2,3 |
stage |
起始阶段编号 | 0 / 1 |
stop_stage |
结束阶段编号 | 50 / 4 |
conf_path |
模型配置文件路径 | conf/transformer_mtl_noam.yaml |
decode_conf_path |
解码配置文件路径 | conf/tuning/decode.yaml |
data_path |
数据集解压路径 | ./TED_EnZh |
avg_num |
Top-K 平均的 K 值 | 5 |
ckpt |
检查点前缀名(如 transformer_mtl_noam) |
由 conf_path 文件名自动推导 |
ips |
多机训练时的节点 IP 列表(可选) | 空 |
ckpt_path(仅 st1) |
微调起始的预训练权重路径 | 空 |
除 ckpt 外,所有局部变量均可在命令行覆盖:
bash run.sh --gpus 0,1 --avg_num 5
其中 ckpt 由 basename ${conf_path} | awk -F'.' '{print $1}' 自动生成,即取配置文件名去掉扩展名的部分;avg_ckpt=avg_${avg_num} 供 stage 3 引用平均后的模型路径。
三、Stage 0:数据处理流水线
3.1 st0:在线特征 + manifest 化
st0 的 local/data.sh 内部又细分了 4 个子阶段:
stage -1:生成原始 manifest
调用 dataset/ted_en_zh/ted_en_zh.py 将下载的原始语料转换为 data/manifest.train.raw、data/manifest.dev.raw、data/manifest.test.raw 三个清单文件:
python3 ${TARGET_DIR}/ted_en_zh/ted_en_zh.py \
--manifest_prefix="data/manifest" \
--src-dir="${data_dir}"
stage 0:计算 CMVN 统计量
用 utils/compute_mean_std.py 在训练集上统计均值/方差,输出 data/mean_std.json。注意参数 use_dB_normalization=False、feat_dim=80、sample_rate=16000、stride_ms=10、window_ms=25,这些必须与训练配置保持一致:
python3 ${MAIN_ROOT}/utils/compute_mean_std.py \
--manifest_path="data/manifest.train.raw" \
--num_samples=-1 \
--spectrum_type="fbank" \
--feat_dim=80 \
--delta_delta=false \
--sample_rate=16000 \
--stride_ms=10 \
--window_ms=25 \
--use_dB_normalization=False \
--num_workers=$(nproc) \
--output_path="data/mean_std.json"
stage 1:构建词表(SentencePiece)
用 utils/build_vocab.py 在训练集文本上训练 SentencePiece 模型。st0 默认 nbpe=8000、bpemode=unigram、spm_character_coverage=1.0,生成的词表位于 data/lang_char/vocab.txt,SPM 模型前缀为 data/lang_char/bpe_unigram_8000:
python3 ${MAIN_ROOT}/utils/build_vocab.py \
--unit_type "spm" \
--spm_vocab_size=${nbpe} \
--spm_mode ${bpemode} \
--spm_model_prefix ${bpeprefix} \
--spm_character_coverage 1. \
--vocab_path="${dict_dir}/vocab.txt" \
--text_keys 'text' \
--manifest_paths="data/manifest.train.raw"
stage 2:格式化 manifest
用 utils/format_data.py 并行处理 train/dev/test,将文本转为 SPM token id,并写入 CMVN 路径,产出 data/manifest.train、data/manifest.dev、data/manifest.test 供训练直接消费:
for set in train dev test; do
python3 ${MAIN_ROOT}/utils/format_data.py \
--cmvn_path "data/mean_std.json" \
--unit_type "spm" \
--spm_model_prefix ${bpeprefix} \
--vocab_path="${dict_dir}/vocab.txt" \
--manifest_path="data/manifest.${set}.raw" \
--output_path="data/manifest.${set}"
done
3.2 st1:Kaldi 特征 + 速度扰动
st1 的 local/data.sh 走完整 Kaldi 数据准备路线,与 st0 最大的区别是:离线抽取 80 维 fbank + pitch 特征,并做 0.9/1.0/1.1 三档速度扰动(speed perturbation)数据增强。其内部阶段如下:
- stage -1:调用 local/ted_en_zh.py 解析语料。该脚本读取
En-Zh/train.en-zh、En-Zh/tst2014.en-zh、En-Zh/tst2015.en-zh三个制表符分隔文件(每行wav\t英文\t中文),生成wav.scp.org、utt2spk.org、en.org、zh.org与.yaml,并统一命名 utterance 为ted-en-zh-前缀; - stage 0:Kaldi 数据目录整理——对英文文本用
local/remove_punctuation.pl去标点,中文文本直接拷贝,随后用reduce_data_dir.sh、fix_data_dir.sh等 Kaldi 工具去除重复 utterance 并校验数据目录; - stage 1:特征生成——用
steps/make_fbank_pitch.sh(80 维 fbank,见 conf/fbank.conf,采样率 16000)抽取特征;随后做三档速度扰动并combine_data.sh合并为train_sp;再调用local/divide_lang.sh将 en/zh 双语目录按语言拆分(divide_lang.sh会为两种语言各建一份带text的独立 Kaldi 数据目录);之后用remove_longshortdata.sh --maxframes 3000 --maxchars 400过滤超长样本,compute-cmvn-stats计算 CMVN,dump.sh导出特征; - stage 2:用
spm_train/spm_encode训练 bpe8000 词表(模型前缀data/lang_char/ted_en_zh_bpe8000),再用data2json.sh生成 ESPnet 风格 json,最后update_json.sh补充源语言(英文)文本作为 ST 训练的 source reference; - stage 3:用 utils/espnet_json_to_manifest.py 把 json 转成与 st0 一致的 manifest 格式:
python3 ${MAIN_ROOT}/utils/espnet_json_to_manifest.py \
--json-file ${x[$i]}/data_${bpemode}${nbpe}.json \
--manifest-file data/manifest.${y[$i]}
3.3 数据处理阶段在 run.sh 中的入口
if [ ${stage} -le 0 ] && [ ${stop_stage} -ge 0 ]; then
# prepare data
bash ./local/data.sh --data_dir ${data_path} || exit -1
fi
只想做数据处理时:
bash run.sh --stage 0 --stop_stage 0
或直接在命令行执行(st0 写法;st1 需先 . ./path.sh 与 . ./cmd.sh):
source path.sh
bash ./local/data.sh
四、Stage 1:模型训练
4.1 训练入口与多卡启动
st0 的 local/train.sh 依据 CUDA_VISIBLE_DEVICES 中 GPU 数量决定单卡或多卡:ngpu==0 时直接调用训练脚本,否则通过 python3 -m paddle.distributed.launch --gpus=... 启动分布式训练,可选 --ips 支持多机:
if [ ${ngpu} == 0 ]; then
python3 -u ${BIN_DIR}/train.py \
--ngpu ${ngpu} \
--config ${config_path} \
--output exp/${ckpt_name} \
--seed ${seed}
else
python3 -m paddle.distributed.launch --gpus=${CUDA_VISIBLE_DEVICES} ${ips_config} ${BIN_DIR}/train.py \
--ngpu ${ngpu} \
--config ${config_path} \
--output exp/${ckpt_name} \
--seed ${seed}
fi
其中 seed 默认 0(脚本注释提示“seed may break model convergence”,且仅当 seed 非 0 时才开启 FLAGS_cudnn_deterministic)。st1 的 local/train.sh 与其结构一致,只是额外透传 --checkpoint_path "${ckpt_path}" 支持微调。
run.sh 中的 stage 1:
if [ ${stage} -le 1 ] && [ ${stop_stage} -ge 1 ]; then
# train model, all `ckpt` under `exp` dir
CUDA_VISIBLE_DEVICES=${gpus} ./local/train.sh ${conf_path} ${ckpt}
fi
st1 多了预训练微调分支:当 ckpt_path 非空时,会先执行 local/download_pretrain.sh 下载 FAT 预训练权重:
if [ -n "${ckpt_path}" ]; then
echo "Finetune from Pretrained Model" ${ckpt_path}
./local/download_pretrain.sh || exit -1
fi
CUDA_VISIBLE_DEVICES=${gpus} ./local/train.sh ${conf_path} ${ckpt} "${ckpt_path}"
4.2 预训练权重下载与 PyTorch→Paddle 权重转换
download_pretrain.sh 先 wget 下载 PyTorch 格式的 snapshot.ep.98,再调用 local/convert_torch_to_paddle.py 转换为 Paddle 权重 paddle.98.pdparams:
wget https://paddlespeech.cdn.bcebos.com/s2t/ted_en_zh/st1/snapshot.ep.98 --no-check-certificate
python local/convert_torch_to_paddle.py \
--torch_ckpt snapshot.ep.98 \
--paddle_ckpt paddle.98.pdparams
该转换脚本的映射逻辑(对应 U2-ST 多任务架构)非常值得关注:
encoder.embed.*:二维权重直接转置(transpose(0,1));encoder.after_norm.*:一份权重同时复制给decoder.after_norm.*与st_decoder.after_norm.*(ASR 解码器与 ST 解码器共享 encoder 顶层归一化);encoder.encoders.*:前 6 层照搬到encoder,后 6 层(层号 ≥6)减去 6 后分别复制到decoder.encoders.*与st_decoder.encoders.*——这体现了“12 层 encoder 的后 6 层同时初始化 ASR 与 ST 两个解码器”的 FAT(From ASR To ST)参数继承思想。
4.3 训练阶段命令行直达(仅用 CPU 示例)
st0:
source path.sh
bash ./local/data.sh
CUDA_VISIBLE_DEVICES= ./local/train.sh conf/transformer_mtl_noam.yaml transformer_mtl_noam
st1:
. ./path.sh
. ./cmd.sh
bash ./local/data.sh
CUDA_VISIBLE_DEVICES= ./local/train.sh conf/transformer_mtl_noam.yaml transformer_mtl_noam ""
4.4 训练循环与多任务损失(源码印证)
训练脚本本体是 paddlespeech/s2t/exps/u2_st/model.py 中的 U2STTrainer(模型实现见 paddlespeech/s2t/models/u2_st/u2_st.py)。当数据同时包含翻译文本与 ASR 转写文本时,train_batch 会解包出 text, text_transcript,一次 forward 同时算出 st_loss、attention_loss 与 ctc_loss(见 model.py)。这正是“Transformer+ASR MTL(多任务学习)”的含义。
在模型前向中(u2_st.py):
- ST 分支:
encoder → st_decoder计算翻译注意力损失loss_st; - ASR 分支(当
asr_weight > 0):encoder输出同时送入 ASR 注意力解码器与 CTC 分支,loss_asr = ctc_weight * loss_asr_ctc + (1 - ctc_weight) * loss_asr_att; - 总损失:
loss = asr_weight * loss_asr + (1 - asr_weight) * loss_st。
配置 conf/transformer_mtl_noam.yaml 中 model_conf 的 asr_weight: 0.5 与 ctc_weight: 0.3 即控制这个联合损失的比例。训练按 accum_grad 累积梯度、以 n_epoch 控制总轮数,并使用 Noam 调度器(warmup_steps: 25000)配合 Adam 优化器。
五、模型配置详解(transformer_mtl_noam.yaml)
以 st0 的 conf/transformer_mtl_noam.yaml 为例(st1 的 conf/transformer_mtl_noam.yaml 除 feat_dim: 83(80 fbank + 3 pitch)、batch_size: 20、cmvn_file: None(CMVN 在 Kaldi dump 阶段已完成)、n_epoch: 40 外基本一致),按模块解读:
5.1 数据与数据加载器
| 配置项 | 默认值 | 说明 |
|---|---|---|
train_manifest / dev_manifest / test_manifest |
data/manifest.{train,dev,test} |
训练/验证/测试 manifest 路径 |
min_input_len / max_input_len |
0.05 / 30.0 秒 | 输入音频长度过滤 |
min_output_len / max_output_len |
0.0 / 400.0 tokens | 输出 token 数过滤 |
min_output_input_ratio / max_output_input_ratio |
0.01 / 20.0 | 输出/输入长度比过滤 |
vocab_filepath |
data/lang_char/vocab.txt |
词表文件(st1 为 ted_en_zh_bpe8000.txt) |
unit_type |
spm |
子词单元类型 |
spm_model_prefix |
data/lang_char/bpe_unigram_8000 |
SPM 模型前缀(st1 为 ted_en_zh_bpe8000) |
preprocess_config |
conf/preprocess.yaml |
在线预处理/增强配置 |
batch_size |
16 | 训练 batch size(st1 为 20) |
maxlen_in / maxlen_out |
5 / 150 | 超长样本自动调小 batch 的阈值(st1 的 maxlen_in 为 512) |
raw_wav |
True | 是否直接消费原始波形(st0) |
feat_dim |
80 | fbank 维数(st1 为 83,含 pitch) |
stride_ms / window_ms |
10.0 / 25.0 | 帧移/窗长(毫秒) |
target_sample_rate |
16000 | 目标采样率 |
use_dB_normalization / target_dB |
True / -20 | 波形增益归一化 |
sortagrad |
True | 前若干轮按时长排序训练 |
shuffle_method |
batch_shuffle | batch 级打乱 |
num_workers |
2 | 数据加载线程数 |
5.2 网络结构:Encoder / Decoder
Encoder(Transformer,亦可换 Conformer):
encoder: transformer
encoder_conf:
output_size: 256 # attention 维度
attention_heads: 4
linear_units: 2048 # 前馈网络隐藏单元数
num_blocks: 12 # encoder 层数
dropout_rate: 0.1
positional_dropout_rate: 0.1
attention_dropout_rate: 0.0
input_layer: conv2d # 可选 conv2d, conv2d6, conv2d8
normalize_before: true
Decoder(ST 解码器,同一 encoder 输出还会进入 ASR 解码器):
decoder: transformer
decoder_conf:
attention_heads: 4
linear_units: 2048
num_blocks: 6
dropout_rate: 0.1
positional_dropout_rate: 0.1
self_attention_dropout_rate: 0.0
src_attention_dropout_rate: 0.0
多任务权重(hybrid CTC/attention):
model_conf:
asr_weight: 0.5
ctc_weight: 0.3
lsm_weight: 0.1 # label smoothing
length_normalized_loss: false
模型工厂在 u2_st.py 中按 asr_weight > 0 决定是返回 (st_decoder, decoder, ctc) 三头结构还是仅 ST 解码器;ST 解码器由 TransformerDecoder(vocab_size, ...) 构建。
5.3 训练超参
n_epoch: 120
accum_grad: 2
global_grad_clip: 5.0
optim: adam
optim_conf:
lr: 2.5
weight_decay: 1.0e-06
scheduler: noam
scheduler_conf:
warmup_steps: 25000
lr_decay: 1.0
log_interval: 50
checkpoint:
kbest_n: 50 # 保留验证集最优的 50 个检查点
latest_n: 5 # 保留最近 5 个检查点
n_epoch=120、lr=2.5 配合 Noam 调度(warmup_steps=25000)是该示例在 st0 下的默认配置;st1 微调场景则把 n_epoch 降到 40。
5.4 在线预处理与 SpecAugment
conf/preprocess.yaml 定义了训练时的在线处理链:先做 fbank_kaldi(fs=16000、n_mels=80、n_shift=160、win_length=400、dither=0.1)与 cmvn_json 归一化,随后是三个 SpecAugment 增强(time_warp / freq_mask / time_mask,即 max_time_warp=5、F=30、T=40,各 n_mask=2)。st1 的 conf/preprocess.yaml 则只保留 SpecAugment 三项,因为特征提取与 CMVN 已在 Kaldi 阶段离线完成。
六、Stage 2:Top-K 模型平均
训练中每个 epoch 都会保存检查点。为了得到稳健的最终模型,可以按验证损失选出最优的 K 个模型并对其参数求平均(K=1 即等价于直接选最优)。run.sh 中对应代码:
if [ ${stage} -le 2 ] && [ ${stop_stage} -ge 2 ]; then
# avg n best model
avg.sh best exp/${ckpt}/checkpoints ${avg_num}
fi
avg.sh 位于 utils/avg.sh,由 path.sh 注入 PATH:
avg.sh best <ckpt_dir> <num>:调用avg_model.py --val_best,按验证集指标取最优的 num 个检查点平均,输出exp/<ckpt>/checkpoints/avg_<num>.pdparams;avg.sh latest <ckpt_dir> <num>:按保存顺序取最近 num 个检查点平均(不带--val_best)。
命令行直达示例:
avg.sh best exp/transformer_mtl_noam/checkpoints 5
或整链运行 bash run.sh --stage 0 --stop_stage 2。
七、Stage 3:模型测试与 Char-BLEU 评测
7.1 测试入口
run.sh 中的 stage 3:
if [ ${stage} -le 3 ] && [ ${stop_stage} -ge 3 ]; then
# test ckpt avg_n
CUDA_VISIBLE_DEVICES=0 ./local/test.sh ${conf_path} ${decode_conf_path} exp/${ckpt}/checkpoints/${avg_ckpt} || exit -1
fi
local/test.sh 以 fullsentence 解码方式调用 ${BIN_DIR}/test.py,将解码结果写入 ${ckpt_prefix}.fullsentence.rsl:
python3 -u ${BIN_DIR}/test.py \
--ngpu ${ngpu} \
--config ${config_path} \
--decode_cfg ${decode_config_path} \
--result_file ${ckpt_prefix}.fullsentence.rsl \
--checkpoint_path ${ckpt_prefix} \
--opts decode.decoding_method fullsentence
命令行直达(st0,CPU):
source path.h
bash ./local/data.sh
CUDA_VISIBLE_DEVICES= ./local/train.sh conf/transformer_mtl_noam.yaml transformer_mtl_noam
avg.sh latest exp/transformer_mtl_noam/checkpoints 5
CUDA_VISIBLE_DEVICES= ./local/test.sh conf/transformer_mtl_noam.yaml conf/tuning/decode.yaml exp/transformer_mtl_noam/checkpoints/avg_5
7.2 解码配置详解(decode.yaml)
conf/tuning/decode.yaml(st1 同名文件内容一致):
batch_size: 1
error_rate_type: char-bleu
decoding_method: fullsentence # 'fullsentence', 'simultaneous'
beam_size: 10
word_reward: 0.7
maxlenratio: 0.3
decoding_chunk_size: -1 # <0: 全句解码; >0: 固定 chunk; 0: 训练专用, 解码禁用
num_decoding_left_chunks: -1 # 解码时左侧 chunk 数, 默认 -1
simulate_streaming: False # 是否模拟流式推理
要点说明:
error_rate_type: char-bleu:评测指标为字符级 BLEU。测试脚本在 model.py 中按该字段选择bleu_score.char_bleu(实现见 paddlespeech/s2t/utils/bleu_score.py);word_reward: 0.7:beam search 中的词奖励(见 u2_st.py),用于缓解翻译句子偏短的问题,增加输出长度得分,最终影响 Char-BLEU;decoding_method: fullsentence:整句解码;simultaneous为同传模式;beam_size: 10:beam 宽度。
7.3 评测结果(仓库记录的复现基线)
st0 的 RESULTS.md 记录了数据集时长范围与模型基线:
| 数据子集 | 时长范围(秒) |
|---|---|
| data/manifest.train | 0.942 ~ 60 |
| data/manifest.dev | 1.151 ~ 39 |
| data/manifest.test | 1.1 ~ 42.746 |
| Model | Params | Config | Char-BLEU |
|---|---|---|---|
| Transformer+ASR MTL | 50.26M | conf/transformer_joint_noam.yaml | 17.38 |
st1 的 RESULTS.md 记录了基于 FAT 预训练微调 + Kaldi 特征的更强基线:
| Model | Params | Config | Val loss | Char-BLEU |
|---|---|---|---|---|
| FAT + Transformer+ASR MTL | 50.26M | conf/transformer_mtl_noam.yaml | 69.91 | 20.26 |
| FAT + Transformer+ASR MTL with word reward | 50.26M | conf/transformer_mtl_noam.yaml | 62.86 | 20.80 |
可以看到:开启 word_reward(0.7)后,即使验证损失接近(62.86 vs 69.91),Char-BLEU 也能从 20.26 提升到 20.80,验证了词奖励对译文长度与质量的直接作用。st0 与 st1 的指标差异主要来自特征方案(在线 fbank vs Kaldi fbank+pitch)与是否使用 FAT 预训练微调。
八、从 st0 到 st1 的关键差异总结
| 维度 | st0 | st1 |
|---|---|---|
| 特征提取 | 训练时在线(raw wav → fbank_kaldi,见 preprocess.yaml) | Kaldi 离线(80 维 fbank + pitch,见 fbank.conf 与 pitch.conf) |
| CMVN | 训练时通过 cmvn_json 应用 data/mean_std.json |
Kaldi compute-cmvn-stats 离线完成,配置 cmvn_file: None |
| 数据增强 | SpecAugment(time_warp/freq_mask/time_mask) | SpecAugment + 0.9/1.0/1.1 速度扰动 |
| 词表 | SPM unigram 8000 | SPM bpe 8000(ted_en_zh_bpe8000) |
| 预训练微调 | 不支持 | 支持 FAT 权重(PyTorch→Paddle 转换后 --checkpoint_path 微调) |
| 外部依赖 | 无 | 需安装 Kaldi(tools/kaldi)与 Kaldi 工具脚本(steps/utils 目录) |
| 配置差异 | raw_wav: True、feat_dim: 80、batch_size: 16、n_epoch: 120 |
feat_dim: 83、batch_size: 20、n_epoch: 40 |
选择建议:若环境无 Kaldi 或希望快速跑通全流程,选 st0;若已安装 Kaldi 且希望复现更高精度的基线(20+ Char-BLEU),选 st1 并配合 FAT 预训练微调。
九、进一步阅读
- 数据集处理脚本:dataset/ted_en_zh(st0 的 manifest 生成入口
ted_en_zh.py) - 训练/测试程序入口:
paddlespeech/s2t/exps/u2_st/bin/train.py、bin/test.py(BIN_DIR指向paddlespeech/s2t/exps/u2_st) - 模型与多任务损失实现:paddlespeech/s2t/models/u2_st/u2_st.py、paddlespeech/s2t/exps/u2_st/model.py
- 通用工具脚本:utils/avg.sh、utils/avg_model.py、utils/compute_mean_std.py、utils/build_vocab.py、utils/format_data.py
- 仓库通用 README:README.md、README_cn.md