PaddleSpeech TED En→Zh 端到端语音翻译实战:Transformer/Conformer ST 模型从数据准备到训练、评测

原创2026-09-24 21:42:471,872 阅读
文章标签:语音音频人工智能深度学习模型推理服务本地部署CLI音频处理

PaddleSpeech TED En→Zh 端到端语音翻译实战:Transformer/Conformer ST 模型从数据准备到训练、评测

导读

本文围绕 PaddleSpeech 仓库中的 examples/ted_en_zh 示例展开,系统讲解如何使用 Transformer(或 Conformer)构建英译中(En→Zh)端到端语音翻译(Speech Translation, ST)模型。文章会完整梳理 st0(在线 fbank 特征)与 st1(Kaldi 特征 + FAT 预训练微调)两条实验流水线,覆盖数据集准备、模型配置解读、分布式训练、Top-K 模型平均与 Char-BLEU 评测等全部环节,并结合源码说明 U2-ST 多任务架构、ASR MTL 联合训练、SpecAugment 数据增强与 beam search 解码的底层实现。读完本文,你将具备独立复现 TED En→Zh 语音翻译实验并迁移到自有数据上的能力。


一、示例总览:st0 与 st1 两条流水线

仓库根目录下的 examples/ted_en_zh/README.md 只有一行索引,真正的技术细节分布在两个子目录中:

子目录 特征类型 依赖 关键差异
examples/ted_en_zh/st0 原始波形(raw wav)在线提取 fbank 无额外依赖 训练/测试脚本直接从 manifest 中读取音频
examples/ted_en_zh/st1 Kaldi 离线 fbank + pitch 特征 需先安装 Kaldi 支持从 FAT 预训练模型(PyTorch 权重)微调

两个目录的核心脚本均为 run.sh,其中定义了 4 个实验阶段(Stage),每个阶段职责如下表:

Stage 功能
0 数据处理,包括:
(1) 计算训练集 CMVN 统计量
(2) 生成词表文件
(3) 生成 train / development / test 数据集的 manifest 文件
1 训练模型
2 对 Top-K 模型参数取平均得到最终模型,k=1 表示直接选择最优模型
3 测试最终模型性能

注意:TED En→Zh 数据集需要自行下载(st0 与 st1 的 data.sh 均会检查 ./TED_EnZh 目录是否存在,缺失时会打印下载链接并退出),下载解压后的目录结构应为:En-Zh/、test-segment/(含 tst2010 等)、train-split/train-segment/ 与 README.md。

run.sh 支持通过 --stage 与 --stop_stage 选择运行任意阶段区间,例如:

# 只运行 stage 2 和 stage 3
bash run.sh --stage 2 --stop_stage 3

# 只运行 stage 0
bash run.sh --stage 0 --stop_stage 0

stage 等于 stop_stage 时即只执行单个阶段。下面的章节将按阶段逐一拆解。


二、环境准备与关键变量

2.1 环境变量(path.sh)

两个示例都依赖 utils/parse_options.sh 提供 --变量 值 的命令行解析能力,而环境变量则由各自的 path.sh 定义:

st0 初始化方式:

source path.sh
source ${MAIN_ROOT}/utils/parse_options.sh

st1 初始化方式:

. ./path.sh
. ./cmd.sh
source ${MAIN_ROOT}/utils/parse_options.sh

两个 path.sh 的关键导出项:

  • MAIN_ROOT:仓库根目录(通过 realpath ${PWD}/../../../ 计算);
  • BIN_DIR:指向 paddlespeech/s2t/exps/u2_st/bin,即训练/测试脚本所在目录(st0 的 path.sh 直接定义 MODEL=u2_st);
  • st1 额外导出 KALDI_ROOT=${MAIN_ROOT}/tools/kaldi 及 Kaldi 的 common_path.sh 环境。

2.2 局部变量(run.sh)

run.sh 中声明的局部变量及含义如下:

变量 含义 默认值(st0 / st1)
gpus 使用的 GPU 编号列表;置空(gpus=)表示仅用 CPU 0,1,2,3 / 0,1,2,3
stage 起始阶段编号 0 / 1
stop_stage 结束阶段编号 50 / 4
conf_path 模型配置文件路径 conf/transformer_mtl_noam.yaml
decode_conf_path 解码配置文件路径 conf/tuning/decode.yaml
data_path 数据集解压路径 ./TED_EnZh
avg_num Top-K 平均的 K 值 5
ckpt 检查点前缀名(如 transformer_mtl_noam) 由 conf_path 文件名自动推导
ips 多机训练时的节点 IP 列表(可选) 空
ckpt_path(仅 st1) 微调起始的预训练权重路径 空

除 ckpt 外,所有局部变量均可在命令行覆盖:

bash run.sh --gpus 0,1 --avg_num 5

其中 ckpt 由 basename ${conf_path} | awk -F'.' '{print $1}' 自动生成,即取配置文件名去掉扩展名的部分;avg_ckpt=avg_${avg_num} 供 stage 3 引用平均后的模型路径。


三、Stage 0:数据处理流水线

3.1 st0:在线特征 + manifest 化

st0 的 local/data.sh 内部又细分了 4 个子阶段:

stage -1:生成原始 manifest

调用 dataset/ted_en_zh/ted_en_zh.py 将下载的原始语料转换为 data/manifest.train.raw、data/manifest.dev.raw、data/manifest.test.raw 三个清单文件:

python3 ${TARGET_DIR}/ted_en_zh/ted_en_zh.py \
    --manifest_prefix="data/manifest" \
    --src-dir="${data_dir}"

stage 0:计算 CMVN 统计量

用 utils/compute_mean_std.py 在训练集上统计均值/方差,输出 data/mean_std.json。注意参数 use_dB_normalization=False、feat_dim=80、sample_rate=16000、stride_ms=10、window_ms=25,这些必须与训练配置保持一致:

python3 ${MAIN_ROOT}/utils/compute_mean_std.py \
    --manifest_path="data/manifest.train.raw" \
    --num_samples=-1 \
    --spectrum_type="fbank" \
    --feat_dim=80 \
    --delta_delta=false \
    --sample_rate=16000 \
    --stride_ms=10 \
    --window_ms=25 \
    --use_dB_normalization=False \
    --num_workers=$(nproc) \
    --output_path="data/mean_std.json"

stage 1:构建词表(SentencePiece)

用 utils/build_vocab.py 在训练集文本上训练 SentencePiece 模型。st0 默认 nbpe=8000、bpemode=unigram、spm_character_coverage=1.0,生成的词表位于 data/lang_char/vocab.txt,SPM 模型前缀为 data/lang_char/bpe_unigram_8000:

python3 ${MAIN_ROOT}/utils/build_vocab.py \
    --unit_type "spm" \
    --spm_vocab_size=${nbpe} \
    --spm_mode ${bpemode} \
    --spm_model_prefix ${bpeprefix} \
    --spm_character_coverage 1. \
    --vocab_path="${dict_dir}/vocab.txt" \
    --text_keys 'text' \
    --manifest_paths="data/manifest.train.raw"

stage 2:格式化 manifest

用 utils/format_data.py 并行处理 train/dev/test,将文本转为 SPM token id,并写入 CMVN 路径,产出 data/manifest.train、data/manifest.dev、data/manifest.test 供训练直接消费:

for set in train dev test; do
    python3 ${MAIN_ROOT}/utils/format_data.py \
        --cmvn_path "data/mean_std.json" \
        --unit_type "spm" \
        --spm_model_prefix ${bpeprefix} \
        --vocab_path="${dict_dir}/vocab.txt" \
        --manifest_path="data/manifest.${set}.raw" \
        --output_path="data/manifest.${set}"
done

3.2 st1:Kaldi 特征 + 速度扰动

st1 的 local/data.sh 走完整 Kaldi 数据准备路线,与 st0 最大的区别是:离线抽取 80 维 fbank + pitch 特征,并做 0.9/1.0/1.1 三档速度扰动(speed perturbation)数据增强。其内部阶段如下:

  • stage -1:调用 local/ted_en_zh.py 解析语料。该脚本读取 En-Zh/train.en-zh、En-Zh/tst2014.en-zh、En-Zh/tst2015.en-zh 三个制表符分隔文件(每行 wav\t英文\t中文),生成 wav.scp.org、utt2spk.org、en.org、zh.org 与 .yaml,并统一命名 utterance 为 ted-en-zh- 前缀;
  • stage 0:Kaldi 数据目录整理——对英文文本用 local/remove_punctuation.pl 去标点,中文文本直接拷贝,随后用 reduce_data_dir.sh、fix_data_dir.sh 等 Kaldi 工具去除重复 utterance 并校验数据目录;
  • stage 1:特征生成——用 steps/make_fbank_pitch.sh(80 维 fbank,见 conf/fbank.conf,采样率 16000)抽取特征;随后做三档速度扰动并 combine_data.sh 合并为 train_sp;再调用 local/divide_lang.sh 将 en/zh 双语目录按语言拆分(divide_lang.sh 会为两种语言各建一份带 text 的独立 Kaldi 数据目录);之后用 remove_longshortdata.sh --maxframes 3000 --maxchars 400 过滤超长样本,compute-cmvn-stats 计算 CMVN,dump.sh 导出特征;
  • stage 2:用 spm_train/spm_encode 训练 bpe8000 词表(模型前缀 data/lang_char/ted_en_zh_bpe8000),再用 data2json.sh 生成 ESPnet 风格 json,最后 update_json.sh 补充源语言(英文)文本作为 ST 训练的 source reference;
  • stage 3:用 utils/espnet_json_to_manifest.py 把 json 转成与 st0 一致的 manifest 格式:
python3 ${MAIN_ROOT}/utils/espnet_json_to_manifest.py \
    --json-file ${x[$i]}/data_${bpemode}${nbpe}.json \
    --manifest-file data/manifest.${y[$i]}

3.3 数据处理阶段在 run.sh 中的入口

if [ ${stage} -le 0 ] && [ ${stop_stage} -ge 0 ]; then
    # prepare data
    bash ./local/data.sh --data_dir ${data_path} || exit -1
fi

只想做数据处理时:

bash run.sh --stage 0 --stop_stage 0

或直接在命令行执行(st0 写法;st1 需先 . ./path.sh 与 . ./cmd.sh):

source path.sh
bash ./local/data.sh

四、Stage 1:模型训练

4.1 训练入口与多卡启动

st0 的 local/train.sh 依据 CUDA_VISIBLE_DEVICES 中 GPU 数量决定单卡或多卡:ngpu==0 时直接调用训练脚本,否则通过 python3 -m paddle.distributed.launch --gpus=... 启动分布式训练,可选 --ips 支持多机:

if [ ${ngpu} == 0 ]; then
python3 -u ${BIN_DIR}/train.py \
    --ngpu ${ngpu} \
    --config ${config_path} \
    --output exp/${ckpt_name} \
    --seed ${seed}
else
python3 -m paddle.distributed.launch --gpus=${CUDA_VISIBLE_DEVICES} ${ips_config} ${BIN_DIR}/train.py \
    --ngpu ${ngpu} \
    --config ${config_path} \
    --output exp/${ckpt_name} \
    --seed ${seed}
fi

其中 seed 默认 0(脚本注释提示“seed may break model convergence”,且仅当 seed 非 0 时才开启 FLAGS_cudnn_deterministic)。st1 的 local/train.sh 与其结构一致,只是额外透传 --checkpoint_path "${ckpt_path}" 支持微调。

run.sh 中的 stage 1:

if [ ${stage} -le 1 ] && [ ${stop_stage} -ge 1 ]; then
    # train model, all `ckpt` under `exp` dir
    CUDA_VISIBLE_DEVICES=${gpus} ./local/train.sh ${conf_path} ${ckpt}
fi

st1 多了预训练微调分支:当 ckpt_path 非空时,会先执行 local/download_pretrain.sh 下载 FAT 预训练权重:

if [ -n "${ckpt_path}" ]; then
    echo "Finetune from Pretrained Model" ${ckpt_path}
    ./local/download_pretrain.sh || exit -1
fi
CUDA_VISIBLE_DEVICES=${gpus} ./local/train.sh ${conf_path} ${ckpt} "${ckpt_path}"

4.2 预训练权重下载与 PyTorch→Paddle 权重转换

download_pretrain.sh 先 wget 下载 PyTorch 格式的 snapshot.ep.98,再调用 local/convert_torch_to_paddle.py 转换为 Paddle 权重 paddle.98.pdparams:

wget https://paddlespeech.cdn.bcebos.com/s2t/ted_en_zh/st1/snapshot.ep.98 --no-check-certificate
python local/convert_torch_to_paddle.py \
    --torch_ckpt snapshot.ep.98 \
    --paddle_ckpt paddle.98.pdparams

该转换脚本的映射逻辑(对应 U2-ST 多任务架构)非常值得关注:

  • encoder.embed.*:二维权重直接转置(transpose(0,1));
  • encoder.after_norm.*:一份权重同时复制给 decoder.after_norm.* 与 st_decoder.after_norm.*(ASR 解码器与 ST 解码器共享 encoder 顶层归一化);
  • encoder.encoders.*:前 6 层照搬到 encoder,后 6 层(层号 ≥6)减去 6 后分别复制到 decoder.encoders.* 与 st_decoder.encoders.*——这体现了“12 层 encoder 的后 6 层同时初始化 ASR 与 ST 两个解码器”的 FAT(From ASR To ST)参数继承思想。

4.3 训练阶段命令行直达(仅用 CPU 示例)

st0:

source path.sh
bash ./local/data.sh
CUDA_VISIBLE_DEVICES= ./local/train.sh conf/transformer_mtl_noam.yaml transformer_mtl_noam

st1:

. ./path.sh
. ./cmd.sh
bash ./local/data.sh
CUDA_VISIBLE_DEVICES= ./local/train.sh conf/transformer_mtl_noam.yaml transformer_mtl_noam ""

4.4 训练循环与多任务损失(源码印证)

训练脚本本体是 paddlespeech/s2t/exps/u2_st/model.py 中的 U2STTrainer(模型实现见 paddlespeech/s2t/models/u2_st/u2_st.py)。当数据同时包含翻译文本与 ASR 转写文本时,train_batch 会解包出 text, text_transcript,一次 forward 同时算出 st_loss、attention_loss 与 ctc_loss(见 model.py)。这正是“Transformer+ASR MTL(多任务学习)”的含义。

在模型前向中(u2_st.py):

  • ST 分支:encoder → st_decoder 计算翻译注意力损失 loss_st;
  • ASR 分支(当 asr_weight > 0):encoder 输出同时送入 ASR 注意力解码器与 CTC 分支,loss_asr = ctc_weight * loss_asr_ctc + (1 - ctc_weight) * loss_asr_att;
  • 总损失:loss = asr_weight * loss_asr + (1 - asr_weight) * loss_st。

配置 conf/transformer_mtl_noam.yaml 中 model_conf 的 asr_weight: 0.5 与 ctc_weight: 0.3 即控制这个联合损失的比例。训练按 accum_grad 累积梯度、以 n_epoch 控制总轮数,并使用 Noam 调度器(warmup_steps: 25000)配合 Adam 优化器。


五、模型配置详解(transformer_mtl_noam.yaml)

以 st0 的 conf/transformer_mtl_noam.yaml 为例(st1 的 conf/transformer_mtl_noam.yaml 除 feat_dim: 83(80 fbank + 3 pitch)、batch_size: 20、cmvn_file: None(CMVN 在 Kaldi dump 阶段已完成)、n_epoch: 40 外基本一致),按模块解读:

5.1 数据与数据加载器

配置项 默认值 说明
train_manifest / dev_manifest / test_manifest data/manifest.{train,dev,test} 训练/验证/测试 manifest 路径
min_input_len / max_input_len 0.05 / 30.0 秒 输入音频长度过滤
min_output_len / max_output_len 0.0 / 400.0 tokens 输出 token 数过滤
min_output_input_ratio / max_output_input_ratio 0.01 / 20.0 输出/输入长度比过滤
vocab_filepath data/lang_char/vocab.txt 词表文件(st1 为 ted_en_zh_bpe8000.txt)
unit_type spm 子词单元类型
spm_model_prefix data/lang_char/bpe_unigram_8000 SPM 模型前缀(st1 为 ted_en_zh_bpe8000)
preprocess_config conf/preprocess.yaml 在线预处理/增强配置
batch_size 16 训练 batch size(st1 为 20)
maxlen_in / maxlen_out 5 / 150 超长样本自动调小 batch 的阈值(st1 的 maxlen_in 为 512)
raw_wav True 是否直接消费原始波形(st0)
feat_dim 80 fbank 维数(st1 为 83,含 pitch)
stride_ms / window_ms 10.0 / 25.0 帧移/窗长(毫秒)
target_sample_rate 16000 目标采样率
use_dB_normalization / target_dB True / -20 波形增益归一化
sortagrad True 前若干轮按时长排序训练
shuffle_method batch_shuffle batch 级打乱
num_workers 2 数据加载线程数

5.2 网络结构:Encoder / Decoder

Encoder(Transformer,亦可换 Conformer):

encoder: transformer
encoder_conf:
    output_size: 256    # attention 维度
    attention_heads: 4
    linear_units: 2048  # 前馈网络隐藏单元数
    num_blocks: 12      # encoder 层数
    dropout_rate: 0.1
    positional_dropout_rate: 0.1
    attention_dropout_rate: 0.0
    input_layer: conv2d # 可选 conv2d, conv2d6, conv2d8
    normalize_before: true

Decoder(ST 解码器,同一 encoder 输出还会进入 ASR 解码器):

decoder: transformer
decoder_conf:
    attention_heads: 4
    linear_units: 2048
    num_blocks: 6
    dropout_rate: 0.1
    positional_dropout_rate: 0.1
    self_attention_dropout_rate: 0.0
    src_attention_dropout_rate: 0.0

多任务权重(hybrid CTC/attention):

model_conf:
    asr_weight: 0.5
    ctc_weight: 0.3
    lsm_weight: 0.1     # label smoothing
    length_normalized_loss: false

模型工厂在 u2_st.py 中按 asr_weight > 0 决定是返回 (st_decoder, decoder, ctc) 三头结构还是仅 ST 解码器;ST 解码器由 TransformerDecoder(vocab_size, ...) 构建。

5.3 训练超参

n_epoch: 120
accum_grad: 2
global_grad_clip: 5.0
optim: adam
optim_conf:
  lr: 2.5
  weight_decay: 1.0e-06
scheduler: noam
scheduler_conf:
  warmup_steps: 25000
  lr_decay: 1.0
log_interval: 50
checkpoint:
  kbest_n: 50   # 保留验证集最优的 50 个检查点
  latest_n: 5   # 保留最近 5 个检查点

n_epoch=120、lr=2.5 配合 Noam 调度(warmup_steps=25000)是该示例在 st0 下的默认配置;st1 微调场景则把 n_epoch 降到 40。

5.4 在线预处理与 SpecAugment

conf/preprocess.yaml 定义了训练时的在线处理链:先做 fbank_kaldi(fs=16000、n_mels=80、n_shift=160、win_length=400、dither=0.1)与 cmvn_json 归一化,随后是三个 SpecAugment 增强(time_warp / freq_mask / time_mask,即 max_time_warp=5、F=30、T=40,各 n_mask=2)。st1 的 conf/preprocess.yaml 则只保留 SpecAugment 三项,因为特征提取与 CMVN 已在 Kaldi 阶段离线完成。


六、Stage 2:Top-K 模型平均

训练中每个 epoch 都会保存检查点。为了得到稳健的最终模型,可以按验证损失选出最优的 K 个模型并对其参数求平均(K=1 即等价于直接选最优)。run.sh 中对应代码:

if [ ${stage} -le 2 ] && [ ${stop_stage} -ge 2 ]; then
    # avg n best model
    avg.sh best exp/${ckpt}/checkpoints ${avg_num}
fi

avg.sh 位于 utils/avg.sh,由 path.sh 注入 PATH:

  • avg.sh best <ckpt_dir> <num>:调用 avg_model.py --val_best,按验证集指标取最优的 num 个检查点平均,输出 exp/<ckpt>/checkpoints/avg_<num>.pdparams;
  • avg.sh latest <ckpt_dir> <num>:按保存顺序取最近 num 个检查点平均(不带 --val_best)。

命令行直达示例:

avg.sh best exp/transformer_mtl_noam/checkpoints 5

或整链运行 bash run.sh --stage 0 --stop_stage 2。


七、Stage 3:模型测试与 Char-BLEU 评测

7.1 测试入口

run.sh 中的 stage 3:

if [ ${stage} -le 3 ] && [ ${stop_stage} -ge 3 ]; then
    # test ckpt avg_n
    CUDA_VISIBLE_DEVICES=0 ./local/test.sh ${conf_path} ${decode_conf_path} exp/${ckpt}/checkpoints/${avg_ckpt} || exit -1
fi

local/test.sh 以 fullsentence 解码方式调用 ${BIN_DIR}/test.py,将解码结果写入 ${ckpt_prefix}.fullsentence.rsl:

python3 -u ${BIN_DIR}/test.py \
    --ngpu ${ngpu} \
    --config ${config_path} \
    --decode_cfg ${decode_config_path} \
    --result_file ${ckpt_prefix}.fullsentence.rsl \
    --checkpoint_path ${ckpt_prefix} \
    --opts decode.decoding_method fullsentence

命令行直达(st0,CPU):

source path.h
bash ./local/data.sh
CUDA_VISIBLE_DEVICES= ./local/train.sh conf/transformer_mtl_noam.yaml transformer_mtl_noam
avg.sh latest exp/transformer_mtl_noam/checkpoints 5
CUDA_VISIBLE_DEVICES= ./local/test.sh conf/transformer_mtl_noam.yaml conf/tuning/decode.yaml exp/transformer_mtl_noam/checkpoints/avg_5

7.2 解码配置详解(decode.yaml)

conf/tuning/decode.yaml(st1 同名文件内容一致):

batch_size: 1
error_rate_type: char-bleu
decoding_method: fullsentence  # 'fullsentence', 'simultaneous'
beam_size: 10
word_reward: 0.7
maxlenratio: 0.3
decoding_chunk_size: -1 # <0: 全句解码; >0: 固定 chunk; 0: 训练专用, 解码禁用
num_decoding_left_chunks: -1  # 解码时左侧 chunk 数, 默认 -1
simulate_streaming: False  # 是否模拟流式推理

要点说明:

  • error_rate_type: char-bleu:评测指标为字符级 BLEU。测试脚本在 model.py 中按该字段选择 bleu_score.char_bleu(实现见 paddlespeech/s2t/utils/bleu_score.py);
  • word_reward: 0.7:beam search 中的词奖励(见 u2_st.py),用于缓解翻译句子偏短的问题,增加输出长度得分,最终影响 Char-BLEU;
  • decoding_method: fullsentence:整句解码;simultaneous 为同传模式;
  • beam_size: 10:beam 宽度。

7.3 评测结果(仓库记录的复现基线)

st0 的 RESULTS.md 记录了数据集时长范围与模型基线:

数据子集 时长范围(秒)
data/manifest.train 0.942 ~ 60
data/manifest.dev 1.151 ~ 39
data/manifest.test 1.1 ~ 42.746
Model Params Config Char-BLEU
Transformer+ASR MTL 50.26M conf/transformer_joint_noam.yaml 17.38

st1 的 RESULTS.md 记录了基于 FAT 预训练微调 + Kaldi 特征的更强基线:

Model Params Config Val loss Char-BLEU
FAT + Transformer+ASR MTL 50.26M conf/transformer_mtl_noam.yaml 69.91 20.26
FAT + Transformer+ASR MTL with word reward 50.26M conf/transformer_mtl_noam.yaml 62.86 20.80

可以看到:开启 word_reward(0.7)后,即使验证损失接近(62.86 vs 69.91),Char-BLEU 也能从 20.26 提升到 20.80,验证了词奖励对译文长度与质量的直接作用。st0 与 st1 的指标差异主要来自特征方案(在线 fbank vs Kaldi fbank+pitch)与是否使用 FAT 预训练微调。


八、从 st0 到 st1 的关键差异总结

维度 st0 st1
特征提取 训练时在线(raw wav → fbank_kaldi,见 preprocess.yaml) Kaldi 离线(80 维 fbank + pitch,见 fbank.conf 与 pitch.conf)
CMVN 训练时通过 cmvn_json 应用 data/mean_std.json Kaldi compute-cmvn-stats 离线完成,配置 cmvn_file: None
数据增强 SpecAugment(time_warp/freq_mask/time_mask) SpecAugment + 0.9/1.0/1.1 速度扰动
词表 SPM unigram 8000 SPM bpe 8000(ted_en_zh_bpe8000)
预训练微调 不支持 支持 FAT 权重(PyTorch→Paddle 转换后 --checkpoint_path 微调)
外部依赖 无 需安装 Kaldi(tools/kaldi)与 Kaldi 工具脚本(steps/utils 目录)
配置差异 raw_wav: True、feat_dim: 80、batch_size: 16、n_epoch: 120 feat_dim: 83、batch_size: 20、n_epoch: 40

选择建议:若环境无 Kaldi 或希望快速跑通全流程,选 st0;若已安装 Kaldi 且希望复现更高精度的基线(20+ Char-BLEU),选 st1 并配合 FAT 预训练微调。


九、进一步阅读

登录后查看全文
PaddleSpeech