StreamSpeech 开源项目使用教程

1. 项目目录结构及介绍

StreamSpeech 项目的目录结构如下：

StreamSpeech/
├── agent/
│   ├── speech_to_speech/
│   ├── speech_to_text/
│   └── ...
├── assets/
├── configs/
│   ├── fr-en/
│   ├── es-en/
│   └── ...
├── demo/
├── example/
├── fairseq/
├── preprocess_scripts/
├── pretrain_models/
├── researches/
│   ├── ctc_unity/
│   ├── translatotron/
│   └── ...
├── LICENSE
├── README.md
└── ...

目录介绍

• agent/: 包含用于不同任务的代理文件，如语音到语音、语音到文本等。
• assets/: 存放项目所需的静态资源文件。
• configs/: 包含不同语言对的配置文件，如法语到英语、西班牙语到英语等。
• demo/: 存放演示文件和示例代码。
• example/: 包含示例数据和配置文件。
• fairseq/: 包含 Fairseq 框架的相关文件。
• preprocess_scripts/: 包含数据预处理脚本。
• pretrain_models/: 存放预训练模型文件。
• researches/: 包含不同研究方向的代码和脚本。
• LICENSE: 项目的开源许可证文件。
• README.md: 项目的介绍和使用说明。

2. 项目的启动文件介绍

StreamSpeech 项目的启动文件主要集中在 researches/ 目录下，具体包括：

• researches/ctc_unity/train_scripts/train_simul-s2st.sh: 用于训练同时语音到语音翻译模型的脚本。
• researches/ctc_unity/train_scripts/train_offline-s2st.sh: 用于训练离线语音到语音翻译模型的脚本。
• researches/ctc_unity/test_scripts/pred_offline-s2st.sh: 用于评估离线语音到语音翻译模型的脚本。

启动示例

# 训练同时语音到语音翻译模型
bash researches/ctc_unity/train_scripts/train_simul-s2st.sh

# 训练离线语音到语音翻译模型
bash researches/ctc_unity/train_scripts/train_offline-s2st.sh

# 评估离线语音到语音翻译模型
bash researches/ctc_unity/test_scripts/pred_offline-s2st.sh

3. 项目的配置文件介绍

StreamSpeech 项目的配置文件主要存放在 configs/ 目录下，每个语言对都有相应的配置文件。以下是配置文件的示例：

• configs/fr-en/config_gcmvn.yaml: 法语到英语的配置文件，包含数据路径、模型参数等。
• configs/fr-en/config_mtl_asr_st_ctcst.yaml: 法语到英语的多任务学习配置文件。

配置文件示例

# configs/fr-en/config_gcmvn.yaml
data:
  root: /data/zhangshaolei/StreamSpeech
  train_subset: train
  valid_subset: valid
  test_subset: test

model:
  arch: streamspeech
  encoder: conformer
  decoder: ctc_unity

optimizer:
  name: adam
  lr: 0.001

...

配置文件说明

• data: 配置数据路径和子集。
• model: 配置模型架构和编码器、解码器类型。
• optimizer: 配置优化器名称和学习率。

通过以上配置文件，可以灵活调整模型的训练和评估参数。