TensorFlowASR使用手册

2024-09-27 06:40:07作者：牧宁李

项目概述

TensorFlowASR 是一个致力于提升CPU上自动语音识别（ASR）模型性能的项目，其目标是使CPU端的模型接近GPU的性能表现。该项目特别强调在CPU上实现低实时率（Real-Time Factor, RTF），通常小于0.1。它基于TensorFlow 2.x，提供了包括Conformer在内的多种架构，并专注于实时在线和离线语音识别。

项目目录结构及介绍

下面是TensorFlowASR的基本目录结构及其重要组件说明：

TensorflowASR/
|-- Inference                   # 推理相关代码和配置
|-- augmentations               # 数据增强模块
|-- externals                   # 外部依赖或工具
|-- leaf_audio                  # 音频处理相关模块
|-- punc_recover                # 标点恢复相关的代码
|-- utils                       # 辅助函数集合
|-- vad                         # 语音活动检测(VAD)相关实现
|-- ... （更多核心模块）
|-- .gitignore                 # Git忽略文件配置
|-- LICENSE                     # 开源许可证文件
|-- README.md                   # 项目介绍与快速入门指南
|-- community.jpg               # 社区相关图片
|-- eval_*.py                   # 评估脚本
|-- test_*.py                   # 单元测试脚本
|-- train_*.py                  # 训练脚本
|-- am_data.yml                 # 音素数据配置文件
|-- config_model/*.yml          # 模型配置文件

项目启动文件介绍

主要入口：项目的核心运行脚本分散在不同的任务中，主要的启动脚本包括：
- train_asr.py：用于训练模型的脚本，通过配置文件指定模型和数据集。
- test_asr.py：提供了一个演示如何进行测试的简单示例，可以根据需求自定义音频处理和识别过程。
- eval_am.py和eval_punc.py等：用于评估模型性能的脚本。
配置引导：项目运作的关键在于配置文件的正确设定，比如am_data.yml控制数据处理细节，而特定模型的配置如conformer.yml定义模型结构和训练细节。

项目配置文件介绍

主要配置文件解析

am_data.yml
- 作用：此文件主要用于定义音频模型的数据处理参数，包括数据目录、标签映射、声学特征提取设置等。
模型配置文件（如conformer.yml）
- 详解：这些文件详细描述了模型架构的选择（如Conformer）、超参数（学习率、批次大小等）、优化器类型和损失函数等。它们允许用户根据需要调整模型的复杂度和训练策略。
其他配置：还包括VAD和标点恢复等组件的配置文件，分别用于设置相应的训练和处理流程。

配置文件使用示例

训练模型：启动训练过程前，首先编辑am_data.yml指定数据路径和预处理偏好。然后，运行python train_asr.py --data_config am_data.yml --model_config conformer.yml来开始训练Conformer模型。
转换为ONNX：对于部署目的，可能需要将模型转换为ONNX格式。虽然具体的脚本未直接提及，一般涉及调用类似tf2onnx的工具，这通常在项目中或其文档中会有指导。

请注意，实际操作前务必查阅最新的README.md，因为它包含了最新指令、依赖安装和任何潜在的变更。此外，具体配置文件的字段和可用选项可能会随项目更新而变化，因此建议始终对照最新的文档进行配置。