WavTokenizer使用教程

1. 项目介绍

WavTokenizer是一个用于音频语言模型的开效离散声学编解码器标记器。它能够以每秒40个令牌的速度表示语音、音乐和音频，并具有丰富的语义信息，适用于GPT-4o等音频语言模型。

2. 项目快速启动

环境准备

首先，创建一个名为wavtokenizer的虚拟环境并激活它：

conda create -n wavtokenizer python=3.9
conda activate wavtokenizer

然后，安装项目所需的依赖：

pip install -r requirements.txt

编码与解码示例

以下是一个音频编码和解码的基本示例：

from encoder.utils import convert_audio
import torchaudio
import torch
from decoder.pretrained import WavTokenizer

# 设置设备
device = torch.device('cpu')

# 加载模型配置和预训练模型
config_path = "./configs/xxx.yaml"
model_path = "./xxx.ckpt"
wavtokenizer = WavTokenizer.from_pretrained0802(config_path, model_path).to(device)

# 加载音频
audio_path = "xxx"
wav, sr = torchaudio.load(audio_path)

# 转换音频
wav = convert_audio(wav, sr, 24000, 1).to(device)

# 编码音频
bandwidth_id = torch.tensor([0])
features, discrete_code = wavtokenizer.encode_infer(wav, bandwidth_id=bandwidth_id)

# 解码得到音频输出
audio_out = wavtokenizer.decode(features, bandwidth_id=bandwidth_id)

# 保存解码后的音频
torchaudio.save("xxx", audio_out, sample_rate=24000, encoding='PCM_S', bits_per_sample=16)

确保替换config_path、model_path和audio_path为实际的文件路径。

3. 应用案例和最佳实践

• 音频重建：使用WavTokenizer的编码和解码功能，可以从原始音频重建出质量较高的音频。
• 生成离散编解码器：可以生成用于音频表示的离散编解码器，有助于在音频处理任务中提高效率和性能。

4. 典型生态项目

WavTokenizer可以与以下项目结合使用，以构建更完整和强大的音频处理系统：

• LibriTTS：用于文本到语音合成的数据集。
• 10000 Hours：一个包含语音、音频和音乐的多样化数据集。
• 80000 Hours：一个大规模的语音和音乐数据集。

通过这些数据集，可以训练和评估WavTokenizer的性能，进一步优化和改进音频语言模型。