逐行解读silma-tts的config.yaml:DiT架构与24kHz梅尔频谱配置完整详解

原创2026-11-05 09:19:571,751 阅读

逐行解读silma-tts的config.yaml:DiT架构与24kHz梅尔频谱配置完整详解

silma-tts 是一个约 150M 参数的轻量级开源双语(阿拉伯语/英语)语音合成(TTS)模型,基于 F5-TTS 的 DiT(Diffusion Transformer)扩散架构预训练而成。本仓库中的 config.yaml 就是微调时最核心的配置文件:它逐一定义了 DiT 骨干网络的层数、注意力头数,以及 24kHz 采样率的梅尔频谱(Mel Spectrogram)提取参数。本文带你逐行读懂这份配置,帮你快速上手 silma-tts 微调。🎙️

项目文件速览:微调所需的 4 件套

在解读配置前,先认识仓库里的 4 个关键文件:

文件 作用
config.yaml 模型与训练超参数配置(本文主角)
finetune_cli.py 打过补丁的 F5-TTS 微调脚本,会加载上面的配置
model.pt 预训练权重文件,微调的起点
vocab.txt 字符级词表,共 9260 行(阿拉伯字母 + 英文字母 + 标点)

按 README.md 的说法,silma-tts 与 F5-TTS v1.1.7 训练代码 100% 兼容:只需在 F5-TTS 项目中用 config.yaml 替换默认配置、用 vocab.txt 替换词表、用 finetune_cli.py 替换训练脚本即可。🔧

config.yaml 全文快速预览

hydra:
  run:
    dir: ckpts/${datasets.name}_{model.tokenizer}

datasets:
  name: ${datasets.name}
  batch_size_per_gpu: 8
  batch_size_type: sample
  max_samples: 1
  num_workers: 16

optim:
  epochs: 250
  learning_rate: 7.5e-5
  num_warmup_updates: 20000
  grad_accumulation_steps: 1
  max_grad_norm: 1.0
  bnb_optimizer: False

model:
  name: SilmaTTS_V1_Small
  tokenizer: char
  tokenizer_path: null
  backbone: DiT
  arch:
    dim: 768
    depth: 18
    heads: 12
    ff_mult: 2
    text_dim: 512
    text_mask_padding: True
    conv_layers: 4
    pe_attn_head: null
    attn_backend: torch
    attn_mask_enabled: False
    checkpoint_activations: False
  mel_spec:
    target_sample_rate: 24000
    n_mel_channels: 100
    hop_length: 256
    win_length: 1024
    n_fft: 1024
    mel_spec_type: vocos
  vocoder:
    is_local: False
    local_path: null

ckpts:
  logger: wandb
  log_samples: True
  save_per_updates: 1000
  keep_last_n_checkpoints: 100
  last_per_updates: 1000
  save_dir: ckpts/${datasets.name}_{model.tokenizer}

下面按块逐行拆解。👇

1️⃣ hydra 与 datasets:实验目录与数据加载

hydra:
  run:
    dir: ckpts/${datasets.name}_{model.tokenizer}
  • 配置框架基于 Hydra,${...} 是变量插值语法。运行训练时,实验目录会自动生成为 ckpts/数据集名_分词器,例如 ckpts/MyData_char。
  • datasets.name: ${datasets.name} 表示数据集名称由训练界面/命令行传入,配置文件本身不写死。
datasets:
  batch_size_per_gpu: 8        # 每卡批次为 8 条样本
  batch_size_type: sample      # 按"样本条数"而非帧数计批次
  max_samples: 1               # 单条样本内最大序列数
  num_workers: 16              # 16 个数据加载子进程

给新手的提示:sample 模式下批次大小按音频条数计算,显存占用相对可控,适合小卡微调。num_workers: 16 保证数据加载不吃亏。

2️⃣ optim:微调训练超参数

optim:
  epochs: 250                  # 微调 250 轮
  learning_rate: 7.5e-5        # 学习率 0.000075
  num_warmup_updates: 20000    # 前 2 万次更新做学习率预热
  grad_accumulation_steps: 1   # 不做梯度累积
  max_grad_norm: 1.0           # 梯度裁剪阈值,防止训练发散
  bnb_optimizer: False         # 不使用 8-bit Adam 优化器
参数 通俗理解
learning_rate: 7.5e-5 比从头预训练时更小,因为是在 model.pt 权重上微调
num_warmup_updates 学习率从 0 缓缓升到目标值,让训练起步更稳
max_grad_norm: 1.0 梯度"限速器",避免某一步更新过大
bnb_optimizer 开启后可用 8-bit Adam 省显存,小数据集场景默认关闭

3️⃣ model.arch:DiT 架构逐参数拆解 ⭐

这是整份配置的灵魂。backbone: DiT 表明语音生成主干使用 Diffusion Transformer——通过扩散过程一步步"去噪"出梅尔频谱,这是 F5-TTS 系列的核心思路。

参数 值 含义
name SilmaTTS_V1_Small 模型名称(轻量 Small 版本,约 150M 参数)
tokenizer char 字符级分词,逐字符建模,词表见 vocab.txt
tokenizer_path null 内置词表,无需外部文件
dim 768 Transformer 隐藏层维度,决定每层"信息通道"宽度
depth 18 Transformer 块堆叠 18 层
heads 12 注意力头数,单头维度 768 ÷ 12 = 64
ff_mult 2 前馈层内部维度为 768 × 2 = 1536
text_dim 512 文本嵌入初始维度,之后投影到 768 与音频对齐
text_mask_padding True 对文本填充位做掩码,避免 padding 干扰注意力
conv_layers 4 每个 DiT 块内的局部卷积注意力层数,捕捉语音细节
pe_attn_head null 不启用位置编码注意力头(Base 版本会设为 1)
attn_backend torch 使用 PyTorch 原生注意力后端
attn_mask_enabled False 不启用额外注意力掩码
checkpoint_activations False 关闭激活值重计算(省显存但略慢,这里追求速度)

💡 对比记忆:在 finetune_cli.py 中可以看到 F5-TTS 标准 Base 配置是 dim=1024, depth=22, heads=16;silma-tts 的 Small 版本把规模压到 768/18/12,正是"轻量、低资源友好"的关键——推理 RTF 约 0.12(RTX 4090),接近实时低延迟。

4️⃣ mel_spec:24kHz 梅尔频谱参数详解 ⭐

mel_spec:
  target_sample_rate: 24000   # 目标采样率 24kHz
  n_mel_channels: 100         # 100 维梅尔频谱
  hop_length: 256             # 帧移 256 采样点
  win_length: 1024            # 窗口长度 1024 采样点
  n_fft: 1024                 # FFT 大小 1024
  mel_spec_type: vocos         # 使用 Vocos 风格的梅尔提取

这些数字到底意味着什么?

  • 24kHz 采样率:每秒 24000 个采样点,高于 16kHz 电话音质、低于 44.1kHz CD 音质,是语音合成在"清晰度 vs 计算量"上的黄金折中。所有训练音频都会被重采样到这个速率。
  • 帧率计算:24000 ÷ 256 = 93.75 帧/秒。也就是说,10 秒音频约对应 938 帧梅尔频谱序列,模型要预测的正是这条 938 × 100 的矩阵。
  • hop_length 256 ≈ 10.67ms/帧,win_length / n_fft 1024 ≈ 42.67ms 的窗口,保证相邻帧充分重叠、频谱平滑。
  • n_mel_channels: 100:梅尔滤波器组数量,频谱"色度分辨率"——频带划得越细,音色细节越丰富,但计算量也越大。
  • mel_spec_type: vocos:梅尔提取方式与 Vocos 声码器保持一致,保证训练/推理两端频谱定义完全对齐。

📌 这些参数在 finetune_cli.py 中以常量形式硬编码了一遍,与 config.yaml 完全一致——微调时务必两边保持同步,否则频谱对不上,效果会直接"变调"。

5️⃣ vocoder 与 ckpts:从频谱到音频、从训练到存档

vocoder:
  is_local: False      # 不加载本地声码器
  local_path: null     # 使用默认(自动下载的 Vocos)声码器

DiT 输出的是梅尔频谱,最后需要**声码器(Vocoder)**把它变回波形音频。这里默认走自动加载路径,一般无需改动。

ckpts:
  logger: wandb                 # 训练日志推送到 wandb
  log_samples: True             # 每次存档时顺便生成试听样本
  save_per_updates: 1000        # 每 1000 次更新正式存档一次
  keep_last_n_checkpoints: 100  # 保留最近 100 个存档
  last_per_updates: 1000        # 每 1000 次更新刷新 last checkpoint
  save_dir: ckpts/${datasets.name}_{model.tokenizer}

存档目录与开头 hydra.run.dir 一致,都指向 ckpts/数据集名_分词器,训练产物集中管理,方便多实验对比。🗂️

新手常见 3 问 💬

Q1:我想微调自己的声音,要改哪些参数? 大多数场景只需在训练界面里指定数据集路径和 model.pt 权重路径即可,config.yaml 保持默认。数据量少时可适当调低 epochs 并观察 wandb 日志。

Q2:能把采样率改成 16kHz 吗? 可以改 target_sample_rate,但必须同步修改 finetune_cli.py 中的同名常量,且参考音频也要重采样,否则频谱帧率与声码器不匹配。

Q3:depth 调到 22、dim 调到 1024 会怎样? 模型会更接近 F5-TTS Base 的规模,音色上限可能更高,但显存与推理延迟都会明显上升,model.pt 的预训练权重也不再兼容(维度必须与权重匹配)。

总结:一句话记住每个模块

模块 一句话
hydra / datasets 决定实验目录和数据怎么读
optim 微调的"油门":学习率、轮数、梯度保护
model.arch DiT 网络尺寸:768 维 × 18 层 × 12 头
mel_spec 24kHz、100 维梅尔频谱,93.75 帧/秒
vocoder / ckpts Vocos 变回音频 + 自动存档策略

读懂这份 config.yaml,你就掌握了 silma-tts 微调的全部关键开关。下一步只需按 README.md 的 Training 章节把配置放入 F5-TTS 项目,即可开始你的第一次语音克隆微调。🚀

登录后查看全文
silma-tts