逐行解读silma-tts的config.yaml:DiT架构与24kHz梅尔频谱配置完整详解
逐行解读silma-tts的config.yaml:DiT架构与24kHz梅尔频谱配置完整详解
silma-tts 是一个约 150M 参数的轻量级开源双语(阿拉伯语/英语)语音合成(TTS)模型,基于 F5-TTS 的 DiT(Diffusion Transformer)扩散架构预训练而成。本仓库中的 config.yaml 就是微调时最核心的配置文件:它逐一定义了 DiT 骨干网络的层数、注意力头数,以及 24kHz 采样率的梅尔频谱(Mel Spectrogram)提取参数。本文带你逐行读懂这份配置,帮你快速上手 silma-tts 微调。🎙️
项目文件速览:微调所需的 4 件套
在解读配置前,先认识仓库里的 4 个关键文件:
| 文件 | 作用 |
|---|---|
| config.yaml | 模型与训练超参数配置(本文主角) |
| finetune_cli.py | 打过补丁的 F5-TTS 微调脚本,会加载上面的配置 |
| model.pt | 预训练权重文件,微调的起点 |
| vocab.txt | 字符级词表,共 9260 行(阿拉伯字母 + 英文字母 + 标点) |
按 README.md 的说法,silma-tts 与 F5-TTS v1.1.7 训练代码 100% 兼容:只需在 F5-TTS 项目中用 config.yaml 替换默认配置、用 vocab.txt 替换词表、用 finetune_cli.py 替换训练脚本即可。🔧
config.yaml 全文快速预览
hydra:
run:
dir: ckpts/${datasets.name}_{model.tokenizer}
datasets:
name: ${datasets.name}
batch_size_per_gpu: 8
batch_size_type: sample
max_samples: 1
num_workers: 16
optim:
epochs: 250
learning_rate: 7.5e-5
num_warmup_updates: 20000
grad_accumulation_steps: 1
max_grad_norm: 1.0
bnb_optimizer: False
model:
name: SilmaTTS_V1_Small
tokenizer: char
tokenizer_path: null
backbone: DiT
arch:
dim: 768
depth: 18
heads: 12
ff_mult: 2
text_dim: 512
text_mask_padding: True
conv_layers: 4
pe_attn_head: null
attn_backend: torch
attn_mask_enabled: False
checkpoint_activations: False
mel_spec:
target_sample_rate: 24000
n_mel_channels: 100
hop_length: 256
win_length: 1024
n_fft: 1024
mel_spec_type: vocos
vocoder:
is_local: False
local_path: null
ckpts:
logger: wandb
log_samples: True
save_per_updates: 1000
keep_last_n_checkpoints: 100
last_per_updates: 1000
save_dir: ckpts/${datasets.name}_{model.tokenizer}
下面按块逐行拆解。👇
1️⃣ hydra 与 datasets:实验目录与数据加载
hydra:
run:
dir: ckpts/${datasets.name}_{model.tokenizer}
- 配置框架基于 Hydra,
${...}是变量插值语法。运行训练时,实验目录会自动生成为ckpts/数据集名_分词器,例如ckpts/MyData_char。 datasets.name: ${datasets.name}表示数据集名称由训练界面/命令行传入,配置文件本身不写死。
datasets:
batch_size_per_gpu: 8 # 每卡批次为 8 条样本
batch_size_type: sample # 按"样本条数"而非帧数计批次
max_samples: 1 # 单条样本内最大序列数
num_workers: 16 # 16 个数据加载子进程
给新手的提示:sample 模式下批次大小按音频条数计算,显存占用相对可控,适合小卡微调。num_workers: 16 保证数据加载不吃亏。
2️⃣ optim:微调训练超参数
optim:
epochs: 250 # 微调 250 轮
learning_rate: 7.5e-5 # 学习率 0.000075
num_warmup_updates: 20000 # 前 2 万次更新做学习率预热
grad_accumulation_steps: 1 # 不做梯度累积
max_grad_norm: 1.0 # 梯度裁剪阈值,防止训练发散
bnb_optimizer: False # 不使用 8-bit Adam 优化器
| 参数 | 通俗理解 |
|---|---|
learning_rate: 7.5e-5 |
比从头预训练时更小,因为是在 model.pt 权重上微调 |
num_warmup_updates |
学习率从 0 缓缓升到目标值,让训练起步更稳 |
max_grad_norm: 1.0 |
梯度"限速器",避免某一步更新过大 |
bnb_optimizer |
开启后可用 8-bit Adam 省显存,小数据集场景默认关闭 |
3️⃣ model.arch:DiT 架构逐参数拆解 ⭐
这是整份配置的灵魂。backbone: DiT 表明语音生成主干使用 Diffusion Transformer——通过扩散过程一步步"去噪"出梅尔频谱,这是 F5-TTS 系列的核心思路。
| 参数 | 值 | 含义 |
|---|---|---|
name |
SilmaTTS_V1_Small |
模型名称(轻量 Small 版本,约 150M 参数) |
tokenizer |
char |
字符级分词,逐字符建模,词表见 vocab.txt |
tokenizer_path |
null |
内置词表,无需外部文件 |
dim |
768 |
Transformer 隐藏层维度,决定每层"信息通道"宽度 |
depth |
18 |
Transformer 块堆叠 18 层 |
heads |
12 |
注意力头数,单头维度 768 ÷ 12 = 64 |
ff_mult |
2 |
前馈层内部维度为 768 × 2 = 1536 |
text_dim |
512 |
文本嵌入初始维度,之后投影到 768 与音频对齐 |
text_mask_padding |
True |
对文本填充位做掩码,避免 padding 干扰注意力 |
conv_layers |
4 |
每个 DiT 块内的局部卷积注意力层数,捕捉语音细节 |
pe_attn_head |
null |
不启用位置编码注意力头(Base 版本会设为 1) |
attn_backend |
torch |
使用 PyTorch 原生注意力后端 |
attn_mask_enabled |
False |
不启用额外注意力掩码 |
checkpoint_activations |
False |
关闭激活值重计算(省显存但略慢,这里追求速度) |
💡 对比记忆:在 finetune_cli.py 中可以看到 F5-TTS 标准 Base 配置是 dim=1024, depth=22, heads=16;silma-tts 的 Small 版本把规模压到 768/18/12,正是"轻量、低资源友好"的关键——推理 RTF 约 0.12(RTX 4090),接近实时低延迟。
4️⃣ mel_spec:24kHz 梅尔频谱参数详解 ⭐
mel_spec:
target_sample_rate: 24000 # 目标采样率 24kHz
n_mel_channels: 100 # 100 维梅尔频谱
hop_length: 256 # 帧移 256 采样点
win_length: 1024 # 窗口长度 1024 采样点
n_fft: 1024 # FFT 大小 1024
mel_spec_type: vocos # 使用 Vocos 风格的梅尔提取
这些数字到底意味着什么?
- 24kHz 采样率:每秒 24000 个采样点,高于 16kHz 电话音质、低于 44.1kHz CD 音质,是语音合成在"清晰度 vs 计算量"上的黄金折中。所有训练音频都会被重采样到这个速率。
- 帧率计算:24000 ÷ 256 = 93.75 帧/秒。也就是说,10 秒音频约对应 938 帧梅尔频谱序列,模型要预测的正是这条 938 × 100 的矩阵。
- hop_length 256 ≈ 10.67ms/帧,win_length / n_fft 1024 ≈ 42.67ms 的窗口,保证相邻帧充分重叠、频谱平滑。
n_mel_channels: 100:梅尔滤波器组数量,频谱"色度分辨率"——频带划得越细,音色细节越丰富,但计算量也越大。mel_spec_type: vocos:梅尔提取方式与 Vocos 声码器保持一致,保证训练/推理两端频谱定义完全对齐。
📌 这些参数在 finetune_cli.py 中以常量形式硬编码了一遍,与 config.yaml 完全一致——微调时务必两边保持同步,否则频谱对不上,效果会直接"变调"。
5️⃣ vocoder 与 ckpts:从频谱到音频、从训练到存档
vocoder:
is_local: False # 不加载本地声码器
local_path: null # 使用默认(自动下载的 Vocos)声码器
DiT 输出的是梅尔频谱,最后需要**声码器(Vocoder)**把它变回波形音频。这里默认走自动加载路径,一般无需改动。
ckpts:
logger: wandb # 训练日志推送到 wandb
log_samples: True # 每次存档时顺便生成试听样本
save_per_updates: 1000 # 每 1000 次更新正式存档一次
keep_last_n_checkpoints: 100 # 保留最近 100 个存档
last_per_updates: 1000 # 每 1000 次更新刷新 last checkpoint
save_dir: ckpts/${datasets.name}_{model.tokenizer}
存档目录与开头 hydra.run.dir 一致,都指向 ckpts/数据集名_分词器,训练产物集中管理,方便多实验对比。🗂️
新手常见 3 问 💬
Q1:我想微调自己的声音,要改哪些参数?
大多数场景只需在训练界面里指定数据集路径和 model.pt 权重路径即可,config.yaml 保持默认。数据量少时可适当调低 epochs 并观察 wandb 日志。
Q2:能把采样率改成 16kHz 吗?
可以改 target_sample_rate,但必须同步修改 finetune_cli.py 中的同名常量,且参考音频也要重采样,否则频谱帧率与声码器不匹配。
Q3:depth 调到 22、dim 调到 1024 会怎样?
模型会更接近 F5-TTS Base 的规模,音色上限可能更高,但显存与推理延迟都会明显上升,model.pt 的预训练权重也不再兼容(维度必须与权重匹配)。
总结:一句话记住每个模块
| 模块 | 一句话 |
|---|---|
hydra / datasets |
决定实验目录和数据怎么读 |
optim |
微调的"油门":学习率、轮数、梯度保护 |
model.arch |
DiT 网络尺寸:768 维 × 18 层 × 12 头 |
mel_spec |
24kHz、100 维梅尔频谱,93.75 帧/秒 |
vocoder / ckpts |
Vocos 变回音频 + 自动存档策略 |
读懂这份 config.yaml,你就掌握了 silma-tts 微调的全部关键开关。下一步只需按 README.md 的 Training 章节把配置放入 F5-TTS 项目,即可开始你的第一次语音克隆微调。🚀