F5-TTS 项目中学习率异常问题的分析与解决

问题现象

在使用F5-TTS项目进行语音合成模型训练时，用户发现一个奇怪的现象：无论是否在finetune-cli.py中显式设置学习率，WandB监控工具始终报告学习率为1e-12。即使通过打印语句确认代码中实际使用的是0.0001(1e-4)的学习率，WandB界面显示的学习率曲线仍然固定在极低的1e-12水平。

问题排查

通过深入分析，发现这个问题与F5-TTS项目中实现的学习率调度策略有关。项目使用了线性衰减学习率策略(LR Scheduler)，其最终衰减因子设置为1e-8。这意味着：

最终学习率 = 初始学习率 × 最终衰减因子 = 1e-4 × 1e-8 = 1e-12

当训练进行到后期阶段时，学习率自然会衰减到这个极低值。对于小规模数据集(如用户使用的40小时单说话人挪威语数据集)，模型可能在相对较少的训练步数(如140k步)后就达到了这个衰减终点。

解决方案

针对这个问题，项目维护者提供了几种解决方案：

1. 增加训练周期数：通过设置更大的epoch值(如10000)，延长训练过程，使模型有更多机会在合理的学习率范围内进行训练。

2. 修改检查点文件：当从已有检查点恢复训练时，可以手动编辑检查点文件，删除其中的"step"键值，使训练从初始学习率重新开始。

3. 修改训练器代码：在trainer.py文件中，可以注释掉加载优化器状态的代码分支，强制使用新的学习率设置而非检查点中保存的状态。

技术建议

对于语音合成模型的训练，特别是使用小规模数据集时，建议：

1. 根据数据集规模合理设置训练周期数
2. 监控学习率曲线，确保模型在有效学习率范围内进行充分训练
3. 对于fine-tuning场景，可以适当调整学习率衰减策略的参数
4. 当从检查点恢复训练时，注意优化器状态的继承问题

这个案例展示了深度学习训练中学习率调度的重要性，以及如何诊断和解决学习率相关的异常现象。理解这些机制对于成功训练TTS模型至关重要。