D2L项目解析：深度学习中的学习率调度策略

学习率调度的重要性

在深度学习中，学习率（Learning Rate）是影响模型训练效果最关键的参数之一。它不仅决定了模型参数更新的步长大小，还直接影响着模型的收敛速度和最终性能。学习率过大可能导致优化过程发散，而学习率过小则会使训练过程变得极其缓慢，甚至陷入局部最优解。

学习率调度的核心考量因素

1. 学习率大小：需要平衡收敛速度和稳定性
2. 衰减速率：决定了学习率随时间变化的快慢
3. 初始化策略：包括参数初始化和预热（warmup）阶段
4. 周期性调整：某些高级策略会周期性改变学习率

常见学习率调度策略

1. 平方根调度器

平方根调度器按照公式ηₜ = η₀(t+1)^(-0.5)调整学习率，其中：

• η₀是初始学习率
• t是当前迭代次数

这种调度器在训练初期学习率下降较快，后期趋于平缓。

class SquareRootScheduler:
    def __init__(self, lr=0.1):
        self.lr = lr

    def __call__(self, num_update):
        return self.lr * pow(num_update + 1.0, -0.5)

2. 因子调度器

因子调度器通过乘法因子α逐步减小学习率： ηₜ₊₁ = max(η_min, ηₜ × α)

class FactorScheduler:
    def __init__(self, factor=1, stop_factor_lr=1e-7, base_lr=0.1):
        self.factor = factor
        self.stop_factor_lr = stop_factor_lr
        self.base_lr = base_lr

    def __call__(self, num_update):
        self.base_lr = max(self.stop_factor_lr, self.base_lr * self.factor)
        return self.base_lr

3. 多因子调度器

在预设的时间点（如epoch 15和30）将学习率乘以固定因子（如0.5）：

scheduler = lr_scheduler.MultiFactorScheduler(step=[15, 30], factor=0.5, base_lr=0.5)

4. 余弦调度器

余弦调度器按照余弦函数的形式调整学习率： ηₜ = η_T + (η₀ - η_T)/2 × (1 + cos(πt/T))

scheduler = lr_scheduler.CosineScheduler(max_update=20, base_lr=0.3, final_lr=0.01)

实际应用效果对比

在Fashion-MNIST数据集上使用改进版LeNet网络进行测试，不同调度策略表现如下：

1. 固定学习率：训练准确率持续提升，但测试准确率较早停滞，出现过拟合
2. 平方根调度：训练曲线更平滑，过拟合程度减轻
3. 多因子调度：在预设时间点学习率下降后，模型性能有进一步提升
4. 余弦调度：学习率变化更平滑，通常能获得更好的最终性能

选择调度策略的建议

1. 对于简单任务，固定学习率或平方根调度可能足够
2. 对于复杂任务，建议尝试余弦调度或多因子调度
3. 训练初期可考虑使用学习率预热（warmup）策略
4. 不同调度策略可以组合使用，如在warmup后接余弦衰减

实现注意事项

1. 大多数深度学习框架都内置了常见的学习率调度器
2. 调度器可以按epoch或按batch进行更新
3. 可以自定义调度策略满足特定需求
4. 学习率调度通常与优化器配合使用

学习率调度是深度学习调参的重要组成部分，合理的学习率策略可以显著提升模型性能并加速收敛。建议在实践中多尝试不同策略，找到最适合当前任务的学习率调整方案。