深入理解D2L项目中的Adagrad优化算法

引言

在深度学习模型的训练过程中，优化算法的选择对模型性能有着至关重要的影响。本文将重点介绍D2L项目中讨论的一种自适应优化算法——Adagrad（Adaptive Gradient），它能够针对不同参数自动调整学习率，特别适合处理稀疏特征数据。

稀疏特征与学习率问题

稀疏特征的挑战

在自然语言处理等场景中，我们经常会遇到稀疏特征问题。例如，在训练语言模型时，像"preconditioning"这样的专业词汇出现频率远低于"learning"这样的常见词汇。类似现象也存在于计算广告和个性化推荐系统中。

对于稀疏特征，其对应参数仅在特征出现时才会获得有意义的更新。如果使用传统的学习率衰减策略（如$\mathcal{O}(t^{-\frac{1}{2}})$），会导致两个问题：

1. 常见特征的参数会快速收敛到最优值
2. 稀疏特征的参数因更新次数不足而难以达到最优

直观解决方案

一个直观的想法是为每个特征维护一个计数器，记录该特征出现的次数，并据此调整学习率：

$\eta_i = \frac{\eta_0}{\sqrt{s(i, t) + c}}$

其中$s(i, t)$表示到时间t为止特征i出现的次数。这种方法实现简单，但存在明显缺陷：无法处理梯度值普遍很小但偶尔很大的情况，且难以明确定义何为"出现"的特征。

Adagrad算法的核心思想

算法原理

Adagrad算法由Duchi等人在2011年提出，它通过累计历史梯度的平方和来自适应调整学习率：

$\mathbf{s}_t = \mathbf{s}_{t-1} + \mathbf{g}_t^2$

$\mathbf{w}_t = \mathbf{w}_{t-1} - \frac{\eta}{\sqrt{\mathbf{s}_t + \epsilon}} \cdot \mathbf{g}_t$

其中：

• $\mathbf{g}_t$是当前梯度
• $\mathbf{s}_t$是梯度平方的累积量
• $\eta$是初始学习率
• $\epsilon$是为数值稳定性添加的小常数

算法优势

1. 自动调节：不再需要手动判断梯度大小阈值
2. 按参数缩放：频繁出现大梯度的参数会获得较小的学习率，而小梯度参数则保持相对较大的学习率
3. 稀疏特征友好：适合处理自然语言等稀疏特征场景

预条件与优化分析

凸优化视角

考虑二次凸优化问题： $f(\mathbf{x}) = \frac{1}{2} \mathbf{x}^\top \mathbf{Q} \mathbf{x} + \mathbf{c}^\top \mathbf{x} + b$

通过特征分解$\mathbf{Q} = \mathbf{U}^\top \boldsymbol{\Lambda} \mathbf{U}$，可以将问题转化为对角形式，此时最优解为： $\bar{\mathbf{x}} = -\boldsymbol{\Lambda}^{-1} \bar{\mathbf{c}}$

条件数问题

问题的条件数$\kappa = \frac{\boldsymbol{\Lambda}_1}{\boldsymbol{\Lambda}_d}$（最大与最小特征值之比）决定了优化难度。大的条件数意味着目标函数在不同方向上的曲率差异很大，导致标准梯度下降收敛缓慢。

Adagrad的巧妙之处在于使用梯度平方作为Hessian矩阵对角线的近似，既避免了直接计算二阶导的高成本，又能有效处理不同方向上的曲率差异。

算法实现与实验

二维示例

考虑二次函数$f(\mathbf{x}) = 0.1 x_1^2 + 2 x_2^2$：

1. 当$\eta=0.4$时，Adagrad的轨迹比SGD更平滑，但由于学习率持续衰减，后期参数更新幅度减小
2. 增大学习率到$\eta=2$时，算法表现出更好的行为

从零实现

Adagrad需要维护与参数同形状的状态变量来累积梯度平方和。核心更新步骤如下：

s[:] += gradient.square()  # 累积梯度平方
param[:] -= lr * gradient / (s.sqrt() + eps)  # 参数更新

简洁实现

主流深度学习框架都提供了Adagrad的内置实现：

• MXNet/Gluon: Trainer('adagrad', {'learning_rate': 0.1})
• PyTorch: torch.optim.Adagrad(params, lr=0.1)
• TensorFlow: tf.keras.optimizers.Adagrad(learning_rate=0.1)

总结与讨论

算法特点

1. 按坐标自适应调整学习率
2. 适合处理稀疏特征和非均匀结构的问题
3. 使用梯度幅度作为Hessian矩阵的廉价近似
4. 在深度学习中有可能过于激进地降低学习率

实际应用建议

1. 对于稀疏特征显著的任务（如NLP），Adagrad通常是良好选择
2. 对于深度网络，可能需要配合其他技术来防止学习率过早衰减
3. 学习率初始值需要仔细调整，太大可能导致早期不稳定，太小则收敛缓慢

练习与思考

1. 正交变换保持扰动大小的性质如何影响优化？
2. 尝试将Adagrad应用于旋转后的二次函数，观察行为差异
3. Gerschgorin圆盘定理对对角预处理矩阵有何启示？
4. 如何修改Adagrad使其学习率衰减不那么激进？

通过深入理解Adagrad的原理和实现，开发者可以更有效地将其应用于实际问题中，特别是在处理稀疏数据时获得更好的性能表现。