FairScale项目中的点式优化器与非点式优化器解析

在分布式深度学习训练框架FairScale中，优化器的选择对训练效果和内存管理效率有着重要影响。其中，优化器被划分为点式优化器（Pointwise Optimizers）和非点式优化器（Non-pointwise Optimizers）两类，这种分类直接关系到FSDP（Fully Sharded Data Parallel）等分布式策略的实现效果。

点式优化器的特性

点式优化器是指那些可以独立对张量中的每个元素进行参数更新的优化算法。这类优化器的特点是：

1. 每个参数的更新计算仅依赖于该参数自身的状态信息
2. 不需要跨参数或跨张量元素的信息交互
3. 在分布式环境下容易实现参数分片

典型的点式优化器包括：

• Adam及其变体（AdamW）
• SGD（随机梯度下降）
• Adadelta
• Adamax

这些优化器在FairScale的FSDP实现中能够保持与DDP（Distributed Data Parallel）完全一致的训练结果，因为它们的参数更新方式天然适合分布式环境中的参数分片。

非点式优化器的特点

非点式优化器则需要在参数更新时考虑多个张量元素之间的关系，或者需要基于整个参数张量的全局信息进行计算。这类优化器的特点是：

1. 参数更新依赖于张量中多个元素间的交互
2. 可能需要计算张量的全局统计量（如范数）
3. 在分布式环境下实现时需要额外的通信开销

典型的非点式优化器包括：

• LAMB优化器（需要计算参数张量的范数）
• 完整矩阵形式的Adagrad（需要计算矩阵逆）
• Adafactor

以LAMB优化器为例，它需要计算整个参数张量的范数来进行自适应学习率调整。当参数被分片存储在不同GPU上时，必须通过跨设备通信才能获得准确的全局范数值，这会导致实现复杂度和计算开销的增加。

Adagrad的特殊情况

值得注意的是，Adagrad优化器存在两种实现形式：

1. 对角近似形式（Diagonal Approximation）：属于点式优化器，仅维护每个参数的对角矩阵
2. 完整矩阵形式（Full Matrix）：属于非点式优化器，需要计算完整的二阶矩矩阵及其逆矩阵

在FairScale的实际应用中，通常使用的是对角近似形式的Adagrad，因为它计算效率更高且适合分布式环境。而完整矩阵形式的Adagrad由于需要处理完整的二阶矩矩阵，在分布式环境下实现难度较大，且计算成本高昂。

对分布式训练的影响

在FairScale的FSDP实现中，这种区分尤为重要：

1. 使用点式优化器时，各GPU可以独立更新自己持有的参数分片，无需额外通信
2. 使用非点式优化器时，可能需要引入额外的通信步骤来收集必要的全局信息
3. 非点式优化器在参数分片情况下可能导致与单机训练结果的微小差异

理解这种区别有助于开发者根据具体场景选择合适的优化器，在训练效果和系统效率之间做出平衡。对于追求训练结果确定性的场景，建议优先考虑点式优化器；而对于某些特定的优化需求，则可能需要接受非点式优化器带来的额外开销。

FairScale通过明确这种分类，为开发者提供了清晰的指导，帮助他们在分布式环境下做出更明智的优化器选择决策。