Optax项目中Adadelta优化器的默认参数问题解析

问题背景

在深度学习优化器库Optax中，Adadelta优化器的实现存在一个默认参数设置问题。Adadelta是一种自适应学习率优化算法，它不需要手动设置学习率，这是其算法特性之一。然而在Optax的实现中，当用户不指定学习率参数（即使用默认值None）时，优化器会抛出类型错误。

技术细节分析

Adadelta优化算法本身设计上不需要外部设置学习率参数，它通过维护一个基于梯度变化率的自适应学习率来自动调整。但在Optax的实现中，代码逻辑错误地将学习率参数传递给了缩放变换(scale_by_learning_rate)，而该变换要求必须有一个有效的学习率值。

具体表现为：

1. 当调用optax.adadelta()时，learning_rate默认为None
2. 这个None值被传递给scale_by_learning_rate变换
3. 在内部执行乘法运算时，None与整数相乘导致TypeError

影响范围

这个问题自Adadelta优化器首次引入Optax库以来就一直存在，影响了所有使用默认参数调用该优化器的用户。对于了解Adadelta算法特性的用户来说，这是一个违反直觉的行为，因为他们期望不设置学习率参数时优化器能够正常工作。

解决方案

正确的实现应该：

1. 当learning_rate为None时，跳过学习率缩放步骤
2. 或者提供一个默认的学习率值1.0，因为Adadelta的自适应机制已经包含了学习率调整

修复后的版本应该保持与算法原始论文一致的行为，即不需要外部学习率参数也能正常工作。

对用户的建议

在使用Optax的Adadelta优化器时：

1. 如果使用最新修复版本，可以安全地不指定学习率参数
2. 在使用旧版本时，可以显式设置learning_rate=1.0作为临时解决方案
3. 理解Adadelta的自适应特性，避免与其他需要学习率的优化器混淆

这个问题提醒我们在使用深度学习库时，不仅要了解API接口，还需要理解底层算法原理，这样才能更好地诊断和解决类似问题。