OpenSpiel项目中RCFR算法在Keras 3下的兼容性问题分析

问题背景

OpenSpiel是一个由Google DeepMind开发的开源游戏AI研究平台，其中包含了多种强化学习算法实现。RCFR（Regression Counterfactual Regret Minimization）是其中一种重要的算法实现，它结合了传统的CFR算法与神经网络回归技术。

近期在Ubuntu 24.04系统下，使用Python 3.12和Keras 3.1.1运行RCFR测试时出现了兼容性问题。本文将详细分析这些问题及其解决方案。

主要错误现象

测试过程中出现了多个关键错误，主要集中在以下几个方面：

1. 优化器参数错误：测试中尝试使用tf.keras.optimizers.Adam(lr=0.005, amsgrad=True)时，Keras 3抛出了参数不识别错误，提示lr参数不被接受。

2. 数组转换警告：多处出现了NumPy数组转换为标量的DeprecationWarning，提示在NumPy 1.25及以后版本中，这种转换将会报错。

3. 函数重追踪警告：出现了关于tf.function频繁重追踪的性能警告。

问题根源分析

Keras 3 API变更

Keras 3对优化器API进行了重大调整，最显著的变化是：

• lr参数已更名为learning_rate，这是导致测试失败的直接原因
• 参数验证更加严格，不再接受旧版参数名称
• 内部实现机制有所变化，可能导致其他潜在兼容性问题

NumPy版本兼容性

测试中出现的数组转换警告反映了NumPy 1.25版本对数组处理方式的变更：

• 不再允许直接将多维数组隐式转换为标量
• 需要显式提取单个元素后再进行标量操作

TensorFlow函数优化

频繁的函数重追踪警告表明：

• 在循环中重复创建@tf.function装饰的函数
• 可能传递了形状不一致的张量
• 或者传递了Python对象而非张量

解决方案建议

优化器参数修正

将所有的lr=参数替换为learning_rate=，例如：

# 旧代码
optimizer = tf.keras.optimizers.Adam(lr=0.005, amsgrad=True)

# 新代码
optimizer = tf.keras.optimizers.Adam(learning_rate=0.005, amsgrad=True)

数组处理规范化

对于NumPy数组转换问题，需要显式提取元素：

# 旧代码
reach_probabilities[player] = next_reach_prob

# 新代码
reach_probabilities[player] = next_reach_prob.item()  # 显式转换为Python标量

函数优化建议

对于函数重追踪问题，可以：

1. 将@tf.function装饰器移到循环外部
2. 确保传递的张量形状一致
3. 使用reduce_retracing=True选项减少不必要的重追踪

实施验证

在实际修复过程中，需要注意：

1. 全面检查所有优化器实例化代码
2. 对数组操作进行彻底审查
3. 测试不同游戏场景下的算法表现
4. 监控训练过程中的性能指标

结论

Keras 3的API变更带来了必要的现代化改进，但也需要相应的代码适配。通过系统性地解决参数命名、数组处理和函数优化等问题，可以确保RCFR算法在新版本框架下的稳定运行。这类兼容性问题在深度学习框架升级过程中较为常见，理解其背后的设计变更有助于更好地维护和升级算法实现。