NVIDIA Omniverse Orbit项目中RSL-RL策略导出问题的分析与解决

问题背景

在NVIDIA Omniverse Orbit项目中，当用户尝试使用RSL-RL强化学习框架测试训练结果时，会遇到一个关键错误：在执行scripts/reinforcement_learning/rsl_rl/play.py脚本时，系统抛出'PPO' object has no attribute 'actor_critic'异常。这个问题主要出现在将训练好的策略模型导出为ONNX或JIT格式的过程中。

问题现象

当用户完成模型训练后，尝试运行play.py脚本时，会在导出模型阶段遇到以下错误：

Traceback (most recent call last):
  File "play.py", line 161, in <module>
    main()
  File "play.py", line 124, in main
    ppo_runner.alg.actor_critic, ppo_runner.obs_normalizer, path=export_model_dir, filename="policy.pt"
AttributeError: 'PPO' object has no attribute 'actor_critic'

错误明确指出了问题所在：PPO对象中不存在actor_critic属性，而脚本却尝试访问这个属性。

根本原因分析

经过深入分析，这个问题源于RSL-RL库的版本升级带来的接口变更。在RSL-RL 2.3.0版本中，PPO算法的实现结构发生了变化：

1. 旧版本(2.2.3及之前)：PPO类中包含actor_critic属性，用于访问策略网络
2. 新版本(2.3.0)：PPO类中移除了actor_critic属性，改为使用policy属性来访问策略网络

这种接口变更导致了向后兼容性问题，使得原本依赖actor_critic属性的脚本无法正常工作。

解决方案

针对这个问题，社区提供了两种可行的解决方案：

方案一：降级RSL-RL版本

将RSL-RL库降级到2.2.3版本，这是最直接的解决方案：

pip install rsl-rl-lib==2.2.3

这种方法可以快速解决问题，但可能无法使用新版本中的其他改进功能。

方案二：修改脚本代码

更推荐的解决方案是修改play.py脚本，将ppo_runner.alg.actor_critic替换为ppo_runner.alg.policy：

# 修改前
export_policy_as_jit(
    ppo_runner.alg.actor_critic, ppo_runner.obs_normalizer, path=export_model_dir, filename="policy.pt"
)

# 修改后
export_policy_as_jit(
    ppo_runner.alg.policy, ppo_runner.obs_normalizer, path=export_model_dir, filename="policy.pt"
)

这种修改方式不仅解决了当前问题，还能保持使用最新版本的RSL-RL库。

技术细节解析

在强化学习框架中，PPO(Proximal Policy Optimization)算法通常包含两个主要组件：

1. 策略网络(Policy Network)：负责根据观测状态生成动作
2. 价值函数网络(Value Function Network)：用于评估状态的价值

在旧版RSL-RL中，这两个组件被统一封装在actor_critic属性中。而在新版中，为了更清晰的架构设计，将策略网络单独提取为policy属性，使代码结构更加模块化和易于理解。

最佳实践建议

1. 版本兼容性检查：在升级依赖库时，应仔细检查变更日志，特别是API变更部分
2. 错误处理：在访问可能不存在的属性时，可考虑添加异常处理逻辑
3. 持续集成测试：建立自动化测试流程，及时发现类似接口变更导致的问题
4. 文档更新：维护项目文档，记录已知的版本兼容性问题

结论

NVIDIA Omniverse Orbit项目中遇到的这个RSL-RL策略导出问题，典型地展示了依赖库版本升级可能带来的兼容性挑战。通过理解问题的根本原因，开发者可以选择最适合自己项目的解决方案。对于长期维护的项目，采用修改代码适配新接口的方式更为可取，而对于需要快速解决问题的场景，临时降级依赖版本也不失为一种有效策略。