NVIDIA Omniverse Orbit项目中IsaacSim与IsaacLab的模型部署兼容性问题分析

问题背景

在机器人强化学习领域，NVIDIA Omniverse Orbit项目（包含IsaacSim和IsaacLab）为研究人员提供了强大的仿真和训练环境。然而，近期有用户反馈在使用IsaacLab 2.1.0训练获得的policy.pt模型文件无法在IsaacSim 4.5.0环境中正常部署的问题。

问题现象

当用户尝试将在IsaacLab环境中通过强化学习训练得到的策略模型（policy.pt）部署到IsaacSim环境时，系统报错提示"PytorchStreamReader failed locating file constants.pkl: file not found"。这一问题在使用rsl_rl和skrl两种强化学习库时都曾出现，但表现略有不同。

技术分析

经过深入调查，我们发现这一问题的核心在于模型导出格式的兼容性：

1. TorchScript支持差异：目前只有rsl_rl库能够正确导出包含constants.pkl文件的TorchScript格式模型，这是IsaacSim运行时所必需的。而skrl库导出的模型文件缺少这一关键组件。

2. 版本兼容性：虽然用户确认了PyTorch版本在IsaacSim和IsaacLab环境中一致，但模型导出过程中的序列化方式存在差异。

3. 错误日志分析：从详细的错误日志可以看到，问题发生在torch.jit._serialization模块尝试加载模型时，系统无法定位到constants.pkl文件，导致模型加载失败。

解决方案

针对这一问题，我们建议采取以下解决方案：

1. 统一使用rsl_rl库：目前确认rsl_rl库能够正确导出包含所有必要组件的TorchScript模型，建议在需要IsaacSim部署的场景下优先使用该库。

2. 模型导出流程：使用rsl_rl时，应通过play.py脚本导出模型，该脚本会生成两个关键文件：

   • TorchScript格式的模型文件
   • 环境配置文件(env.yaml)

3. 加载方式：在IsaacSim中，应使用self.load_policy方法加载这些导出的文件。

技术建议

对于需要在不同环境间迁移模型的研究人员，我们提供以下建议：

1. 模型导出验证：在导出模型后，建议先在小规模环境中验证模型的可用性。

2. 环境一致性：尽量保持训练环境和部署环境的主要组件版本一致，包括但不限于：

   • PyTorch版本
   • CUDA版本
   • 相关依赖库版本

3. 备选方案：如果必须使用skrl等库，可以考虑在IsaacLab环境中完成整个评估流程，避免跨环境部署带来的兼容性问题。

未来展望

随着Omniverse生态系统的不断发展，我们预期未来版本将提供更统一的模型导出和部署机制，减少此类兼容性问题。同时，也建议开发者社区关注不同强化学习库对TorchScript导出的支持情况，选择最适合自己工作流程的工具链。

通过以上分析和建议，希望能够帮助研究人员更顺利地在IsaacLab和IsaacSim环境间迁移强化学习模型，推动机器人学习研究的进展。