NVIDIA Omniverse Orbit项目中双机械臂协同控制问题的技术解析

概述

在NVIDIA Omniverse Orbit机器人仿真平台中，开发者尝试实现双Franka机械臂协同举升物体的场景时遇到了机械臂剧烈抖动的问题。本文将从技术角度分析该问题的成因及解决方案。

问题现象

开发者在实现双Franka机械臂协同工作时，观察到以下现象：

1. 机械臂在执行动作时出现明显抖动
2. 动作稳定性不足，影响协同操作效果
3. 虽然使用了MAPPO多智能体强化学习算法，但控制效果不理想

技术背景

该实现基于以下技术栈：

• NVIDIA Omniverse Orbit机器人仿真平台
• skrl强化学习库
• MAPPO(多智能体近端策略优化)算法
• Franka机械臂模型

原因分析

1. 动作预处理问题

在动作预处理阶段，开发者对机械臂的夹爪动作进行了二值化处理：

robot_1_targets = self.robot_1_dof_targets + self.actions["rb_1"].clone()
self.robot_1_dof_targets[self.robot_1_left_finger_link_idx] = torch.where(
    robot_1_targets[self.robot_1_left_finger_link_idx] > 0, 
    self.open_translation, 
    self.close_translation
)

这种处理方式可能导致：

• 动作指令突变
• 缺乏平滑过渡
• 产生不必要的力矩波动

2. 观测空间设计

观测空间包含了：

• 关节位置相对值
• 关节速度相对值
• 末端执行器位置
• 目标位置
• 当前动作

这种设计虽然全面，但可能存在：

• 特征尺度不统一
• 冗余信息干扰
• 关键状态特征不足

3. 强化学习参数配置

MAPPO配置中：

• 学习率调度使用KL自适应
• 折扣因子0.99
• 熵损失系数0.01
• 值损失系数1.0

这些参数对于复杂协同任务可能不够优化，特别是：

• KL阈值设置(0.008)可能过于严格
• 批量大小(24)可能不足
• 学习率(1e-4)可能需要调整

解决方案

1. 动作平滑处理

建议改进动作预处理：

• 加入低通滤波
• 实现动作插值
• 使用更平滑的夹爪控制策略

2. 观测空间优化

可考虑：

• 归一化各观测维度
• 增加机械臂间相对位置观测
• 加入接触力信息
• 简化冗余特征

3. 算法参数调整

针对协同任务特点：

• 增大批量大小
• 调整KL阈值
• 优化学习率调度策略
• 平衡策略和价值损失权重

实施建议

1. 先验证单机械臂控制的稳定性
2. 逐步增加协同复杂度
3. 加入碰撞检测和避让机制
4. 实现确定性评估模式

结论

双机械臂协同控制在仿真环境中面临诸多挑战，需要综合考虑动作处理、观测设计和算法参数等多个方面。通过系统性的问题分析和针对性优化，可以有效解决机械臂抖动问题，实现稳定的协同操作。

该案例也展示了Omniverse Orbit平台在复杂机器人控制研究中的强大能力，为多智能体协同控制研究提供了理想的实验环境。