tidybot2 真机部署完全指南:Mini PC 实时调优、双摄像头集成与游戏手柄遥操作
tidybot2 真机部署完全指南:Mini PC 实时调优、双摄像头集成与游戏手柄遥操作
本文带你完成 tidybot2(TidyBot++)开源全向移动操作机器人的真机部署全流程,重点讲透三件事:Mini PC 实时控制调优、双摄像头低延迟集成、游戏手柄遥操作。跟着做完,你的移动操作机器人就能"会动、能看、可驾驶",并为后续的模仿学习数据采集打好基础。🤖
tidybot2 出自 CoRL 2024 论文 TidyBot++: An Open-Source Holonomic Mobile Manipulator for Robot Learning,开源内容涵盖硬件设计、底层控制器、手机遥操作界面、策略训练与推理的完整链路。
一、认识 TidyBot++:全向底盘 + 可替换机械臂
TidyBot++ 最大的亮点是搭载 4 个有源万向轮(powered casters)的全向移动底盘:x 平移、y 平移和绕轴旋转三个平面自由度可以独立且同时控制,彻底告别差速底盘的"蛇形"移动。底盘控制器以 250 Hz 频率运行,基于 Phoenix 6(TalonFX)生态,核心代码见 base_controller.py。
机器人还不绑定特定机械臂:默认搭配 Kinova Gen3 + Robotiq 2F-85 夹爪(模型见 models/gen3_robotiq_2f_85.urdf),修改 constants.py 中的几何参数即可切换到 Franka、ARX5 等机械臂。
整套系统部署在三台通过无线路由互联的设备上:
| 设备 | 职责 |
|---|---|
| Mini PC(机器人内置) | 运行底盘与机械臂实时控制器、采集双路相机画面 |
| 智能手机 | WebXR 遥操作、演示数据采集 |
| GPU 笔记本 | Diffusion 策略训练与推理(ZMQ 服务) |
💡 建议:没有实机也可以先跑仿真——mujoco_env.py 和 replay_episodes.py 支持在纯软件环境下体验完整的数据回放与训练流程。
二、部署准备:克隆 tidybot2 仓库与一键配置环境
首先在 Mini PC 上克隆代码仓库:
git clone https://gitcode.com/gh_mirrors/ti/tidybot2
cd tidybot2
然后创建 Mamba 环境(Python 3.10)并安装依赖,所有依赖版本都锁定在 requirements.txt 中:
mamba create -n tidybot2 python=3.10.14
mamba activate tidybot2
pip install -r requirements.txt
安装完成后,先确认 constants.py 里的关键参数:
| 参数 | 默认值 | 说明 |
|---|---|---|
BASE_RPC_PORT / ARM_RPC_PORT |
50000 / 50001 | 底盘 / 机械臂 RPC 服务端口 |
POLICY_SERVER_PORT |
5555 | 策略推理 ZMQ 端口 |
BASE_CAMERA_SERIAL |
TODO(需手动填写) | Logitech 基座相机 USB 序列号 |
POLICY_CONTROL_FREQ |
10 Hz | 上层策略控制频率 |
三、Mini PC 实时调优:消除电机嗡嗡声与跟随误差
⚠️ Mini PC 运行实时机器人控制器,延迟调优是真机部署的头等大事。控制回环一旦出现抖动,典型症状有三个:电机嗡嗡响、机械臂抖动(跟随误差)、底盘里程计严重不准。
1. 授予实时调度权限(SCHED_FIFO)
底盘控制器(base_controller.py)和机械臂控制器(kinova.py)启动时都会尝试把控制线程提升到最高优先级的 SCHED_FIFO 调度策略。若系统没有授权,控制台会提示编辑 /etc/security/limits.d/99-realtime.conf。创建该文件并为运行控制器的用户授权:
@tidybot realtime priority 99
重新登录后生效。底盘控制回环内置看门狗:单步耗时超过 5 ms(正常周期 4 ms)就会打印 Step time 警告——把它当作排查抖动的第一手信号。
2. 用双 RPC 服务器隔离实时控制
tidybot2 的核心设计思想是:底层控制器运行在独立的实时进程中,外部代码通过 RPC 通信,避免重任务拖垮控制回环。用 tmux 开窗口分别启动:
python base_server.py # 底盘实时控制器(端口 50000)
python arm_server.py # 机械臂实时控制器(端口 50001)
两者分别定义在 base_server.py 与 arm_server.py,其中机械臂服务内部还集成了 IK 求解(ik_solver.py)。
3. 实时调优清单(官方强调项)
- ❌ 实时进程中不要 import 非时效性库(例如
import cv2),容易造成不可预期的延迟尖峰 - ✅ 深度学习、点云处理等重计算放到 GPU 笔记本上单独运行
- ❌ 不要用 Python
Process创建实时子进程——子进程无法与父进程完全隔离 - ✅ 外部代码一律通过 RPC 服务器接口机器人,不要直接 import 控制器
四、双摄像头集成:双路低延迟视觉接入
TidyBot++ 使用双相机:Logitech C930e 基座相机(640×360)+ Kinova 腕部相机(640×480,RTSP 流)。两者统一封装在 cameras.py 中,各自运行独立的 30 fps 后台读图线程,把"采图"和"用图"解耦。
4.1 Logitech 基座相机:低延迟三件套
LogitechCamera 做了三处关键配置:
CAP_PROP_BUFFERSIZE = 1—— 最关键的一项,代码注释明确标注它能显著降低延迟- 关闭自动对焦,改用固定焦点值(加装鱼眼镜头时
focus=100) - 强制 MJPG 编码,保证采集带宽
别忘了先在 constants.py 中填写相机的 BASE_CAMERA_SERIAL;代码通过 /dev/v4l/by-id 的 USB 设备路径连接,不受设备编号漂移影响。
4.2 Kinova 腕部相机:GStreamer + RTSP
腕部相机要求 OpenCV 必须带 GStreamer 支持(pip 安装的 OpenCV 通常不行,需自行编译)。KinovaCamera 的管线专门针对低延迟调优:
rtspsrc location=rtsp://192.168.1.10/color latency=0 ! decodebin ! videoconvert ! appsink sync=false max-buffers=1 drop=true
max-buffers=1 drop=true 保证旧帧立即丢弃而不积压。启动时程序会自动校验传感器参数(640×480 @ 30 fps、10 Mbps),并检测鱼眼镜头是否被撞偏——发现偏心会直接抛异常提醒你检查镜头。
4.3 一键验证双路画面
不必等整套系统跑起来,直接运行 cameras.py 主程序,会弹出 "base_image" 和 "wrist_image" 两个窗口,按 s 键还能保存快照,方便快速检查视野与对焦:
python cameras.py
五、游戏手柄遥操作:安全驾驶全向底盘
调试底盘或正式遥操作前做"试飞检查",可以用游戏手柄接口 gamepad_teleop.py(基于 pygame,官方适配罗技 F710 手柄):
python gamepad_teleop.py
手柄按键映射一览
| 手柄输入 | 功能 |
|---|---|
| Start 键 | 启动控制 |
| Back 键 | 停止控制(一键急停) |
| 左肩键按住 | 局部坐标系(跟随车体朝向) |
| 右肩键按住 | 全局坐标系 |
| 左摇杆 | 平移(x / y) |
| 右摇杆 | 旋转(θ) |
程序对摇杆做了 5% 死区处理(apply_deadzone)以过滤漂移。肩键充当使能装置(enabling device):松开肩键,机器人立即停转——这是操作全向底盘的标准安全做法。
⚠️ 安全须知
底盘电机扭矩很强(转向 40 A / 驱动 10 A 电流限幅,见 base_controller.py)。官方建议:测试新代码时先从极低速度开始,并将底盘侧翻抬起万向轮;正式使用务必安装物理急停按钮,并始终借助使能装置操作。
加分项:底盘状态实时可视化
调试里程计时,可以用 Redis + plot_base_state.py 把底盘位姿、速度实时流到开发机绘图(需在 base_controller.py 中打开被注释的 Redis 发布代码),配合手柄驾驶即可实时观察轨迹。
六、从遥操作到数据收集:运行真机任务
实时控制与相机就绪后,用 main.py 跑完整闭环。手机遥操作模式(--teleop)下,手机浏览器打开 WebXR 网页应用(模板见 templates/index.html,服务监听 5000 端口),按下 "Start episode" 即可记录一条演示:
# 真机 + 手机遥操作 + 保存演示数据
python main.py --teleop --save --output-dir data/demos
主循环会严格保持 10 Hz 控制节拍(POLICY_CONTROL_PERIOD),每集结束后经 episode_storage.py 落盘并询问是否保留。之后:
- 用 replay_episodes.py 回放验证数据质量
- 用 convert_to_robomimic_hdf5.py 转成
.hdf5,交给 GPU 笔记本训练 diffusion 策略
七、真机部署常见问题速查
| 症状 | 可能原因 | 解决方法 |
|---|---|---|
| 电机嗡嗡响、机械臂抖动、里程计漂移 | 实时回环存在延迟抖动 | 检查 SCHED_FIFO 授权;重计算移出 Mini PC |
控制台出现 Step time 警告 |
单控制步超过 5 ms | 实时进程中移除 cv2 等非时效依赖 |
| 腕部相机打不开 | OpenCV 缺少 GStreamer | 自行编译带 GStreamer 的 OpenCV |
| 提示鱼眼镜头 "off-center" | 镜头被撞偏 | 重新对中镜头后重启相机 |
| 提示 "Another instance is already running" | 重复启动了 RPC 服务 | PID 锁 拦截了重复启动,先停掉旧进程 |
总结:tidybot2 真机部署的核心就三句话——实时隔离(控制器独立进程 + RPC 接口)、延迟调优(实时调度授权 + 相机单帧缓冲)、安全第一(使能装置 + 物理急停)。掌握这三点后,你就可以继续用 policy_server.py 部署策略推理服务,从"人手采数据"走向"策略自主干活"。🎉