突破机器人操作瓶颈：LeRobot手机AR远程控制技术全解析

你是否还在为工业机械臂编程繁琐而烦恼？是否因专用控制设备成本高昂而却步？本文将带你掌握如何用普通智能手机实现专业级机器人远程操控，从环境搭建到精准控制，全程仅需30分钟即可上手。读完本文你将获得：手机与机器人的无线AR连接方案、6自由度姿态控制实现、跨平台（iOS/Android）适配技巧，以及完整的安全控制流程。

技术原理：手机如何成为机器人"神经中枢"

LeRobot的手机远程控制（Teleoperation）系统采用增强现实（AR）技术，将手机姿态转化为机器人动作指令。其核心原理是通过手机内置传感器捕捉三维空间姿态，经校准算法映射为机器人末端执行器（End-Effector）的位置和旋转，再通过逆运动学（Inverse Kinematics）求解关节角度。

系统架构分为三层：

1. 感知层：通过ARKit（iOS）或WebXR（Android）获取6自由度（6-DoF）姿态数据，实现代码见src/lerobot/teleoperators/phone/teleop_phone.py
2. 处理层：校准传感器数据并映射为机器人坐标系统，关键算法在src/lerobot/teleoperators/phone/phone_processor.py
3. 执行层：通过逆运动学计算关节角度并驱动机器人，示例实现见examples/phone_to_so100/teleoperate.py

环境搭建：5分钟配置跨平台控制方案

硬件准备

• 机器人：SO100机械臂（或兼容URDF模型的机械臂）
• 控制终端：iOS设备（需HEBI Mobile I/O应用）或Android设备（需WebXR支持浏览器）
• 连接：USB转串口适配器（机器人通信）、同一局域网（手机与控制主机）

软件安装

# 克隆仓库
git clone https://gitcode.com/GitHub_Trending/le/lerobot
cd lerobot

# 安装依赖（根据系统选择）
pip install -r requirements-ubuntu.txt  # Ubuntu系统
# 或
pip install -r requirements-macos.txt   # macOS系统

配置文件设置

创建机器人配置文件examples/phone_to_so100/teleoperate.py，关键参数包括：

# 机器人串口配置（根据实际端口修改）
robot_config = SO100FollowerConfig(
    port="/dev/tty.usbmodem5A460814411", 
    id="my_awesome_follower_arm", 
    use_degrees=True
)
# 手机平台选择
teleop_config = PhoneConfig(phone_os=PhoneOS.IOS)  # 或PhoneOS.ANDROID

核心实现：从手机姿态到机器人动作的精准映射

1. 姿态捕捉与校准

手机端通过AR技术获取原始姿态数据，校准步骤确保手机坐标系与机器人坐标系对齐：

def calibrate(self) -> None:
    print("Hold the phone so that: top edge points forward in same direction as the robot (robot +x) and screen points up (robot +z)")
    print("Press and hold B1 in the HEBI Mobile I/O app to capture this pose...\n")
    position, rotation = self._wait_for_capture_trigger()
    self._calib_pos = position.copy()
    self._calib_rot_inv = rotation.inv()
    self._enabled = False
    print("Calibration done\n")

校准过程会记录初始姿态作为参考基准，实现代码见src/lerobot/teleoperators/phone/teleop_phone.py。

2. 姿态映射算法

手机坐标系到机器人坐标系的转换是核心环节，需要处理不同设备的传感器特性差异。LeRobot提供统一接口：

def action(self, action: RobotAction) -> RobotAction:
    # 坐标系转换（x轴反转，y轴交换）
    action["target_x"] = -pos[1] if enabled else 0.0
    action["target_y"] = pos[0] if enabled else 0.0
    action["target_z"] = pos[2] if enabled else 0.0
    # 旋转向量处理
    action["target_wx"] = rotvec[1] if enabled else 0.0
    action["target_wy"] = rotvec[0] if enabled else 0.0
    action["target_wz"] = -rotvec[2] if enabled else 0.0
    return action

上述代码实现了从手机坐标系到机器人坐标系的映射，包含必要的轴反转和交换，确保直观操作体验。完整实现见src/lerobot/teleoperators/phone/phone_processor.py。

3. 逆运动学求解

将末端执行器位姿转换为关节角度需要URDF模型支持，系统使用RobotKinematics类实现：

kinematics_solver = RobotKinematics(
    urdf_path="./SO101/so101_new_calib.urdf",  # URDF模型路径
    target_frame_name="gripper_frame_link",    # 末端执行器坐标系
    joint_names=list(robot.bus.motors.keys())  # 关节名称列表
)

逆运动学求解器会自动避开奇异点和关节限位，确保运动平滑安全。处理流程见examples/phone_to_so100/teleoperate.py。

实战操作：从校准到复杂任务执行

校准流程

1. 启动系统：

python examples/phone_to_so100/teleoperate.py

2. 手机姿态校准：

   • 按提示将手机顶部对准机器人+x方向，屏幕朝上对准+z方向
   • iOS：长按HEBI Mobile I/O应用中的B1按钮完成校准
   • Android：在WebXR页面触摸并移动完成校准

3. 安全检查： 校准成功后，系统会自动检测关节限位和运动范围，输出类似：

Calibration done
Joint limits checked: all within safe range
EE workspace verified: [-0.5, -0.5, 0.1] to [0.5, 0.5, 0.8] meters

基础操作

• 平移控制：前后左右移动手机控制末端执行器位置
• 旋转控制：倾斜手机控制末端执行器姿态
• ** gripper操作**：
  • iOS：A3滑块控制夹爪开合速度
  • Android：按钮A（开）/B（合）控制夹爪

进阶技巧

• 精确定位：使用慢速模式（减小examples/phone_to_so100/teleoperate.py中的end_effector_step_sizes参数）
• 轨迹记录：启动Rerun可视化工具记录运动轨迹：

# 在代码中启用可视化
init_rerun(session_name="phone_so100_teleop")
log_rerun_data(observation=phone_obs, action=joint_action)

• 复杂任务：结合视觉反馈可完成抓取、放置等精细操作，建议配合docs/source/cameras.mdx中的相机配置指南。

安全与优化：工业级可靠性保障

安全机制

系统内置多重安全保护：

1. 关节限位保护：通过URDF模型定义安全工作空间，超出范围自动停止
2. 速度限制：examples/phone_to_so100/teleoperate.py中的max_ee_step_m参数限制最大步长
3. 使能机制：必须按住使能按钮才能控制，松开立即停止

性能优化

• 降低延迟：调整examples/phone_to_so100/teleoperate.py中的FPS参数（建议30-60Hz）
• 网络优化：确保手机与控制主机在同一5GHz WiFi网络，减少传输延迟
• 计算加速：使用GPU加速逆运动学求解，需安装PyTorch GPU版本

总结与扩展：构建智能操控生态

LeRobot手机远程控制系统突破了传统机器人操作的硬件限制，通过AR技术实现直观自然的人机交互。该方案已成功应用于SO100、SO101等多款机械臂，支持教育、科研和轻工业场景。

扩展方向：

• 多机协同：参考media/so101/so101-leader.webp实现主从机器人控制
• AI增强：结合src/lerobot/policies/中的强化学习算法实现技能自动化
• 触觉反馈：扩展src/lerobot/teleoperators/phone/teleop_phone.py中的send_feedback方法添加振动反馈

完整文档和更多示例请参考docs/source/目录，社区贡献指南见CONTRIBUTING.md。

提示：点赞收藏本文，关注项目更新获取最新控制方案。下期将介绍"基于视觉的自主抓取"技术，敬请期待！