Genie Sim Benchmark 完整指南:如何本地评测 VLA 策略并读懂 200+ 基准任务

原创2026-10-11 17:23:031,452 阅读

Genie Sim Benchmark 完整指南:如何本地评测 VLA 策略并读懂 200+ 基准任务

Genie Sim 是 AgiBot(智元机器人)开源的人形机器人仿真平台,其核心模块 Genie Sim Benchmark 是专门用于 VLA(视觉-语言-动作)策略评测的标准化基准:覆盖 200+ 任务、100,000+ 仿真场景,并提供 VLM 自动评测体系。本指南带你从零开始:搭建本地评测环境、用一条命令跑通 VLA 策略评测,并读懂 200+ 基准任务的分类与打分方式。

Genie Sim Benchmark 机器人仿真平台架构图

🧪 什么是 Genie Sim Benchmark

Genie Sim 平台把 3D 场景重建、场景泛化、数据采集与自动评测 整合为一条工具链,而 Benchmark 是其中的"考试系统":

  • 任务即配置:每个任务是一个 *.yaml 配置文件(机器人、场景、策略、打分规则),新增任务 = 新增配置文件,而非新写代码。配置目录见 config/;
  • 声明式评测:运行时加载场景 → 驱动物理机器人 → 调用你的推理服务器 → 自动打分并记录每集(episode)通过/失败;
  • LLM 驱动:任务指令与评测配置可由 LLM 自动生成,支撑海量场景变体(robust 类任务可生成 10 个以上实例);
  • 官方榜单同源:本地评测与 AgiBot World Challenge: Open-Session 榜单使用完全相同的任务与计分规则,本地通过的策略在远端评分时行为一致。

Genie Sim Benchmark 200+ VLA 评测任务的仿真场景集

⚙️ 本地环境搭建:四步进入评测容器

评测依赖 Isaac Sim / omni_python,推荐直接使用官方 Docker 镜像(Isaac Sim 5.1 + ROS 2 Jazzy):

# 1. 获取仓库
git clone https://gitcode.com/gh_mirrors/ge/genie_sim
cd genie_sim

# 2. 安装 CLI(宿主机)
pip install -e source/geniesim_cli/

# 3. 构建并启动容器(首次构建较久)
geniesim docker build
geniesim docker up

# 4. 进入容器
geniesim docker into

进入容器后先做健康检查:

geniesim status      # 各组件健康探测
geniesim doctor      # 诊断并修复(rosdep、环境变量等)

💡 容器启动时会自动 editable 安装所有 tier-1 依赖包(含 geniesim_benchmark),无需手动 pip。

🚀 本地运行 VLA 策略评测:CLI 五步速览

整个基准由 geniesim benchmark 命令驱动,完整参数见 USAGE.md:

# ① 发现可用任务:分类统计 / 机器人统计 / 按条件列任务
geniesim benchmark categories
geniesim benchmark robots
geniesim benchmark list --robot=g2op --category=if

# ② 先探测推理服务器(推荐!几秒内发现协议/NaN 问题,避免白等仿真启动)
geniesim benchmark check-inference --infer-host=<IP>:8999

# ③ 跑单个任务(你的推理服务器需已启动,WebSocket 端口 8999)
geniesim benchmark run g2op_if_pick_block_color --infer-host=<IP>:8999

# ④ 常用透传参数:无头模式 + 记录日志 + 指定集数/随机种子
geniesim benchmark run g2op_if_pick_block_color --infer-host=<IP>:8999 \
  --app.headless=true --benchmark.record=true --benchmark.num_episode=20 --benchmark.seed=0

# ⑤ 批量评测整个类别(自动输出每个配置的通过/失败汇总)
geniesim benchmark batch --category=if --robot=g2op --infer-host=<IP>:8999

常用透传参数速查(完整 schema 见 params.py):

参数 含义
--app.headless=true 无 GUI(远程/批量机器必需)
--benchmark.num_episode=N 覆盖任务默认集数
--benchmark.seed=N 随机种子(场景实例采样可复现)
--benchmark.record=true 将每集日志落盘到 output_dir
--benchmark.policy_class=… 切换策略实现类

🔍 <CONFIG> 支持三种写法:基名(g2op_if_pick_block_color)、完整路径、唯一子串,CLI 会自动解析。

你的推理服务器需要实现什么

Benchmark 与策略之间通过 WebSocket 传输 msgpack 消息(权威实现见 corobotpolicy.py):

  • 观察(params):三目 JPEG 相机(head / hand_left / hand_right)、关节状态、任务 prompt 文本,以及 states.end_pose——末端位姿同时以 base_link 和 arm_base_link 两个坐标系下发,模型按训练坐标系读取即可;
  • 控制(result):每臂一个动作块 {"kind", "values"}。kind: "JOINT_ABS" 为关节绝对目标;kind: "EEF_ABS" 为末端位姿(仿真端做 IK)。EEF_ABS 默认坐标系是 base_link,若输出 arm_base_link 位姿必须显式声明;
  • 坑点提示:数组需用 .tolist() 转成原生 Python 列表,响应用普通 msgpack 解析而非 msgpack_numpy。

🗂️ 如何读懂 200+ 基准任务:四大类别

任务命名遵循 <robot>_<category>_<task>.yaml(如 g2op_if_pick_block_color.yaml),一眼可辨机器人与类别:

类别前缀 考察能力 典型任务示例
if_ 指令跟随(语义/常识/逻辑理解) 按颜色/形状/数字/大小选积木、"or"逻辑、常识推理
robust_* 扰动鲁棒性(指令/机器人位姿/背景/画质/相机位姿) 同一任务在多种扰动下重测,按扰动类型分别计分
manip_ 操作技能(开门、倒料、舀爆米花、货架理货、双手协作) 长程多步操作,如连续分拣包裹
spatial_ 空间理解(绝对/相对位置、叠碗、积木排序) "把饮料放到另一个物体的左边"
s2r_ Sim-to-Real 保真验证(G1 双臂任务) 分拣水果、超市打包、双手传递薯片

每个任务在 task_config_mapping.py 中登记了评测维度 eval_dims(如 manip: pick + cognition: color),评测体系会从操作技能与认知理解两个轴输出能力画像。

📊 如何看评测结果:基线对比参考

评测结束时输出每集通过/失败汇总;批量模式则给出每个配置的 pass/fail 表格。官方 README 中提供了四个参考模型的基线平均分(0~1 成功率),可作为你策略的参照系:

榜单 π0.5 ACoT-VLA GR00T-N1.7 π0
Instruction(指令跟随) 0.75 0.76 0.65 0.37
Robust(扰动鲁棒) 0.61 0.62 0.54 0.31
Manipulation(操作技能) 0.58 0.48 0.44 0.35
Spatial(空间理解) 0.36 0.40 0.25 0.13

几个值得注意的信号:

  • 空间类任务整体最难(平均分不足 0.4),是当前 VLA 模型的明显短板;
  • 鲁棒榜单按 5 类扰动分别计分(指令、机器人位姿、背景、图像质量、相机位姿),能定位你的模型"怕什么";
  • 官方 Sim2Real 实验显示仿真与真机成功率差异 < 10%,说明仿真分数可当真机分数的可靠代理。

🏆 不止于本地:从调试到提交官方榜单

geniesim_benchmark 内置了一整套面向 AI Agent 的 SKILL 配方,可被 Claude Code / Cursor 等直接驱动:

工作流建议:先在本地跑 check-inference + benchmark run 调试 → 用 batch 跑全类别回归 → 确认稳定后再提交远端评分,避免盲目提交。

🛠️ 常见问题与实用工具

  • geniesim 命令不在 PATH:改用 python3 -m geniesim_cli benchmark …,参数行为完全一致;
  • 评测卡住/输出乱码:先跑 check-inference,它会暴露协议不匹配、动作 NaN/Inf、关节量纲错误等问题;
  • 批量评测别写 shell 循环:用 benchmark batch,它统一转发参数并输出汇总;
  • 数据集格式转换:geniesim dataset convert agibot-to-lerobot --agibot-dir ./agibot --output-dir ./lerobot_out 可将采集数据转为 LeRobot v2.1(parquet + MP4),实现在 agibot_to_lerobot.py;
  • 调试排障:竞赛排障配方见 challenge-troubleshoot/SKILL.md。

Genie Sim 从全景图生成 3D 世界模型的流水线概览

📚 延伸阅读与关键路径

资源 路径
本地评测完整说明 source/geniesim_benchmark/USAGE.md
任务目录与计分契约 source/geniesim_benchmark/README.md
CLI 命令实现 commands/benchmark.py
任务配置文件(89 个) config/
VLM 自动评测提示词 evaluator/prompts/

📌 提示:geniesim_benchmark 目前直接驱动 Isaac Sim,与基于 ROS 2 的 RT Engine(geniesim_ros)是两条并行路径,官方路线图计划将其重构为 geniesim_ros 之上的 benchmark 层。

登录后查看全文
genie_sim