Open Reality:手机扫描房间到 Isaac Sim USD 场景导出的两大难题与重力对齐解法

原创2026-11-13 21:49:58867 阅读

Open Reality:手机扫描房间到 Isaac Sim USD 场景导出的两大难题与重力对齐解法

Open Reality 能把一段手机视频变成可 AI 查询的 3D 场景,并支持将扫描结果导出为 Isaac Sim / Isaac Lab 可直接加载的 USD 场景。很多用户卡在同一处:SLAM 重建出来的坐标系既不是重力对齐的,也不是真实米制单位,直接拖进仿真器就会"墙变天花板、机器人穿模"。这篇文章拆解 USD 导出背后的两大难题,并讲清 Open Reality 的重力对齐解法与完整导出步骤。

Open Reality 3D 场景重建与 Isaac Sim USD 导出工作流演示

为什么扫描房间不能直接丢进 Isaac Sim

Open Reality 的重建核心(core/ 中的 VGGT-SLAM)会输出世界系稠密点云 + 关键帧相机位姿,几何数据本身是齐的。问题出在坐标系的两点"先天不足",官方文档在 server/docs/isaac-export.md 中称之为"两大难题":

  1. SLAM 世界系没有重力对齐。 手机随手一扫,世界原点和轴朝向都是任意的,地板可能"躺"在 XY 平面之外的任何倾斜面上;而 Isaac Sim 要求 +Z 朝上、地板即地面。
  2. SLAM 世界系只是 up-to-scale(尺度不定)。 单目重建只能恢复相对尺度,core/vggt_slam/scale_solver.py 也只处理子图之间的相对比例,系统内没有自动米制锚点,导出前必须补一个真实尺度。

除此之外还有一个机械性陷阱:USD 的默认值对机器人学恰好是错的——不显式声明时 metersPerUnit 会退回 0.01(厘米)、upAxis 退回 Y。所以导出器必须显式写入 metersPerUnit=1.0 和 upAxis="Z",否则场景会整体缩小 100 倍且轴向错误。

重力对齐解法:从地板平面估计"上"方向

整个对齐的核心在 server/server/export/isaac/align.py(纯 numpy/scipy 实现,可完整单测),流程分三步:

步骤 做法 说明
① 找地板平面 fit_plane_ransac:RANSAC 拟合主平面 + SVD 精化 内点阈值自动取点云包围盒对角线的 1%,适配尺度不定的点云;超大点云先确定性抽样加速,最终对全量点精化
② 定向 estimate_gravity:取平面法线作为"上"向量,并用"相机在地板上方"这一先验消歧方向 防止符号翻转(上方向指进地板)
③ 合成变换 compute_alignment:生成 4×4 变换 T_align,把 SLAM 坐标映射到"米制、Z 轴朝上、地板位于 z=0"的 Isaac 世界 相机位姿同步变换

两个诚实的设计细节值得注意:

  • 估计可能错。 主平面也可能是墙面或桌面,所以 AlignmentResult 会把置信度 + 来源(provenance) 一起写进 manifest.json,下游知道该多信任这个结果。
  • 尺度必须你来给。 没有尺度信息时导出会被如实标记 metric=false,只能看不能做物理仿真;API 路径更严格——没尺度直接返回 409 metric_scale_required,绝不产出 up-to-scale 的 USD。

三种方式设置真实尺度

对应 isaac-export.md §4,任选其一:

  • 直接给比例因子:测过场景里某段距离,就知道 SLAM 单位 → 米的换算系数,最确定;
  • 参考已知物体:指定一个检测到的物体及其真实尺寸(例如门高 2.0 m),导出器会先把包围盒旋到重力系,再沿"上"轴量高除以真值——近似,但省事;
  • 都不给:几何仍然是 Z-up、重力对齐的,只是尺度不定,适合可视化。

一键导出:CLI 与 API 两条路径

本地 CLI(离线 main.py,SLAM 需要 GPU):

python main.py --image_folder examples/kitchen/images \
    --export_isaac /tmp/isaac --isaac_scale 0.25

参数速查:

参数 作用
--export_isaac <dir> 在 <dir>/<scan>/isaac/ 下写出 scene.usd / trajectory.usd / manifest.json
--isaac_scale <f> SLAM 单位 → 米的比例因子;省略则场景保持 up-to-scale
--isaac_ref_object <q> + --isaac_ref_meters <m> 用参考物体的真实尺寸反推尺度(需 --run_os)
--isaac_no_mesh 跳过网格重建,只写点云场景(无碰撞体)

API 路径(无 GPU,broker 路由):

GET /api/scenes/<scan_id>/export?format=isaac_usd

它读取已持久化的导出记录(世界系点云 + 关键帧位姿/内参,与 GR00T/LeRobot 导出共用同一份几何),通过 server/server/app.py 中的 export_scene_route 进入 Isaac 分支。可选 ?scale=<f> 直接给比例,或先打 Metric anchor(POST .../anchor)让路由消费已标定几何并按 1.0 处理、不重复缩放。成功时返回 application/zip 压缩包。

导出的 USD 里有什么

export/<scan_id>/isaac/
  scene.usd        # /World/Environment:网格 + 顶点色 + UsdPhysics 碰撞体
  trajectory.usd   # /World/Camera:沿扫描关键帧动画的相机
  manifest.json    # 对齐变换、尺度来源、metric / gravity_aligned 标志

几个容易踩坑、已被单测锁住的细节:

  • 网格即静态碰撞体:Poisson 重建(open3d,见 server/server/export/isaac/mesh.py),挂 UsdPhysics.CollisionAPI 且不挂 RigidBodyAPI——环境是固定的,不是刚体;
  • 相机坐标系翻转:计算机视觉相机(x 右、y 下、z 前)经 diag(1,-1,-1,1) 翻到 USD 相机约定(x 右、y 上、z 后),这是最容易"静默翻车"的地方,server/tests/test_isaac_usd.py 会重新打开 USD 回读相机朝向验证。

导出后如何验收

用 usd-core 重新打开 USD 跑不变量检查是最省事的办法:Z-up、米制、网格/碰撞体(或纯点)、相机采样数 == 关键帧数、变换形状、metric 标志,逐项 PASS/FAIL。自动化层面,server/tests/test_isaac_*.py 系列(对齐几何、USD 约定、完整 fake-solver 端到端)在无 usd-core/open3d 的环境也会自动跳过,保证测试套件常绿。

小结

把手机扫描变成 Isaac Sim 里能站上去、能碰撞的场景,关键不在"重建",而在两件事:用地板平面 RANSAC 把任意坐标系拉直到 +Z 朝上,以及给用户一个可溯源的米制尺度。Open Reality 的 server/server/export/isaac/ 把这一步做成了显式、可审计的管线,并用 manifest 把"哪里是估的、该信几分"写进交付物。下一步如果你要训练策略,可以接着看 LeRobot/GR00T 轨迹导出(server/docs/dataset-export.md),两套导出共用同一份几何,形成互补。

登录后查看全文
openreality