如何用UniScene从占用网格生成LiDAR点云?先验引导稀疏建模推理与评估实战

原创2026-11-13 15:12:002,201 阅读

如何用UniScene从占用网格生成LiDAR点云?先验引导稀疏建模推理与评估实战

UniScene 是 CVPR 2025 论文提出的统一占用中心驾驶场景生成框架,它可以从 BEV 布局出发,级联生成语义占用(Occupancy)、LiDAR 点云和多视角视频三类数据。本文聚焦其中的 LiDAR 生成模块(lidar_gen):讲解如何基于 200×200×16 的占用网格,通过"先验引导稀疏建模(Prior-guided Sparse Modeling)"策略推理出逼真的 LiDAR 点云,并完成 JSD / MMD 指标评估与 3D 可视化。

UniScene驾驶场景生成框架概览

一、UniScene 中的 LiDAR 生成定位 🔍

UniScene 采用"占用为中心"的两级生成流程:先生成语义占用网格作为中间场景表示,再以占用为条件生成 LiDAR 点云与多视角视频。LiDAR 生成由仓库中的 lidar_gen/ 目录承担。

UniScene整体框架:从BEV布局到占用、LiDAR点云与视频

其核心思想是把"从占用网格到点云"建模为一次稀疏体渲染(Sparse Rendering):

组件 作用 代码位置
SparseUNet 骨干 将占用特征体下采样,学习稠密场景特征 spconv_unet_small.py
SDF 隐式场(NeuS) 预测每条射线的穿透概率与表面深度 neus_v2_lidaronly.py
PriorSampler 先验采样器 依据占用体稀疏先验把采样点集中在有障碍物的区域,大幅减少无效采样 ray_samplers.py
预定义射线(Pre-define Rays) 推理时按真实 LiDAR 的方位角/俯仰角布设 32 层 × 1080 方向射线,无需真实点云 occ2lidar_render.py

UniScene LiDAR生成模型结构图

对应的推理配置为 occ2lidar_sparseunet_renderv2_s_priorsampler_p54_r200_intenw10_raydropw02_prerays.yaml,其中 use_predefine_rays: True 正是"先验引导"的推理关键:射线布设与真实传感器完全一致,而每根射线上的采样则依靠占用体先验(占用网格 occ_grids + DDA 射线求交,见 dda_gpu 相关代码)跳过空射线的计算。

二、环境安装与数据准备清单 📦

1. 安装环境

整体环境建议参考 install.md:Python 3.9 + CUDA 12.1,使用 poetry 安装依赖后,编译 LiDAR 模块的 CUDA 算子:

cd ./lidar_gen && pip install -e . -v
cd pcdet/datasets/nuscenes_occ/utils/dda && pip install . -v

若需要 Mayavi 可视化,还需安装 xvfb 等系统依赖(详见 install.md 第 d 节)。

2. 准备四份数据

按照 lidar_gen/README.md,把数据软链或拷贝到 lidar_gen/data/ 下:

数据 放置位置 说明
nuScenes 数据集 data/nuscenes 提供 GT 点云与传感器元数据
nuScenes infos 的 pkl data/infos 可直接用 convert_nuscenes_info.py 从 12Hz 标注转换
划分映射文件 data/split 如 nuScenes_occ2lidar_nksr.json
占用网格文件(.npy) data/nuscenes_occ 可用 GT 占用,或用 occupancy_gen/ 模块生成的占用

占用网格的规格为 200×200×16、点云范围 <a href="https://link.gitcode.com/i/7e61b605d046c37557df91509a191d00" target="_blank">-50, -50, -5, 50, 50, 3] 米(见 [occ2lidar_dataset_r200.yaml)。

3. 下载预训练权重

将官方 LiDAR 权重保存为 lidar_gen/checkpoints/occ2lidar.pth(下载方式见 README.md 中 "Pretrained Models" 一节)。

三、一步推理:从占用网格到点云文件 🚀

方式 A:全量验证集推理

在 lidar_gen 目录下执行 tools/test.py:

cd ./lidar_gen
python tools/test.py --save_to_file $output_lidar_path --ckpt_dir $lidar_pretrain

它会读取 val 集的每帧占用网格,输出逐帧 .npy 点云文件(每帧含 xyz 及强度),日志与结果保存在 exps/uniscenes-occ2lidar/eval/val/ 下。显存不足时可通过 --batch_size 调小批大小。

方式 B:单帧自定义 Demo

想用自己的占用文件快速出效果?使用 tools/demo.py:

python tools/demo.py --occ_file $input_occupancy_path --ckpt $lidar_pretrain_path

Demo 会加载你的 .npy 占用网格(仓库自带示例 occ_demo.npy),执行 prepare_occ 预处理(体素坐标 → 世界坐标 → 球坐标特征 → 类别 one-hot),再前向一次模型,把结果写成 asserts/pc_demo.ply 供直接观察(见 demo.py)。

UniScene框架中的LiDAR点云生成流程示意

四、评估生成质量:JSD 与 MMD 双指标 📊

仓库提供了 GPU 加速的批量评估脚本 eval_mmd_jsd_gpu_batch.py:

python pcdet/datasets/nuscenes_occ/eval_utils/eval_mmd_jsd_gpu_batch.py $gt_path $pred_path

参数含义很简单:

  • $gt_path:真实 LiDAR 点云文件夹(每个文件对应一帧 .npy)
  • $pred_path:上一步生成的点云文件夹

脚本会把两组点云体素化到统一网格上,逐帧累计 JSD(Jensen-Shannon 散度) 与 MMD(最大均值差异) 两个分布距离指标(越低越好),并输出 jsd_middle*.pkl / mmd_middle*.pkl 中间结果。还支持:

  • --filter_pts_range:过滤掉 3~50 m 范围外的点,贴近传感器真实覆盖
  • --log_file:把分数写入日志
  • --type viz:切换为逐帧渲染对比图模式(BEV + 侧视图 PNG)

指标实现分别位于 jsd.py 与 mmd_gpu.py。

五、3D 可视化:一眼看懂点云质量 👁️

用 visualize_nuscenes_lidar.py 基于 Mayavi 批量渲染:

python visualize_nuscenes_lidar.py --pred_dir $input_lidar_path --save_path $output_vis_path

脚本会为每帧生成 DRIVING_VIEW(前向驾驶视角)和 BIRD_EYE_VIEW(俯视图)两种截图,点按离传感器距离着色,方便直观检查点云分布是否符合 LiDAR 回波形态(见 visualize_nuscenes_lidar.py)。

六、常见坑位与优化建议 💡

  1. 显存不足:tools/test.py 中 --batch_size 默认 2,可按显卡情况调小;demo.py 单帧推理显存占用更低。
  2. DDA 算子报错:dda CUDA 扩展必须单独编译安装(见上文第二节),否则会因缺少 dda3d_gpu 而无法执行射线-占用体求交。
  3. 占用文件规格:必须是 200×200×16 的 .npy 网格(255 表示无效体素,会被自动清零),范围与 POINT_CLOUD_RANGE 保持一致。
  4. 点云数量偏少:推理时使用 drop_ray_when_pred 机制丢弃预测穿透(未击中的)射线,这是符合 LiDAR 物理特性的正常现象,并非模型缺陷。
  5. 想换采样策略:可切换为 occ2lidar_sparseunet_renderv2_s_priorsampler_p54_r200_intenw10_raydropw02.yaml(不带 prerays 的版本),它依靠 GT 点云方向采样射线,适合训练场景。

七、延伸:完整生成链路 🧭

掌握 LiDAR 生成后,可以继续串联 UniScene 的完整流程:

总结 🎯

本文带你走通了 UniScene 的 LiDAR 点云生成实战链路:

  1. 装环境:poetry + pip install -e . 编译 CUDA 算子;
  2. 备数据:nuScenes、infos、split 映射、占用网格四件套 + 预训练权重;
  3. 跑推理:tools/test.py 批量生成或 tools/demo.py 单帧出图;
  4. 做评估:eval_mmd_jsd_gpu_batch.py 计算 JSD / MMD;
  5. 看效果:Mayavi 脚本批量渲染驾驶/俯视双视角。

借助 PriorSampler 先验采样与预定义射线,UniScene 在推理阶段实现了"只算有用的射线",这正是其先验引导稀疏建模能以较低计算成本还原真实 LiDAR 回波的关键所在。

登录后查看全文
UniScene-Unified-Occupancy-centric-Driving-Scene-Generation