如何用UniScene从占用网格生成LiDAR点云?先验引导稀疏建模推理与评估实战
如何用UniScene从占用网格生成LiDAR点云?先验引导稀疏建模推理与评估实战
UniScene 是 CVPR 2025 论文提出的统一占用中心驾驶场景生成框架,它可以从 BEV 布局出发,级联生成语义占用(Occupancy)、LiDAR 点云和多视角视频三类数据。本文聚焦其中的 LiDAR 生成模块(lidar_gen):讲解如何基于 200×200×16 的占用网格,通过"先验引导稀疏建模(Prior-guided Sparse Modeling)"策略推理出逼真的 LiDAR 点云,并完成 JSD / MMD 指标评估与 3D 可视化。
一、UniScene 中的 LiDAR 生成定位 🔍
UniScene 采用"占用为中心"的两级生成流程:先生成语义占用网格作为中间场景表示,再以占用为条件生成 LiDAR 点云与多视角视频。LiDAR 生成由仓库中的 lidar_gen/ 目录承担。
其核心思想是把"从占用网格到点云"建模为一次稀疏体渲染(Sparse Rendering):
| 组件 | 作用 | 代码位置 |
|---|---|---|
| SparseUNet 骨干 | 将占用特征体下采样,学习稠密场景特征 | spconv_unet_small.py |
| SDF 隐式场(NeuS) | 预测每条射线的穿透概率与表面深度 | neus_v2_lidaronly.py |
| PriorSampler 先验采样器 | 依据占用体稀疏先验把采样点集中在有障碍物的区域,大幅减少无效采样 | ray_samplers.py |
| 预定义射线(Pre-define Rays) | 推理时按真实 LiDAR 的方位角/俯仰角布设 32 层 × 1080 方向射线,无需真实点云 | occ2lidar_render.py |
对应的推理配置为 occ2lidar_sparseunet_renderv2_s_priorsampler_p54_r200_intenw10_raydropw02_prerays.yaml,其中 use_predefine_rays: True 正是"先验引导"的推理关键:射线布设与真实传感器完全一致,而每根射线上的采样则依靠占用体先验(占用网格 occ_grids + DDA 射线求交,见 dda_gpu 相关代码)跳过空射线的计算。
二、环境安装与数据准备清单 📦
1. 安装环境
整体环境建议参考 install.md:Python 3.9 + CUDA 12.1,使用 poetry 安装依赖后,编译 LiDAR 模块的 CUDA 算子:
cd ./lidar_gen && pip install -e . -v
cd pcdet/datasets/nuscenes_occ/utils/dda && pip install . -v
若需要 Mayavi 可视化,还需安装 xvfb 等系统依赖(详见 install.md 第 d 节)。
2. 准备四份数据
按照 lidar_gen/README.md,把数据软链或拷贝到 lidar_gen/data/ 下:
| 数据 | 放置位置 | 说明 |
|---|---|---|
| nuScenes 数据集 | data/nuscenes |
提供 GT 点云与传感器元数据 |
| nuScenes infos 的 pkl | data/infos |
可直接用 convert_nuscenes_info.py 从 12Hz 标注转换 |
| 划分映射文件 | data/split |
如 nuScenes_occ2lidar_nksr.json |
| 占用网格文件(.npy) | data/nuscenes_occ |
可用 GT 占用,或用 occupancy_gen/ 模块生成的占用 |
占用网格的规格为 200×200×16、点云范围 <a href="https://link.gitcode.com/i/7e61b605d046c37557df91509a191d00" target="_blank">-50, -50, -5, 50, 50, 3] 米(见 [occ2lidar_dataset_r200.yaml)。
3. 下载预训练权重
将官方 LiDAR 权重保存为 lidar_gen/checkpoints/occ2lidar.pth(下载方式见 README.md 中 "Pretrained Models" 一节)。
三、一步推理:从占用网格到点云文件 🚀
方式 A:全量验证集推理
在 lidar_gen 目录下执行 tools/test.py:
cd ./lidar_gen
python tools/test.py --save_to_file $output_lidar_path --ckpt_dir $lidar_pretrain
它会读取 val 集的每帧占用网格,输出逐帧 .npy 点云文件(每帧含 xyz 及强度),日志与结果保存在 exps/uniscenes-occ2lidar/eval/val/ 下。显存不足时可通过 --batch_size 调小批大小。
方式 B:单帧自定义 Demo
想用自己的占用文件快速出效果?使用 tools/demo.py:
python tools/demo.py --occ_file $input_occupancy_path --ckpt $lidar_pretrain_path
Demo 会加载你的 .npy 占用网格(仓库自带示例 occ_demo.npy),执行 prepare_occ 预处理(体素坐标 → 世界坐标 → 球坐标特征 → 类别 one-hot),再前向一次模型,把结果写成 asserts/pc_demo.ply 供直接观察(见 demo.py)。
四、评估生成质量:JSD 与 MMD 双指标 📊
仓库提供了 GPU 加速的批量评估脚本 eval_mmd_jsd_gpu_batch.py:
python pcdet/datasets/nuscenes_occ/eval_utils/eval_mmd_jsd_gpu_batch.py $gt_path $pred_path
参数含义很简单:
$gt_path:真实 LiDAR 点云文件夹(每个文件对应一帧.npy)$pred_path:上一步生成的点云文件夹
脚本会把两组点云体素化到统一网格上,逐帧累计 JSD(Jensen-Shannon 散度) 与 MMD(最大均值差异) 两个分布距离指标(越低越好),并输出 jsd_middle*.pkl / mmd_middle*.pkl 中间结果。还支持:
--filter_pts_range:过滤掉 3~50 m 范围外的点,贴近传感器真实覆盖--log_file:把分数写入日志--type viz:切换为逐帧渲染对比图模式(BEV + 侧视图 PNG)
指标实现分别位于 jsd.py 与 mmd_gpu.py。
五、3D 可视化:一眼看懂点云质量 👁️
用 visualize_nuscenes_lidar.py 基于 Mayavi 批量渲染:
python visualize_nuscenes_lidar.py --pred_dir $input_lidar_path --save_path $output_vis_path
脚本会为每帧生成 DRIVING_VIEW(前向驾驶视角)和 BIRD_EYE_VIEW(俯视图)两种截图,点按离传感器距离着色,方便直观检查点云分布是否符合 LiDAR 回波形态(见 visualize_nuscenes_lidar.py)。
六、常见坑位与优化建议 💡
- 显存不足:
tools/test.py中--batch_size默认 2,可按显卡情况调小;demo.py单帧推理显存占用更低。 - DDA 算子报错:
ddaCUDA 扩展必须单独编译安装(见上文第二节),否则会因缺少dda3d_gpu而无法执行射线-占用体求交。 - 占用文件规格:必须是 200×200×16 的
.npy网格(255 表示无效体素,会被自动清零),范围与POINT_CLOUD_RANGE保持一致。 - 点云数量偏少:推理时使用
drop_ray_when_pred机制丢弃预测穿透(未击中的)射线,这是符合 LiDAR 物理特性的正常现象,并非模型缺陷。 - 想换采样策略:可切换为 occ2lidar_sparseunet_renderv2_s_priorsampler_p54_r200_intenw10_raydropw02.yaml(不带 prerays 的版本),它依靠 GT 点云方向采样射线,适合训练场景。
七、延伸:完整生成链路 🧭
掌握 LiDAR 生成后,可以继续串联 UniScene 的完整流程:
- 占用生成:occupancy_gen/(BEV 布局 → 占用网格,VAE + DiT 方案,架构见 occupancy_model.png)
- 视频生成:video_gen/(基于占据体的高斯联合渲染 + 视频扩散,架构见 video_model.png)
- 数据预处理:data_process/generate_occ.py 可从 nuScenes 重建 12Hz GT 占用
总结 🎯
本文带你走通了 UniScene 的 LiDAR 点云生成实战链路:
- 装环境:poetry +
pip install -e .编译 CUDA 算子; - 备数据:nuScenes、infos、split 映射、占用网格四件套 + 预训练权重;
- 跑推理:
tools/test.py批量生成或tools/demo.py单帧出图; - 做评估:
eval_mmd_jsd_gpu_batch.py计算 JSD / MMD; - 看效果:Mayavi 脚本批量渲染驾驶/俯视双视角。
借助 PriorSampler 先验采样与预定义射线,UniScene 在推理阶段实现了"只算有用的射线",这正是其先验引导稀疏建模能以较低计算成本还原真实 LiDAR 回波的关键所在。


