UniScene如何将占用栅格变成逼真LiDAR点云?DDA光线投射与NeuS表面渲染机制详解
UniScene如何将占用栅格变成逼真LiDAR点云?DDA光线投射与NeuS表面渲染机制详解
UniScene 是一个统一的以占用栅格(Occupancy)为中心的车载场景生成框架(CVPR 2025 / TPAMI 2026)。它先用扩散模型生成 3D 占用栅格,再借助 DDA 光线投射与 NeuS 式表面渲染,把"体素块"反渲染成带强度、带缺失回波的逼真 LiDAR 点云。本文带你拆解 lidar_gen/ 模块中的核心机制:光线如何采样、DDA 如何加速、SDF 场如何被渲染成深度与点。
1. 为什么需要"占用栅格 → LiDAR"这一步?
真实自动驾驶模拟中,LiDAR 是感知算法最依赖的传感器之一。如果仿真系统只能输出占用栅格或 RGB 图像,就无法训练依赖点云的感知模型。UniScene 的思路很巧妙:
占用栅格 = 场景的"3D 像素",LiDAR 点云 = 对这个场景做"体渲染"的结果。
也就是说,把 LiDAR 当作一组从原点出发的光线,让它们在由占用栅格特征驱动的隐式表面场中"走一遍",求出每条光线的命中深度和强度,就能合成出与真实回波分布高度一致的点云。这也是整个 UniScene 框架的中间一环:
上游的占用栅格可以来自两个渠道:nuScenes 真值体素化(见 occupancy_gen/read_occ_nksr.py)或占用生成模型(OccVAE + OccDiT):
2. LiDAR 生成模块整体架构
LiDAR 生成部分基于 OpenPCDet 风格实现,核心模型 Occ2LiDARSparseUNet 由三部分构成:
- 稀疏 UNet 编码器:把输入占用栅格特征化,输出统一分辨率的特征体(
unified_voxel_shape: [200, 200, 16],体素边长 0.5m); - Occ2LiDARRender 渲染头:负责采样光线、调用表面场、输出深度/强度/丢射线预测,实现在 lidar_gen/pcdet/models/dense_heads/occ2lidar_render.py;
- NeuS 渲染模型:真正的"表面渲染器",见 lidar_gen/pcdet/models/dense_heads/render_utils/models/neus_v2_lidaronly.py。
整体结构如下图所示:
3. 光线从哪里来:采样与预设光束
LiDAR 的光线天然从原点(车体中心)出发。训练时,直接从真实点云反推光线方向(sample_lidar_rays 中 directions = points / norm(points)),并用 close_radius: 3.0 / far_radius: 50.0 过滤掉近距噪声和超远回波。
推理时更聪明:配置 occ2lidar_sparseunet_renderv2_s_priorsampler_p54_r200_intenw10_raydropw02_prerays.yaml 开启了 use_predefine_rays,按方位角分辨率 + 54 个俯仰角光束层,预先摆出整个 360° 的"虚拟 LiDAR 光束网格"——无论场景怎么变,光线集合一次生成、永久复用,这就是配置名里 p54 的含义。
4. DDA 光线投射:批量判断哪些光线会"撞墙"
问题来了:预设光束动辄上万条,但真实场景中大部分光线指向天空/空旷路面,永远不会命中任何物体。逐条送去渲染是巨大的浪费。
UniScene 用一个 CUDA 版的 3D DDA(Digital Differential Analyzer,数字微分分析器) 算法先做一次快速剔除,核心核函数在 lidar_gen/pcdet/datasets/nuscenes_occ/utils/dda/dda3d_cuda.cu,绑定入口在 dda3d.cpp(安装脚本 setup.py):
- 每条光线分配一个 GPU 线程,从原点所在体素出发,沿
tMaxX / tMaxY / tMaxZ三个轴的"下次跨越距离"逐格步进; - 每进入一个体素就查一次布尔占用网格
grid[grid_index],一旦命中立即置intersections[i] = true并提前退出; - 走完整个网格范围都没命中则标记
false。
DDA 的妙处在于它把"光线与 3D 体的求交"退化成了整数格点遍历,复杂度与穿越的体素数成正比、与体素总数无关。配置中 drop_collisionless_rays: True 打开后,渲染头只保留命中的光线(lidar_origins = lidar_origins[intersection_mask]),典型场景下可砍掉 60% 以上的无效光线,GPU 显存和耗时都大幅下降。
5. NeuS 表面渲染:从 SDF 场到深度
剔除完无效光线,剩下的就是"经典"的 NeuS 式隐式表面渲染。场定义在 render_utils/fields/sdf_field.py:
5.1 特征插值 + SDF 解码器
SDFField.interpolate_feats先用自研的 SmoothSampler(lidar_gen/pcdet/ops/smooth_sampler/smooth_sampler.py)把采样点坐标映射到稀疏 UNet 输出的特征体上,做双线性插值并平滑梯度传播——这比原生grid_sample_3d更适合反渲染任务;- 然后
SDFDecoder(一个小型 MLP)融合"位置编码特征 + 栅格特征",同时输出 SDF 值 和 几何特征(out_dim: 17 = 1 + 16)。
5.2 用"邻域 SDF 差分"估计遮挡概率
NeuS 的核心 trick 不直接用密度,而是估计光线在相邻两个采样点之间穿过表面的概率:
estimated_next_sdf = sdf + cos * delta / 2
estimated_prev_sdf = sdf - cos * delta / 2
alpha = sigmoid(prev) - sigmoid(next)
其中 cos 是光线方向与 SDF 梯度的夹角项,inv_s(方差)在训练初期通过余弦退火控制,避免梯度"死亡"。这一步让渲染出的表面又薄又稳,是深度准确的关键。
5.3 两阶段采样与深度合成
采样策略(ray_samplers.py)采用 NeuS 风格的两段式:
| 阶段 | 采样器 | 数量 | 作用 |
|---|---|---|---|
| 粗采样 | UniformSampler + PriorSampler |
144 点 | 沿光线均匀覆盖 + 优先落在有特征的体素附近 |
| 精采样 | PDFSampler |
36 点 | 按粗采样权重做重要性采样,把算力集中在表面附近 |
得到每点 alpha 后计算透射率权重,再用 DepthRenderer(renderers.py)做加权平均:
depth = Σ(weights × z) / Σ(weights)
这就是每条光线的预测命中距离。
6. 从深度到"逼真":强度与丢射线预测
真实 LiDAR 点云有两个特征不能少:每个回波有强度,而且很多光线打不中物体(无回波)。NeuSModelV2LiDAROnly 用一个额外的 lidar_decoder MLP,把加权后的射线特征映射成 2 维输出:
intensity_pred(sigmoid)→ 回波强度;raydrop_pred(sigmoid)→ 该光线是否"丢射线"。
生成点云时(generate_predicted_pc):
pred_pts = depth × ray_d / scale_factor还原到米制世界坐标;- 拼上强度列,得到
(x, y, z, intensity)四元组; - 把预测为丢射线的点直接删除——于是生成的点云天然呈现"稀疏 + 有方向性空白"的真实 LiDAR 纹理。
对应的监督信号(loss_cfg.weights):depth_loss = 10.0(L1)、intensity_loss = 10.0(L2)、raydrop_loss = 0.2(BCE),权重设计直接反映了"几何优先、外观与缺失次之"的训练优先级。
7. 快速上手:3 步跑通 LiDAR 生成
环境搭建详见 lidar_gen/README.md(要点:conda 建 py3.9 环境 → pip install -e . -v 装 OpenPCDet → cd pcdet/datasets/nuscenes_occ/utils/dda && pip install . -v 装 DDA CUDA 算子)。
准备好占用栅格文件后,最小体验路径:
# 1. 任意占用栅格的 Demo 推理
python tools/demo.py --occ_file $input_occupancy_path --ckpt_dir $lidar_pretrain_path
# 2. nuScenes val 集批量推理
python tools/test.py --save_to_file $output_path --ckpt_dir $lidar_pretrain
# 3. 分布相似度评估(MMD / JSD)
python pcdet/datasets/nuscenes_occ/eval_utils/eval_mmd_jsd_gpu_batch.py $gt_path $pred_path
生成的点云还可以用 lidar_gen/visualize_nuscenes_lidar.py 渲染对比图,直观检查与真实回波的分布差异。
8. 关键配置速查表
以 tools/cfgs/nuscenes_occ_models/ 下的官方配置为模板,最常调的参数:
| 参数 | 位置 | 默认值 | 含义 |
|---|---|---|---|
unified_voxel_size |
MODEL.DENSE_HEAD | [0.5, 0.5, 0.5] | 统一体素边长(米) |
unified_voxel_shape |
MODEL.DENSE_HEAD | [200, 200, 16] | 特征体分辨率 |
drop_collisionless_rays |
MODEL.DENSE_HEAD | True | 启用 DDA 光线剔除 |
close_radius / far_radius |
ray_sampler_cfg | 3.0 / 50.0 | 回波距离过滤范围 |
num_samples / num_samples_importance |
sampler_cfg | 144 / 36 | 粗/精采样点数 |
pred_intensity / pred_raydrop |
render_ssl_cfg | True / True | 是否预测强度与丢射线 |
interpolate_cfg.type |
field_cfg | SmoothSampler | 特征插值方式 |
💡 提示:
use_predefine_rays与drop_collisionless_rays组合使用时,DDA 会在预设光束上实时过滤,推理速度对场景密度几乎不敏感。
9. 小结
UniScene 的 LiDAR 生成链路可以浓缩为一句话:
稀疏 UNet 编码占用栅格 → DDA 剔除无效光线 → NeuS 隐式表面场渲染出深度 → MLP 补齐强度与丢射线 → 得到逼真的 LiDAR 点云。
其中 DDA 光线投射(dda3d_cuda.cu)解决了"效率"问题,NeuS 表面渲染(neus_v2_lidaronly.py)解决了"逼真"问题。而这份 LiDAR 点云又会作为下游视频生成(video_gen/,基于 Gaussian Splatting 渲染多视角图像)的几何条件——"占用栅格"因此成为串联点云、图像、视频的统一世界表示,这正是 UniScene "Unified" 二字的含义 🌟。
延伸阅读:渲染工具链位于 lidar_gen/pcdet/models/dense_heads/render_utils/,数据集构造见 lidar_gen/pcdet/datasets/nuscenes_occ/occ_lidar_gen.py,训练入口为 lidar_gen/tools/train.py 与 lidar_gen/tools/scripts/torch_train.sh。


