UniScene如何将占用栅格变成逼真LiDAR点云?DDA光线投射与NeuS表面渲染机制详解

原创2026-11-14 13:44:402,130 阅读

UniScene如何将占用栅格变成逼真LiDAR点云?DDA光线投射与NeuS表面渲染机制详解

UniScene 是一个统一的以占用栅格(Occupancy)为中心的车载场景生成框架(CVPR 2025 / TPAMI 2026)。它先用扩散模型生成 3D 占用栅格,再借助 DDA 光线投射与 NeuS 式表面渲染,把"体素块"反渲染成带强度、带缺失回波的逼真 LiDAR 点云。本文带你拆解 lidar_gen/ 模块中的核心机制:光线如何采样、DDA 如何加速、SDF 场如何被渲染成深度与点。

1. 为什么需要"占用栅格 → LiDAR"这一步?

真实自动驾驶模拟中,LiDAR 是感知算法最依赖的传感器之一。如果仿真系统只能输出占用栅格或 RGB 图像,就无法训练依赖点云的感知模型。UniScene 的思路很巧妙:

占用栅格 = 场景的"3D 像素",LiDAR 点云 = 对这个场景做"体渲染"的结果。

也就是说,把 LiDAR 当作一组从原点出发的光线,让它们在由占用栅格特征驱动的隐式表面场中"走一遍",求出每条光线的命中深度和强度,就能合成出与真实回波分布高度一致的点云。这也是整个 UniScene 框架的中间一环:

UniScene占用栅格驱动的LiDAR点云生成总体流程

上游的占用栅格可以来自两个渠道:nuScenes 真值体素化(见 occupancy_gen/read_occ_nksr.py)或占用生成模型(OccVAE + OccDiT):

UniScene占用栅格生成模型结构

2. LiDAR 生成模块整体架构

LiDAR 生成部分基于 OpenPCDet 风格实现,核心模型 Occ2LiDARSparseUNet 由三部分构成:

  1. 稀疏 UNet 编码器:把输入占用栅格特征化,输出统一分辨率的特征体(unified_voxel_shape: [200, 200, 16],体素边长 0.5m);
  2. Occ2LiDARRender 渲染头:负责采样光线、调用表面场、输出深度/强度/丢射线预测,实现在 lidar_gen/pcdet/models/dense_heads/occ2lidar_render.py;
  3. NeuS 渲染模型:真正的"表面渲染器",见 lidar_gen/pcdet/models/dense_heads/render_utils/models/neus_v2_lidaronly.py。

整体结构如下图所示:

UniScene占用栅格到LiDAR点云生成模型结构

3. 光线从哪里来:采样与预设光束

LiDAR 的光线天然从原点(车体中心)出发。训练时,直接从真实点云反推光线方向(sample_lidar_rays 中 directions = points / norm(points)),并用 close_radius: 3.0 / far_radius: 50.0 过滤掉近距噪声和超远回波。

推理时更聪明:配置 occ2lidar_sparseunet_renderv2_s_priorsampler_p54_r200_intenw10_raydropw02_prerays.yaml 开启了 use_predefine_rays,按方位角分辨率 + 54 个俯仰角光束层,预先摆出整个 360° 的"虚拟 LiDAR 光束网格"——无论场景怎么变,光线集合一次生成、永久复用,这就是配置名里 p54 的含义。

4. DDA 光线投射:批量判断哪些光线会"撞墙"

问题来了:预设光束动辄上万条,但真实场景中大部分光线指向天空/空旷路面,永远不会命中任何物体。逐条送去渲染是巨大的浪费。

UniScene 用一个 CUDA 版的 3D DDA(Digital Differential Analyzer,数字微分分析器) 算法先做一次快速剔除,核心核函数在 lidar_gen/pcdet/datasets/nuscenes_occ/utils/dda/dda3d_cuda.cu,绑定入口在 dda3d.cpp(安装脚本 setup.py):

  • 每条光线分配一个 GPU 线程,从原点所在体素出发,沿 tMaxX / tMaxY / tMaxZ 三个轴的"下次跨越距离"逐格步进;
  • 每进入一个体素就查一次布尔占用网格 grid[grid_index],一旦命中立即置 intersections[i] = true 并提前退出;
  • 走完整个网格范围都没命中则标记 false。

DDA 的妙处在于它把"光线与 3D 体的求交"退化成了整数格点遍历,复杂度与穿越的体素数成正比、与体素总数无关。配置中 drop_collisionless_rays: True 打开后,渲染头只保留命中的光线(lidar_origins = lidar_origins[intersection_mask]),典型场景下可砍掉 60% 以上的无效光线,GPU 显存和耗时都大幅下降。

5. NeuS 表面渲染:从 SDF 场到深度

剔除完无效光线,剩下的就是"经典"的 NeuS 式隐式表面渲染。场定义在 render_utils/fields/sdf_field.py:

5.1 特征插值 + SDF 解码器

  • SDFField.interpolate_feats 先用自研的 SmoothSampler(lidar_gen/pcdet/ops/smooth_sampler/smooth_sampler.py)把采样点坐标映射到稀疏 UNet 输出的特征体上,做双线性插值并平滑梯度传播——这比原生 grid_sample_3d 更适合反渲染任务;
  • 然后 SDFDecoder(一个小型 MLP)融合"位置编码特征 + 栅格特征",同时输出 SDF 值 和 几何特征(out_dim: 17 = 1 + 16)。

5.2 用"邻域 SDF 差分"估计遮挡概率

NeuS 的核心 trick 不直接用密度,而是估计光线在相邻两个采样点之间穿过表面的概率:

estimated_next_sdf = sdf + cos * delta / 2
estimated_prev_sdf = sdf - cos * delta / 2
alpha = sigmoid(prev) - sigmoid(next)

其中 cos 是光线方向与 SDF 梯度的夹角项,inv_s(方差)在训练初期通过余弦退火控制,避免梯度"死亡"。这一步让渲染出的表面又薄又稳,是深度准确的关键。

5.3 两阶段采样与深度合成

采样策略(ray_samplers.py)采用 NeuS 风格的两段式:

阶段 采样器 数量 作用
粗采样 UniformSampler + PriorSampler 144 点 沿光线均匀覆盖 + 优先落在有特征的体素附近
精采样 PDFSampler 36 点 按粗采样权重做重要性采样,把算力集中在表面附近

得到每点 alpha 后计算透射率权重,再用 DepthRenderer(renderers.py)做加权平均:

depth = Σ(weights × z) / Σ(weights)

这就是每条光线的预测命中距离。

6. 从深度到"逼真":强度与丢射线预测

真实 LiDAR 点云有两个特征不能少:每个回波有强度,而且很多光线打不中物体(无回波)。NeuSModelV2LiDAROnly 用一个额外的 lidar_decoder MLP,把加权后的射线特征映射成 2 维输出:

  • intensity_pred(sigmoid)→ 回波强度;
  • raydrop_pred(sigmoid)→ 该光线是否"丢射线"。

生成点云时(generate_predicted_pc):

  1. pred_pts = depth × ray_d / scale_factor 还原到米制世界坐标;
  2. 拼上强度列,得到 (x, y, z, intensity) 四元组;
  3. 把预测为丢射线的点直接删除——于是生成的点云天然呈现"稀疏 + 有方向性空白"的真实 LiDAR 纹理。

对应的监督信号(loss_cfg.weights):depth_loss = 10.0(L1)、intensity_loss = 10.0(L2)、raydrop_loss = 0.2(BCE),权重设计直接反映了"几何优先、外观与缺失次之"的训练优先级。

7. 快速上手:3 步跑通 LiDAR 生成

环境搭建详见 lidar_gen/README.md(要点:conda 建 py3.9 环境 → pip install -e . -v 装 OpenPCDet → cd pcdet/datasets/nuscenes_occ/utils/dda && pip install . -v 装 DDA CUDA 算子)。

准备好占用栅格文件后,最小体验路径:

# 1. 任意占用栅格的 Demo 推理
python tools/demo.py --occ_file $input_occupancy_path --ckpt_dir $lidar_pretrain_path

# 2. nuScenes val 集批量推理
python tools/test.py --save_to_file $output_path --ckpt_dir $lidar_pretrain

# 3. 分布相似度评估(MMD / JSD)
python pcdet/datasets/nuscenes_occ/eval_utils/eval_mmd_jsd_gpu_batch.py $gt_path $pred_path

生成的点云还可以用 lidar_gen/visualize_nuscenes_lidar.py 渲染对比图,直观检查与真实回波的分布差异。

8. 关键配置速查表

以 tools/cfgs/nuscenes_occ_models/ 下的官方配置为模板,最常调的参数:

参数 位置 默认值 含义
unified_voxel_size MODEL.DENSE_HEAD [0.5, 0.5, 0.5] 统一体素边长(米)
unified_voxel_shape MODEL.DENSE_HEAD [200, 200, 16] 特征体分辨率
drop_collisionless_rays MODEL.DENSE_HEAD True 启用 DDA 光线剔除
close_radius / far_radius ray_sampler_cfg 3.0 / 50.0 回波距离过滤范围
num_samples / num_samples_importance sampler_cfg 144 / 36 粗/精采样点数
pred_intensity / pred_raydrop render_ssl_cfg True / True 是否预测强度与丢射线
interpolate_cfg.type field_cfg SmoothSampler 特征插值方式

💡 提示:use_predefine_rays 与 drop_collisionless_rays 组合使用时,DDA 会在预设光束上实时过滤,推理速度对场景密度几乎不敏感。

9. 小结

UniScene 的 LiDAR 生成链路可以浓缩为一句话:

稀疏 UNet 编码占用栅格 → DDA 剔除无效光线 → NeuS 隐式表面场渲染出深度 → MLP 补齐强度与丢射线 → 得到逼真的 LiDAR 点云。

其中 DDA 光线投射(dda3d_cuda.cu)解决了"效率"问题,NeuS 表面渲染(neus_v2_lidaronly.py)解决了"逼真"问题。而这份 LiDAR 点云又会作为下游视频生成(video_gen/,基于 Gaussian Splatting 渲染多视角图像)的几何条件——"占用栅格"因此成为串联点云、图像、视频的统一世界表示,这正是 UniScene "Unified" 二字的含义 🌟。

延伸阅读:渲染工具链位于 lidar_gen/pcdet/models/dense_heads/render_utils/,数据集构造见 lidar_gen/pcdet/datasets/nuscenes_occ/occ_lidar_gen.py,训练入口为 lidar_gen/tools/train.py 与 lidar_gen/tools/scripts/torch_train.sh。

登录后查看全文
UniScene-Unified-Occupancy-centric-Driving-Scene-Generation