SelfOcc: 自监督视觉基础的3D占用预测

项目介绍

SelfOcc是一个自监督的视觉基础3D占用预测项目，旨在通过仅使用视频序列来学习3D占用。该项目由Yuanhui Huang、Wenzhao Zheng、Borui Zhang、Jie Zhou和Jiwen Lu等人开发，并在CVPR 2024上发表。SelfOcc通过将图像转换到3D空间（如鸟瞰图）来获取场景的3D表示，并通过将这些3D表示视为带符号距离场（SDFs）来直接施加约束。然后，它使用先前和未来帧的2D图像作为自监督信号来学习3D表示。SelfOcc在SemanticKITTI和nuScenes数据集上表现优异，是首个能够在没有3D监督的情况下生成合理3D占用结果的自监督方法。

项目快速启动

安装

首先，克隆项目仓库：

git clone https://github.com/huang-yh/SelfOcc.git
cd SelfOcc

安装所需的依赖项：

pip install -r requirements.txt

数据准备

按照项目文档中的详细说明准备数据集。可以使用以下命令同步数据：

python synchronize_data.py

训练模型

使用以下命令开始训练模型：

python train.py --py-config config/nuscenes/nuscenes_occ.py --work-dir out/nuscenes/occ_train --depth-metric

模型评估

训练完成后，使用以下命令评估模型：

python eval_iou.py --py-config config/nuscenes/nuscenes_occ.py --work-dir out/nuscenes/occ --resume-from out/nuscenes/occ/model_state_dict.pth --occ3d --resolution 0.4 --sem --use-mask --scene-size 4

应用案例和最佳实践

3D占用预测

SelfOcc在3D占用预测任务中表现出色，特别是在SemanticKITTI数据集上，其性能超过了之前的最佳方法SceneRF。SelfOcc能够生成高质量的3D占用预测，适用于自动驾驶等需要精确3D场景理解的领域。

新深度合成

SelfOcc在新深度合成任务中也取得了最佳结果，能够预测超出可见表面的3D结构，从而生成高质量的新深度视图。

深度估计

SelfOcc在周围和单目自监督深度估计任务中展示了竞争性能，能够成功预测薄杆和移动行人的锐利和准确深度。

典型生态项目

TPVFormer

TPVFormer是一个基于Transformer的3D占用预测模型，与SelfOcc有相似的应用场景，可以作为SelfOcc的补充或替代方案。

PointOcc

PointOcc是一个基于点的3D占用预测模型，适用于需要高精度点云处理的场景，可以与SelfOcc结合使用以提高整体性能。

SurroundOcc

SurroundOcc是一个专注于周围视图的3D占用预测模型，适用于需要全方位视角的自动驾驶应用，可以与SelfOcc协同工作以提供更全面的3D场景理解。